知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-09-11
(45)【発行日】2023-09-20
(54)【発明の名称】深層学習に基づく気管挿管位置決め方法、装置及び記憶媒体
(51)【国際特許分類】
G06T 7/00 20170101AFI20230912BHJP
A61B 34/10 20160101ALI20230912BHJP
【ＦＩ】
G06T7/00 350C
G06T7/00 612
A61B34/10
【請求項の数】
9
(21)【出願番号】P 2022014750
(22)【出願日】2022-02-02
(65)【公開番号】P2022128414
(43)【公開日】2022-09-01
【審査請求日】2022-02-02
(31)【優先権主張番号】202110196669.2
(32)【優先日】2021-02-22
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】514082712
【氏名又は名称】上海交通大学医学院付属第九人民医院
(74)【代理人】
【識別番号】100135194
【弁理士】
【氏名又は名称】田中 智雄
(72)【発明者】
【氏名】姜虹
(72)【発明者】
【氏名】夏明
(72)【発明者】
【氏名】常敏
(72)【発明者】
【氏名】張栄福
(72)【発明者】
【氏名】李峰
(72)【発明者】
【氏名】徐天意
【審査官】小池 正彦
(56)【参考文献】
【文献】米国特許出願公開第２０１５／００５９７３６（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
Ａ６１Ｂ ３４／１０
(57)【特許請求の範囲】
【請求項1】
深層学習に基づく気管挿管位置決め方法において、（１）ダイレイテッド畳み込みと特徴マップとの融合に基づくYOLOv3ネットワークを構築し、訓練されたYOLOv3ネットワークを介して気管内視鏡画像の特徴情報を抽出し、第１のターゲット情報を得、前記第１のターゲット情報は訓練されたYOLOv3ネットワークで計算して得られた気管口境界枠の中心座標であるステップと、
（２）４つのセンサーによって検出された二酸化炭素濃度差に従って、ベクトル位置決め
の方式で第２のターゲット情報を決定し、ここで、センサー毎に位置を標示し決定し、直
角座標系を確立して、前記直角座標系に基づいて第２のターゲット情報を決定し、前記ベクトル位置決めの方式は具体的には次の通り、
【数7】
（３）前記第１のターゲット情報と前記第２のターゲット情報を融合して最終的なターゲ
ット位置を得るステップと、を含む。
【請求項2】
前記ステップ（１）では、ＹＯＬＯｖ３ネットワークは残差モジュールを用いて前記気管内視鏡画像の異なる基準のターゲット特徴情報を抽出し、前記残差モジュールは３つの並行する残差ブロックを備え、残差ブロック毎の首部と尾部に１×１のコンボリューションカーネルを増加し、前記３つの並行する残差ブロックの拡張率が異なり、前記３つの並行する残差ブロック中のダイレイテッド畳み込みのウェイトは共有することを特徴とする請求項１に記載の深層学習に基づく気管挿管位置決め方法。
【請求項3】
前記ステップ（１）では、ＹＯＬＯｖ３ネットワークの出力層は特徴ピラミッドネットワークを介して２つの異なる基準の特徴マップを生成することを特徴とする請求項１に記載の深層学習に基づく気管挿管位置決め方法。
【請求項4】
前記特徴ピラミッドネットワークを介して特徴マップを生成するとは、本層のコンボリューション層から出力した特徴マップをアップサンプリングして、ネットワーク中の前層のコンボリューション層の出力とテンソルをつなぎ合わせて、特徴マップを得ることを指すことを特徴とする請求項３に記載の深層学習に基づく気管挿管位置決め方法。
【請求項5】
前記ステップ（１）では、ＹＯＬＯｖ３ネットワークの損失関数は、検出枠中心座標誤差損失、検出枠高さと幅誤差損失、信頼度誤差損失及び分類誤差損失を備えることを特徴とする請求項１に記載の深層学習に基づく気管挿管位置決め方法。
【請求項6】
前記ステップ（３）は、具体的に、前記第１のターゲット情報の境界枠の中心座標と前記第２のターゲット情報の中心位置を画像座標系中にマッピングして得られた座標位置の重み付けを行って融合させ、最終的なターゲット位置を得ることを特徴とする請求項１に記載の深層学習に基づく気管挿管位置決め方法。
【請求項7】
深層学習に基づく気管挿管位置決め装置において、ダイレイテッド畳み込みと特徴マップとの融合に基づくＹＯＬＯｖ３ネットワークを構築し、訓練されたＹＯＬＯｖ３ネットワークを介して気管内視鏡画像の特徴情報を抽出し、第１のターゲット情報を得、前記第１のターゲット情報は訓練されたＹＯＬＯｖ３ネットワークで計算して得られた気管口境界枠の中心座標であるための第１のターゲット情報取得モジュールと、４つのセンサーによって検出された二酸化炭素濃度差に従って、ベクトル位置決めの方式で第２のターゲット情報を決定し、ここで、センサー毎に位置を標示し決定し、直角座標系を確立して、前記直角座標系に基づいて第２のターゲット情報を決定し、前記ベクトル位置決めの方式は具体的には次の通り、【数8】
【請求項8】
メモリ及びプロセッサを備えるコンピュータデバイスにおいて、前記メモリにコンピュータプログラムが記憶され、前記コンピュータプログラムが前記プロセッサに実行される場合、前記プロセッサが請求項１～６のいずれか１項に記載の前記気管挿管位置決め方法のステップを実行することを特徴とするコンピュータデバイス。
【請求項9】
コンピュータ可読記憶媒体において、前記コンピュータ可読記憶媒体にコンピュータプログラムが記憶され、請求項１～６のいずれか１項に記載の気管挿管位置決め方法を実現するように、前記コンピュータプログラムがプロセッサに実行されることを特徴とするコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明はコンピュータ補助医療技術分野に関し、特に、深層学習に基づくマルチモーダル気管挿管位置決め方法及び装置に関する。
【背景技術】
【0002】
気管内挿管は麻酔医師が全身麻酔状態での患者に対して気道管理を行う重要な手段であり、気道の流れが順調であるように保持し、通気し酸素を供給し、呼吸を支持し、酸素化を維持する等の面で重要な役割を果たしている。麻酔医師は気道挿管を行う過程において大変多いチャレンジ、例えば、マスクによる通気困難、挿管困難等に直面することになる。関連文献の報道によれば、全身麻酔を受けた患者において、マスクによる通気困難の発生率は約０．９％～１２．８％であり、挿管困難の発生率は約０．５％～１０％であり、同時にマスクによる通気困難と挿管困難が現れる発生率は約０．０１％～０．０７％である。困難又は失敗な気道挿管はしばしば非常に由々しい結果を引き起こすことになり、永久的な脳損傷ひいては死亡を含む。このため、最大限に患者の安全を保証するように、臨床においてよくファイバースコープによる案内下で、覚醒状態において挿管する方式で麻酔医師を補助して患者に対して気道挿管を行っている。
近年、人工知能技術がすさまじい勢いで発展しており、医学分野と麻酔分野においても初歩的に探索されており、気管挿管の面で、より知能化、自動化した挿管装置が初歩的に研究開発されている。２０１２年、カナダのＨｅｍｍｅｒｌｉｎｇらは遠隔操縦の気管挿管装置‐ケプラー型気管挿管システム（ＫＩＳ）を発明し、初めて気管挿管に用いるロボットシステムであり、該操作システムは気管挿管操作を遠隔制御可能であることを初めて検証して実現した。スイスのチューリッヒ大学のＢｉｒｏらは喉頭部の画像識別技術に基づく自動化内視鏡での気管挿管装置（ＲＥＡＬＩＴＩ）を研究開発し、リアルタイムに画像を識別し、遠位端で自動的に位置決める機能を有し、操作者が内視鏡先端の湾曲運動をマニュアル制御し、画像識別で声門開口を検出した場合、ユーザが１つの専用の押しボタンを保持することで自動モデルをアクティブにすることができ、自動モデルで内視鏡先端が声門開口の幾何中心点へ移動し、気管に入るまでとする。
気道挿管技術が多くの研究進展が取得されたものの、ほとんど相変わらず単一の内視鏡画像に基づく画像形成方式である。挿管する過程の中で、内視鏡画像の視角が比較的小さく、画像のコントラスト、ターゲットの距離、ターゲットの大きさ等のいずれも変化が発生することになり、医師が迅速にターゲットを確定するためにならない。また、痰液及び気道分泌物も気管口、食道口等のターゲットを遮ることになり、干渉を引き起こす。したがって、ターゲットを迅速に確定できる方法が早急に必要である。
近年、人工知能技術がすさまじい勢いで発展しており、医学分野と麻酔分野においても初歩的に探索されており、気管挿管の面で、より知能化、自動化した挿管装置が初歩的に研究開発されている。２０１２年、カナダのＨｅｍｍｅｒｌｉｎｇらは遠隔操縦の気管挿管装置‐ケプラー型気管挿管システム（ＫＩＳ）を発明し、初めて気管挿管に用いるロボットシステムであり、該操作システムは気管挿管操作を遠隔制御可能であることを初めて検証して実現した。スイスのチューリッヒ大学のＢｉｒｏらは喉頭部の画像識別技術に基づく自動化内視鏡での気管挿管装置（ＲＥＡＬＩＴＩ）を研究開発し、リアルタイムに画像を識別し、遠位端で自動的に位置決める機能を有し、操作者が内視鏡先端の湾曲運動をマニュアル制御し、画像識別で声門開口を検出した場合、ユーザが１つの専用の押しボタンを保持することで自動モデルをアクティブにすることができ、自動モデルで内視鏡先端が声門開口の幾何中心点へ移動し、気管に入るまでとする。
気道挿管技術が多くの研究進展が取得されたものの、ほとんど相変わらず単一の内視鏡画像に基づく画像形成方式である。挿管する過程の中で、内視鏡画像の視角が比較的小さく、画像のコントラスト、ターゲットの距離、ターゲットの大きさ等のいずれも変化が発生することになり、医師が迅速にターゲットを確定するためにならない。また、痰液及び気道分泌物も気管口、食道口等のターゲットを遮ることになり、干渉を引き起こす。したがって、ターゲットを迅速に確定できる方法が早急に必要である。
【発明の概要】
【発明が解決しようとする課題】
【0003】
本発明が解決しようとする技術課題は深層学習に基づくマルチモーダル気管挿管位置決め方法及び装置を提供し、気管口及び食道口を迅速にリアルタイムで検出することができる。
本発明はその技術課題を解決するために用いられる技術手段は、深層学習に基づく気管挿管位置決め方法において、
（１）ダイレイテッド畳み込みと特徴マップとの融合に基づくＹＯＬＯｖ３ネットワークを構築し、訓練されたＹＯＬＯｖ３ネットワークを介して画像の特徴情報を抽出し、第１のターゲット情報を得るステップと、
（２）センサーによって検出された二酸化炭素濃度差に従って、ベクトル位置決めの方式で第２のターゲット情報を決定するステップと、
（３）前記第１のターゲット情報と前記第２のターゲット情報を融合して最終的なターゲット位置を得るステップと、を含む。
前記ステップ（１）では、ＹＯＬＯｖ３ネットワークは残差モジュールを用いて前記前記内視鏡画像の異なる基準のターゲット特徴情報を抽出し、前記残差モジュールは３つの並行する残差ブロックを備え、残差ブロック毎の首部と尾部に１×１のコンボリューションカーネルを増加し、前記３つの並行する残差ブロックの拡張率が異なり、前記３つの並行する残差ブロック中のダイレイテッド畳み込みのウェイトは共有する。
前記ステップ（１）では、ＹＯＬＯｖ３ネットワークの出力層は特徴ピラミッドネットワークを介して２つの異なる基準の特徴マップを生成する。
前記特徴ピラミッドネットワークを介して特徴マップを生成するとは、本層のコンボリューション層から出力した特徴マップをアップサンプリングして、ネットワーク中の前層のコンボリューション層の出力とテンソルをつなぎ合わせて、特徴マップを得ることを指す。
前記ステップ（１）では、ＹＯＬＯｖ３ネットワークの損失関数は、検出枠中心座標誤差損失、検出枠高さと幅誤差損失、信頼度誤差損失及び分類誤差損失を備える。
前記ステップ（２）では、センサーは計４個を有し、センサー毎に位置標定を行うことで、直角座標系を確立して、前記座標系に基づいて第２のターゲット情報を決定し、具体的には、
式中、OC1、OC２、OC３、OC４はそれぞれ４つのセンサーで測定して得た二酸化炭素濃度ベクトルであり、 は 及び と前記直角座標系中 軸との挟角、又はOC2及びOC4と前記直角座標系中、y軸との挟角であり、δは標準化因子である。
前記ステップ（３）は、具体的に、前記第１のターゲット情報の境界枠の中心座標と前記第２のターゲット情報の中心位置を画像座標系中にマッピングして得られた座標位置の重み付けを行って融合させ、最終的なターゲット位置を得る。
本発明がその技術課題を解決するために用いられる技術手段は、深層学習に基づく気管挿管位置決め装置において、ダイレイテッド畳み込みと特徴マップとの融合に基づくＹＯＬＯｖ３ネットワークを構築し、訓練されたＹＯＬＯｖ３ネットワークを介して画像の特徴情報を抽出し、第１のターゲット情報を得るための第１のターゲット情報取得モジュールと、センサーによって検出された二酸化炭素濃度差に従って、ベクトル位置決めの方式で第２のターゲット情報を決定する第２のターゲット情報取得モジュールと、前記第１のターゲット情報と前記第２のターゲット情報を融合して最終的なターゲット位置を得るための最終的なターゲット位置取得モジュールと、を備える。
本発明がその技術課題を解決するために用いられる技術手段は、コンピュータデバイスにおいて、メモリ及びプロセッサを備え、前記メモリにコンピュータプログラムが記憶され、前記コンピュータプログラムが前記プロセッサに実行される場合、前記プロセッサが上記気管挿管位置決め方法のステップを実行する。
本発明がその技術課題を解決するために用いられる技術手段は、コンピュータ可読記憶媒体において、前記コンピュータ可読記憶媒体にコンピュータプログラムが記憶され、上記の気管挿管位置決め方法を実現するように、前記コンピュータプログラムがプロセッサに実行される。
本発明はその技術課題を解決するために用いられる技術手段は、深層学習に基づく気管挿管位置決め方法において、
（１）ダイレイテッド畳み込みと特徴マップとの融合に基づくＹＯＬＯｖ３ネットワークを構築し、訓練されたＹＯＬＯｖ３ネットワークを介して画像の特徴情報を抽出し、第１のターゲット情報を得るステップと、
（２）センサーによって検出された二酸化炭素濃度差に従って、ベクトル位置決めの方式で第２のターゲット情報を決定するステップと、
（３）前記第１のターゲット情報と前記第２のターゲット情報を融合して最終的なターゲット位置を得るステップと、を含む。
前記ステップ（１）では、ＹＯＬＯｖ３ネットワークは残差モジュールを用いて前記前記内視鏡画像の異なる基準のターゲット特徴情報を抽出し、前記残差モジュールは３つの並行する残差ブロックを備え、残差ブロック毎の首部と尾部に１×１のコンボリューションカーネルを増加し、前記３つの並行する残差ブロックの拡張率が異なり、前記３つの並行する残差ブロック中のダイレイテッド畳み込みのウェイトは共有する。
前記ステップ（１）では、ＹＯＬＯｖ３ネットワークの出力層は特徴ピラミッドネットワークを介して２つの異なる基準の特徴マップを生成する。
前記特徴ピラミッドネットワークを介して特徴マップを生成するとは、本層のコンボリューション層から出力した特徴マップをアップサンプリングして、ネットワーク中の前層のコンボリューション層の出力とテンソルをつなぎ合わせて、特徴マップを得ることを指す。
前記ステップ（１）では、ＹＯＬＯｖ３ネットワークの損失関数は、検出枠中心座標誤差損失、検出枠高さと幅誤差損失、信頼度誤差損失及び分類誤差損失を備える。
前記ステップ（２）では、センサーは計４個を有し、センサー毎に位置標定を行うことで、直角座標系を確立して、前記座標系に基づいて第２のターゲット情報を決定し、具体的には、
【数1】
前記ステップ（３）は、具体的に、前記第１のターゲット情報の境界枠の中心座標と前記第２のターゲット情報の中心位置を画像座標系中にマッピングして得られた座標位置の重み付けを行って融合させ、最終的なターゲット位置を得る。
本発明がその技術課題を解決するために用いられる技術手段は、深層学習に基づく気管挿管位置決め装置において、ダイレイテッド畳み込みと特徴マップとの融合に基づくＹＯＬＯｖ３ネットワークを構築し、訓練されたＹＯＬＯｖ３ネットワークを介して画像の特徴情報を抽出し、第１のターゲット情報を得るための第１のターゲット情報取得モジュールと、センサーによって検出された二酸化炭素濃度差に従って、ベクトル位置決めの方式で第２のターゲット情報を決定する第２のターゲット情報取得モジュールと、前記第１のターゲット情報と前記第２のターゲット情報を融合して最終的なターゲット位置を得るための最終的なターゲット位置取得モジュールと、を備える。
本発明がその技術課題を解決するために用いられる技術手段は、コンピュータデバイスにおいて、メモリ及びプロセッサを備え、前記メモリにコンピュータプログラムが記憶され、前記コンピュータプログラムが前記プロセッサに実行される場合、前記プロセッサが上記気管挿管位置決め方法のステップを実行する。
本発明がその技術課題を解決するために用いられる技術手段は、コンピュータ可読記憶媒体において、前記コンピュータ可読記憶媒体にコンピュータプログラムが記憶され、上記の気管挿管位置決め方法を実現するように、前記コンピュータプログラムがプロセッサに実行される。
【発明の効果】
【0004】
上記の技術手段を用いたため、本発明と従来技術とを比べて、以下の優れた点及び積極的な効果を有する。本発明は内視鏡の画像情報と二酸化炭素濃度情報を融合することにより、気管口と食道口の検出効果を高めた。本発明は従来のＹＯＬＯｖ３のＤａｒｋｎｅｔ５３バックボーンネットワークを改善し、ウェイトを共有して並行する多分岐ダイレイテッド畳み込み残差モジュールを構築し、バックボーンネットワークの画像特徴を抽出する能力を高めた。次に、ＹＯＬＯｖ３もともとの出力層を保留する上で、特徴マップピラミッドを利用して別の２つの異なる基準の特徴マップを生成して、特徴マップに対してアップサンプリングとテンソルをつなぎ合わせ、小寸法のターゲットへの検出効果を引き上げた。同時に、４つの二酸化炭素濃度差を用いてベクトル位置決めアルゴリズムによりターゲットの中心位置を決定する。最終的に、その得られたターゲット情報と画像で得られたターゲット情報を融合し、気管位置を決定する。本発明とその他の方法とを比べて、気管口及び食道口の検出精度を高めたと共に、マルチモーダル気管挿管補助サンプル装置は模擬人体において気管挿管補助案内を行うことが実行可能であり、比較的満足した操作時間と成功率を有することを実験によって証明した。
【図面の簡単な説明】
【0005】
【発明を実施するための形態】
【0006】
以下、具体的な実施例を合わせて、本発明についてさらに説明する。なお、これらの実施例は本発明を説明するのみに用いられ、本発明の範囲を限定するためのものではない。またなお、本発明に述べられた内容を読んだ後、当業者は本発明について種々の変更又は改正を行うことができ、これらの等価形態も同様に本願に添付される特許請求の範囲に限定される範囲に入る。
本発明の実施形態は、モバイル機器、コンピュータデバイス、又は類似の演算装置（例えば、ＥＣＵ）、システムにおいて実行可能である。コンピュータデバイスを例にして、図１は気管挿管位置決めのコンピュータデバイスのハードウェア構成図である。図１に示すように、このコンピュータデバイスは、１つ又は複数の（図中１つのみ示された）プロセッサ１０１（プロセッサ１０１は中央処理装置ＣＰＵ、画像プロセッサＧＰＵ、デジタル信号プロセッサＤＳＰ、マイクロプロセッサＭＣＵ又はプログラマブル論理デバイスＦＰＧＡ等の処理装置を含んでもよいが、但しこれに限らない）と、ユーザと交互に入出力するためのインターフェース１０２と、データを記憶するためのメモリ１０３と、通信機能に用いる伝送装置１０４と、を含んでもよい。なお、図１に示される構成はただ意思を表明するだけであり、上記電子装置の構成を限定するものではない。例えば、コンピュータデバイスは、図１に示されるものよりも多い又は少ないモジュールをさらに含んでもよく、又は図１に示されるものとは異なる配置を有する。
入出力インターフェース１０２は、１つ又は複数のディスプレイ、タッチパネル等に接続され、コンピュータデバイスから伝送されたデータを表示するのに用いられることができ、キーボード、タッチペン、タッチパッド及び／又はマウス等にさらに接続され、例えば、選択、作成、編集等のユーザ指令を入力するのに用いられることができる。
メモリ１０３は、アプリケーションソフトウェアのソフトウェアプログラム及びモジュール、例えば、本発明実施形態における気管挿管位置決め方法に対応するプログラム指令／モジュールを記憶するのに用いられることができ、プロセッサ１０１は、メモリ１０３内に記憶されたソフトウェアプログラム及びモジュールを実行することによって、各種の機能アプリケーション及びデータ処理を実行すると、上記の気管挿管位置決め方法を実現することができる。メモリ１０３は、高速ランダム・アクセス・メモリを含んでもよく、不揮発性メモリ、例えば、１つ又は複数の磁性記憶装置、フラッシュメモリ、又はその他の不揮発性固体メモリをさらに含んでもよい。ある実例では、メモリ１０３は、プロセッサ１０１に対して遠隔に設置されたメモリをさらに含んでもよく、これらの遠隔メモリがネットワークを介してコンピュータデバイスに接続される。上記のネットワークの実例は、インターネット、イントラネット、ローカル・エリア・ネットワーク、移動通信ネット及びその組み合せを含むが、但しこれに限らない。
伝送装置１０４は、１つのネットワーク経由でデータの送受信に用いられる。上記のネットワークの具体的な実例は、コンピュータデバイスの通信供給者が提供したインターネットを含んでもよい。上記の動作環境下で、本発明は気管挿管位置決め方法を提供した。
図２は本発明第１の実施形態の気管挿管位置決め方法のフローチャートを示している。具体的には、次のようなステップを含む。
ステップ２０１：ダイレイテッド畳み込みと特徴マップとの融合に基づくＹＯＬＯｖ３ネットワークを構築し、前記ＹＯＬＯｖ３ネットワークを介して前記内視鏡画像の特徴情報を抽出し、第１のターゲット情報を得た。
具体的に言えば、気道挿管を行う過程の中で、ターゲット基準の変化が比較的大きく、深層ネットワークにおける小基準のターゲットの語義情報が紛失することになる。しかしながら、従来のＹＯＬＯｖ３バックボーンネットワーク中のコンボリューションカーネルの大きさは固定したものであり、その画像特徴情報を抽出する能力は限りがある。このため、図３に示すように、本実施形態はダイレイテッド畳み込みと特徴との融合に基づくＹＯＬＯｖ３ネットワークを提出した。
まず、図４に示すように、画像からより豊富な特徴を抽出するように、ＹＯＬＯｖ３バックボーンネットワークＤａｒｋｎｅｔ５３を改善し、ウェイトを共有し並行する多分岐ダイレイテッド畳み込み残差モジュール（Ｍｕｌｔｉｐｌｅ Ｂｒａｎｃｈ Ｄｉｌａｔｅｄ Ｃｏｎｖｏｌｕｔｉｏｎ Ｂｌｏｃｋ，ＭＤ－Ｂｌｏｃｋ）を設計した。このモジュールは異なる拡張率のダイレイテッド畳み込みカーネルを用いて異なる基準のターゲット特徴情報を抽出すると共に、アップサンプリングとテンソルをつなぎ合わせる技術を介して特徴マップの数を増加し、小ターゲットを検出する精度を引き上げた。もともとの残差ブロックに３つの並行する残差ブロックを用いて取って代わり、残差ブロック毎の首部と尾部に１×１のコンボリューションカーネルを増加することで、チャンネル数の不変を確保した。同時に、３つの異なる拡張率の３×３のダイレイテッド畳み込みを用いてもともとの３×３の普通のコンボリューションに取って代わり、かつ、この３つの並行する残差ブロック中のダイレイテッド畳み込みのウェイトを共有しているものである。本実施形態では、バックボーンネットワークＤａｒｋｎｅｔ５３中の残差ブロックを設計されたウェイトを共有した並行する多分岐ダイレイテッド畳み込み残差モジュールに全部取り替えた。
次に、より浅層の特徴をさらに検出するために、ＹＯＬＯｖ３もともとの出力層を保持する上で、特徴ピラミッドネットワークを介して別の２つの異なる基準の特徴マップを生成する。具体的なプロセスは次の通りである。出力した５２×５２寸法の特徴マップに対してアップサンプリングを行って、バックボーンネットワークにおける浅層１０４×１０４のコンボリューション層の出力とテンソルをつなぎ合わせて、１０４×１０４寸法の特徴マップを出力する。類似に、出力した１０４×１０４大きさの特徴マップに対してアップサンプリングを行い、バックボーンネットワークにおける２０８×２０８大きさのコンボリューション層の出力とテンソルをつなぎ合わせて、２０８×２０８寸法の特徴マップを出力する。表１はウェイトを共有した並行する多分岐ダイレイテッド畳み込み残差モジュールのパラメータ配置を書き連ねている。
本実施形態はＹＯＬＯｖ３ネットワークを介して予測した境界枠の中心座標、幅及び高さについて二乗平均誤差損失を用いる。同時に、分類する際、Ｓｏｆｔｍａｘ分類関数に代えて複数のｌｏｇｓｔｉｃ回帰を使い、バイナリ交差エントロピー関数により境界枠分類損失及び信頼度損失を計算する。仮に得られた特徴マップの大きさをＳ×Ｓとし、グリッド毎にＢ個のアンカー枠が生じ、予選枠毎にネットワークを経て最終的にＳ×Ｓ×Ｂ個の境界枠を得、最終的な損失関数L[total]は検出枠中心座標誤差損失L{mid}、検出枠高さと幅誤差損失L[margin]、信頼度誤差損失L[conf]と分類誤差損失L[class]を含む。ある１つの予選枠とリアルフレームとの交差集合の割合がその他の予選枠より大きいと定義すると、この予選枠を用いて現在のターゲットを検出する。
上記の各式中、
改善したネットワークについて訓練を行う過程の中で、本実施形態は訓練パラメータについて相応の配置を行った。具体的には、ｂａｔｃｈの大きさを４に設置し、ｓｕｂｄｉｖｉｓｉｏｎｓを８に設置し、採集した８０枚の画像を８グループに平均に割り振り、それぞれ訓練を行い、重み値の減衰を０．０００５に設置し、運動量を０．９に設置した。訓練の後期に、学習の減衰策略をｓｔｅｐに設置し、学習率変動因子を０．１に設置し、ランダム勾配降下法（Ｓｔｏｃｈａｓｔｉｃ Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ ＳＧＤ）を用いてネットワークのパラメータを更新する。
ステップ２０２：センサーによって検出された二酸化炭素濃度差に従って、ベクトル位置決めの方式で第２のターゲット情報を決定する。
具体的に言えば、本実施形態は測定して得られた４つの二酸化炭素濃度差に従ってベクトル位置決めアルゴリズムによりターゲットの中心位置を決定する。具体的な方法は次の通りである。４つの二酸化炭素センサーの取付け位置に基づいて、二酸化炭素センサー毎に位置標定を行うことで、直角座標系を確立する。仮にセンサー１、センサー２、センサー３及びセンサー４で測定して得られた二酸化炭素濃度ベクトルをそれぞれOC1、OC2、OC3、OC4とし、θをOC1及びOC3と前記直角座標系中、x軸との挟角、又はOC2及びOC4と前記直角座標系中、y軸との挟角とすると、確立された座標系に基づいて下式によってターゲット中心点の座標位置（ｘ０,ｙ０）を算出することができる。
式中、δは標準化因子である。
ステップ２０３：前記第１のターゲット情報と前記第２のターゲット情報とを融合して最終的なターゲット位置を得る。つまり、画像座標系と二酸化炭素ベクトル位置決め座標系（即ち直角座標系）との転化関係を確立し、複数の二酸化炭素濃度差ベクトル位置決め方法で算出したターゲット中心位置（即ち第２のターゲット情報）を画像座標系中にマッピングし、（b[cx], B[cy]）と記す。さらに、それとダイレイテッド畳み込みと特徴との融合に基づいて改善したＹＯＬＯｖ３ネットワークモデルを介して計算して得られた境界枠の中心座標（即ち第１のターゲット情報）とを重み付けて融合し、最終的に正確なターゲット中心座標を得る。具体的には、改善したＹＯＬＯｖ３ネットワークに基づいてまず境界枠毎に４つのずれ量t[x]、t[y]、t[w]、t[h]を予測することで、それぞれ予測したターゲット対象の中心座標、ターゲット予選枠の幅と高さを表す。この他、ネットワークも予選枠にはターゲット対象が存在する確率値及びターゲット対象の所属する類別を評価して出力することになる。仮にターゲット対象の所在するグリッドが画像の左上角からオフセットし、オフセットした長さと幅をそれぞれc[x]、ｃ[y]とし、予測枠の幅と高さをそれぞれp[w]、p[h]とすると、下式によって、ネットワークの画像座標での予測したターゲット境界枠の中心座標情報を得る。
式中、σはｓｉｇｍｏｉｄ関数を表す。
さらに、ネットワークを介して予測したターゲット境界枠の中心座標（即第１のターゲット情報）と複数の二酸化炭素濃度差ベクトル位置決めアルゴリズムで算出したターゲット中心位置（即ち第２のターゲット情報）を画像座標系にマッピングした後得られた座標（b[cx], b[cy]）とを重み付けて融合し、得られた最終的なターゲット枠の中心座標は次の通りである。
式中、b[x]、b[y]、b[w]、b[h]はそれぞれ最終的に算出したターゲット境界枠の中心座標、幅及び高さを表し、α、βはそれぞれ重み因子を表す。
図５は本発明の第２の実施形態の気管挿管位置決め装置を示す図である。この装置は図２に示される方法フローを実行するのに用いられ、この装置は第１のターゲット情報取得モジュール５０１と、第２のターゲット情報取得モジュール５０２と、最終的なターゲット位置取得モジュール５０３と、を備える。
第１のターゲット情報取得モジュール５０１は、ダイレイテッド畳み込みと特徴マップとの融合に基づくＹＯＬＯｖ３ネットワークを構築し、訓練されたＹＯＬＯｖ３ネットワークを介して前記内視鏡画像の特徴情報を抽出し、第１のターゲット情報を得るのに用いられる。構築したＹＯＬＯｖ３ネットワークは残差モジュールを用いて前記内視鏡画像の異なる基準のターゲット特徴情報を抽出する。前記残差モジュールは３つの並行する残差ブロックを備え、残差ブロック毎の首部と尾部に１×１のコンボリューションカーネルを増加する。前記３つの並行する残差ブロックの拡張率が異なり、前記３つの並行する残差ブロックにおけるダイレイテッド畳み込みのウェイトを共有するものである。このＹＯＬＯｖ３ネットワークの出力層は特徴ピラミッドネットワークを介して２つの異なる基準の特徴マップを生成する。前記特徴ピラミッドネットワークを介して特徴マップを生成するとは、本層のコンボリューション層から出力した特徴マップをアップサンプリングして、ネットワーク中の前層のコンボリューション層の出力とテンソルをつなぎ合わせて、特徴マップを得ることを指す。このＹＯＬＯｖ３ネットワークの損失関数は、検出枠中心座標誤差損失、検出枠高さと幅誤差損失、信頼度誤差損失と分類誤差損失を備える。第２のターゲット情報取得モジュール５０２は、センサーによって検出された二酸化炭素濃度差に従ってベクトル位置決めの方式で第２のターゲット情報を決定するのに用いられる。最終的なターゲット位置取得モジュール５０３は、前記第１のターゲット情報と前記第２のターゲット情報とを融合して最終的なターゲット位置を得るのに用いられる。
２０２０年１０月に上海交通大学医学院付属第九人民医院麻酔課の標準化された訓練における１～２学年のレジデントドクター１６名を選んで実験対象とし、この１６名のレジデントドクターのいずれも経鼻／経口気管挿管の経験を有しているが、しかし、いずれも本発明の実施形態の使用経験がない。１６名のレジデントドクターのいずれも困難気道の模擬人体において４０回の操作練習をやり遂げ、あらゆる操作記録も完全に記録されている。全てのレジデントドクターの６４０回の操作において、平均操作時間は３０．３９±２９．３９ｓ、最長時間は３１０ｓで、成功した回数は５９５回であり、成功率は９３％であった。
本発明は内視鏡の画像情報と二酸化炭素濃度情報を融合することにより、気管口と食道口の検出効果を高めたことを発見し易い。本発明は従来のＹＯＬＯｖ３のＤａｒｋｎｅｔ５３バックボーンネットワークを改善し、ウェイトを共有した並行する多分岐ダイレイテッド畳み込み残差モジュールを構築し、バックボーンネットワークの画像特徴を抽出する能力を高めた。次に、ＹＯＬＯｖ３もともとの出力層を保留する上で、特徴マップピラミッドを利用して別の２つの異なる基準の特徴マップを生成して、特徴マップに対してアップサンプリングとテンソルをつなぎ合わせ、小寸法のターゲットへの検出効果を引き上げた。
同時に、４つの二酸化炭素濃度差を用いてベクトル位置決めアルゴリズムによりターゲットの中心位置を決定する。最終的に、その得られたターゲット情報と画像で得られたターゲット情報を融合し、気管位置を決定する。本発明とその他の方法とを比べて、気管口及び食道口の検出精度を高めたと共に、マルチモーダル気管挿管補助サンプル装置は模擬人体において気管挿管補助案内を行うことが実行可能であり、比較的満足した操作時間と成功率を有することを実験によって証明した。
本発明の実施形態は、モバイル機器、コンピュータデバイス、又は類似の演算装置（例えば、ＥＣＵ）、システムにおいて実行可能である。コンピュータデバイスを例にして、図１は気管挿管位置決めのコンピュータデバイスのハードウェア構成図である。図１に示すように、このコンピュータデバイスは、１つ又は複数の（図中１つのみ示された）プロセッサ１０１（プロセッサ１０１は中央処理装置ＣＰＵ、画像プロセッサＧＰＵ、デジタル信号プロセッサＤＳＰ、マイクロプロセッサＭＣＵ又はプログラマブル論理デバイスＦＰＧＡ等の処理装置を含んでもよいが、但しこれに限らない）と、ユーザと交互に入出力するためのインターフェース１０２と、データを記憶するためのメモリ１０３と、通信機能に用いる伝送装置１０４と、を含んでもよい。なお、図１に示される構成はただ意思を表明するだけであり、上記電子装置の構成を限定するものではない。例えば、コンピュータデバイスは、図１に示されるものよりも多い又は少ないモジュールをさらに含んでもよく、又は図１に示されるものとは異なる配置を有する。
入出力インターフェース１０２は、１つ又は複数のディスプレイ、タッチパネル等に接続され、コンピュータデバイスから伝送されたデータを表示するのに用いられることができ、キーボード、タッチペン、タッチパッド及び／又はマウス等にさらに接続され、例えば、選択、作成、編集等のユーザ指令を入力するのに用いられることができる。
メモリ１０３は、アプリケーションソフトウェアのソフトウェアプログラム及びモジュール、例えば、本発明実施形態における気管挿管位置決め方法に対応するプログラム指令／モジュールを記憶するのに用いられることができ、プロセッサ１０１は、メモリ１０３内に記憶されたソフトウェアプログラム及びモジュールを実行することによって、各種の機能アプリケーション及びデータ処理を実行すると、上記の気管挿管位置決め方法を実現することができる。メモリ１０３は、高速ランダム・アクセス・メモリを含んでもよく、不揮発性メモリ、例えば、１つ又は複数の磁性記憶装置、フラッシュメモリ、又はその他の不揮発性固体メモリをさらに含んでもよい。ある実例では、メモリ１０３は、プロセッサ１０１に対して遠隔に設置されたメモリをさらに含んでもよく、これらの遠隔メモリがネットワークを介してコンピュータデバイスに接続される。上記のネットワークの実例は、インターネット、イントラネット、ローカル・エリア・ネットワーク、移動通信ネット及びその組み合せを含むが、但しこれに限らない。
伝送装置１０４は、１つのネットワーク経由でデータの送受信に用いられる。上記のネットワークの具体的な実例は、コンピュータデバイスの通信供給者が提供したインターネットを含んでもよい。上記の動作環境下で、本発明は気管挿管位置決め方法を提供した。
図２は本発明第１の実施形態の気管挿管位置決め方法のフローチャートを示している。具体的には、次のようなステップを含む。
ステップ２０１：ダイレイテッド畳み込みと特徴マップとの融合に基づくＹＯＬＯｖ３ネットワークを構築し、前記ＹＯＬＯｖ３ネットワークを介して前記内視鏡画像の特徴情報を抽出し、第１のターゲット情報を得た。
具体的に言えば、気道挿管を行う過程の中で、ターゲット基準の変化が比較的大きく、深層ネットワークにおける小基準のターゲットの語義情報が紛失することになる。しかしながら、従来のＹＯＬＯｖ３バックボーンネットワーク中のコンボリューションカーネルの大きさは固定したものであり、その画像特徴情報を抽出する能力は限りがある。このため、図３に示すように、本実施形態はダイレイテッド畳み込みと特徴との融合に基づくＹＯＬＯｖ３ネットワークを提出した。
まず、図４に示すように、画像からより豊富な特徴を抽出するように、ＹＯＬＯｖ３バックボーンネットワークＤａｒｋｎｅｔ５３を改善し、ウェイトを共有し並行する多分岐ダイレイテッド畳み込み残差モジュール（Ｍｕｌｔｉｐｌｅ Ｂｒａｎｃｈ Ｄｉｌａｔｅｄ Ｃｏｎｖｏｌｕｔｉｏｎ Ｂｌｏｃｋ，ＭＤ－Ｂｌｏｃｋ）を設計した。このモジュールは異なる拡張率のダイレイテッド畳み込みカーネルを用いて異なる基準のターゲット特徴情報を抽出すると共に、アップサンプリングとテンソルをつなぎ合わせる技術を介して特徴マップの数を増加し、小ターゲットを検出する精度を引き上げた。もともとの残差ブロックに３つの並行する残差ブロックを用いて取って代わり、残差ブロック毎の首部と尾部に１×１のコンボリューションカーネルを増加することで、チャンネル数の不変を確保した。同時に、３つの異なる拡張率の３×３のダイレイテッド畳み込みを用いてもともとの３×３の普通のコンボリューションに取って代わり、かつ、この３つの並行する残差ブロック中のダイレイテッド畳み込みのウェイトを共有しているものである。本実施形態では、バックボーンネットワークＤａｒｋｎｅｔ５３中の残差ブロックを設計されたウェイトを共有した並行する多分岐ダイレイテッド畳み込み残差モジュールに全部取り替えた。
次に、より浅層の特徴をさらに検出するために、ＹＯＬＯｖ３もともとの出力層を保持する上で、特徴ピラミッドネットワークを介して別の２つの異なる基準の特徴マップを生成する。具体的なプロセスは次の通りである。出力した５２×５２寸法の特徴マップに対してアップサンプリングを行って、バックボーンネットワークにおける浅層１０４×１０４のコンボリューション層の出力とテンソルをつなぎ合わせて、１０４×１０４寸法の特徴マップを出力する。類似に、出力した１０４×１０４大きさの特徴マップに対してアップサンプリングを行い、バックボーンネットワークにおける２０８×２０８大きさのコンボリューション層の出力とテンソルをつなぎ合わせて、２０８×２０８寸法の特徴マップを出力する。表１はウェイトを共有した並行する多分岐ダイレイテッド畳み込み残差モジュールのパラメータ配置を書き連ねている。
【表1】
【数2】
【数3】
ステップ２０２：センサーによって検出された二酸化炭素濃度差に従って、ベクトル位置決めの方式で第２のターゲット情報を決定する。
具体的に言えば、本実施形態は測定して得られた４つの二酸化炭素濃度差に従ってベクトル位置決めアルゴリズムによりターゲットの中心位置を決定する。具体的な方法は次の通りである。４つの二酸化炭素センサーの取付け位置に基づいて、二酸化炭素センサー毎に位置標定を行うことで、直角座標系を確立する。仮にセンサー１、センサー２、センサー３及びセンサー４で測定して得られた二酸化炭素濃度ベクトルをそれぞれOC1、OC2、OC3、OC4とし、θをOC1及びOC3と前記直角座標系中、x軸との挟角、又はOC2及びOC4と前記直角座標系中、y軸との挟角とすると、確立された座標系に基づいて下式によってターゲット中心点の座標位置（ｘ０,ｙ０）を算出することができる。
【数4】
ステップ２０３：前記第１のターゲット情報と前記第２のターゲット情報とを融合して最終的なターゲット位置を得る。つまり、画像座標系と二酸化炭素ベクトル位置決め座標系（即ち直角座標系）との転化関係を確立し、複数の二酸化炭素濃度差ベクトル位置決め方法で算出したターゲット中心位置（即ち第２のターゲット情報）を画像座標系中にマッピングし、（b[cx], B[cy]）と記す。さらに、それとダイレイテッド畳み込みと特徴との融合に基づいて改善したＹＯＬＯｖ３ネットワークモデルを介して計算して得られた境界枠の中心座標（即ち第１のターゲット情報）とを重み付けて融合し、最終的に正確なターゲット中心座標を得る。具体的には、改善したＹＯＬＯｖ３ネットワークに基づいてまず境界枠毎に４つのずれ量t[x]、t[y]、t[w]、t[h]を予測することで、それぞれ予測したターゲット対象の中心座標、ターゲット予選枠の幅と高さを表す。この他、ネットワークも予選枠にはターゲット対象が存在する確率値及びターゲット対象の所属する類別を評価して出力することになる。仮にターゲット対象の所在するグリッドが画像の左上角からオフセットし、オフセットした長さと幅をそれぞれc[x]、ｃ[y]とし、予測枠の幅と高さをそれぞれp[w]、p[h]とすると、下式によって、ネットワークの画像座標での予測したターゲット境界枠の中心座標情報を得る。
【数5】
さらに、ネットワークを介して予測したターゲット境界枠の中心座標（即第１のターゲット情報）と複数の二酸化炭素濃度差ベクトル位置決めアルゴリズムで算出したターゲット中心位置（即ち第２のターゲット情報）を画像座標系にマッピングした後得られた座標（b[cx], b[cy]）とを重み付けて融合し、得られた最終的なターゲット枠の中心座標は次の通りである。
【数6】
図５は本発明の第２の実施形態の気管挿管位置決め装置を示す図である。この装置は図２に示される方法フローを実行するのに用いられ、この装置は第１のターゲット情報取得モジュール５０１と、第２のターゲット情報取得モジュール５０２と、最終的なターゲット位置取得モジュール５０３と、を備える。
第１のターゲット情報取得モジュール５０１は、ダイレイテッド畳み込みと特徴マップとの融合に基づくＹＯＬＯｖ３ネットワークを構築し、訓練されたＹＯＬＯｖ３ネットワークを介して前記内視鏡画像の特徴情報を抽出し、第１のターゲット情報を得るのに用いられる。構築したＹＯＬＯｖ３ネットワークは残差モジュールを用いて前記内視鏡画像の異なる基準のターゲット特徴情報を抽出する。前記残差モジュールは３つの並行する残差ブロックを備え、残差ブロック毎の首部と尾部に１×１のコンボリューションカーネルを増加する。前記３つの並行する残差ブロックの拡張率が異なり、前記３つの並行する残差ブロックにおけるダイレイテッド畳み込みのウェイトを共有するものである。このＹＯＬＯｖ３ネットワークの出力層は特徴ピラミッドネットワークを介して２つの異なる基準の特徴マップを生成する。前記特徴ピラミッドネットワークを介して特徴マップを生成するとは、本層のコンボリューション層から出力した特徴マップをアップサンプリングして、ネットワーク中の前層のコンボリューション層の出力とテンソルをつなぎ合わせて、特徴マップを得ることを指す。このＹＯＬＯｖ３ネットワークの損失関数は、検出枠中心座標誤差損失、検出枠高さと幅誤差損失、信頼度誤差損失と分類誤差損失を備える。第２のターゲット情報取得モジュール５０２は、センサーによって検出された二酸化炭素濃度差に従ってベクトル位置決めの方式で第２のターゲット情報を決定するのに用いられる。最終的なターゲット位置取得モジュール５０３は、前記第１のターゲット情報と前記第２のターゲット情報とを融合して最終的なターゲット位置を得るのに用いられる。
２０２０年１０月に上海交通大学医学院付属第九人民医院麻酔課の標準化された訓練における１～２学年のレジデントドクター１６名を選んで実験対象とし、この１６名のレジデントドクターのいずれも経鼻／経口気管挿管の経験を有しているが、しかし、いずれも本発明の実施形態の使用経験がない。１６名のレジデントドクターのいずれも困難気道の模擬人体において４０回の操作練習をやり遂げ、あらゆる操作記録も完全に記録されている。全てのレジデントドクターの６４０回の操作において、平均操作時間は３０．３９±２９．３９ｓ、最長時間は３１０ｓで、成功した回数は５９５回であり、成功率は９３％であった。
本発明は内視鏡の画像情報と二酸化炭素濃度情報を融合することにより、気管口と食道口の検出効果を高めたことを発見し易い。本発明は従来のＹＯＬＯｖ３のＤａｒｋｎｅｔ５３バックボーンネットワークを改善し、ウェイトを共有した並行する多分岐ダイレイテッド畳み込み残差モジュールを構築し、バックボーンネットワークの画像特徴を抽出する能力を高めた。次に、ＹＯＬＯｖ３もともとの出力層を保留する上で、特徴マップピラミッドを利用して別の２つの異なる基準の特徴マップを生成して、特徴マップに対してアップサンプリングとテンソルをつなぎ合わせ、小寸法のターゲットへの検出効果を引き上げた。
同時に、４つの二酸化炭素濃度差を用いてベクトル位置決めアルゴリズムによりターゲットの中心位置を決定する。最終的に、その得られたターゲット情報と画像で得られたターゲット情報を融合し、気管位置を決定する。本発明とその他の方法とを比べて、気管口及び食道口の検出精度を高めたと共に、マルチモーダル気管挿管補助サンプル装置は模擬人体において気管挿管補助案内を行うことが実行可能であり、比較的満足した操作時間と成功率を有することを実験によって証明した。
【図1】
【図2】
【図3】
【図4】
【図5】