(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-12-26
(54)【発明の名称】気管挿管画像の処理方法とシステム、並びに気管挿管の効果評価方法
(51)【国際特許分類】
A61B 1/045 20060101AFI20241219BHJP
G06T 7/20 20170101ALI20241219BHJP
G06T 7/00 20170101ALI20241219BHJP
A61M 16/04 20060101ALI20241219BHJP
【FI】
A61B1/045 618
A61B1/045 614
G06T7/20 100
G06T7/00 612
A61M16/04 Z
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024534193
(86)(22)【出願日】2021-12-10
(85)【翻訳文提出日】2024-08-02
(86)【国際出願番号】 CN2021137004
(87)【国際公開番号】W WO2023102880
(87)【国際公開日】2023-06-15
(81)【指定国・地域】
(71)【出願人】
【識別番号】524214893
【氏名又は名称】曾 稼志
(74)【代理人】
【識別番号】100076831
【氏名又は名称】伊藤 捷雄
(72)【発明者】
【氏名】曾 稼志
(72)【発明者】
【氏名】呉 ▲ゆ▼樺
(72)【発明者】
【氏名】黄 ▲くん▼義
【テーマコード(参考)】
4C161
5L096
【Fターム(参考)】
4C161AA13
4C161CC06
4C161HH51
4C161JJ08
4C161SS21
4C161WW02
5L096AA06
5L096BA06
5L096BA13
5L096CA04
5L096DA02
5L096HA11
5L096KA04
(57)【要約】
【課題】気管挿管画像の処理方法とシステムを提供し、現段階における主観判断と人工判読だけでは即時に操作と訓練フィードバックしにくい問題を解決する。
【解決手段】本発明は気管挿管画像の処理方法とシステム、並びに気管挿管の効果評価方法に関する。本発明は先に気管挿管過程における標的構造と重要工程の画像を含むデータベースを作ると共に、データベースに保存される画像を機械学習させ、上記標的構造を自動的に識別するシステムを構築する。挿管画像におけるいずれか二つの構造標的物の間の時間差を段階挿管時間と定義し、また時間順に段階挿管時間をリンクすることによって挿管時系列を確立することで、気管挿管効果評価方法とし、並びに気管挿管の段階別の効果評価モデルを確立する。
【選択図】
図1B
【特許請求の範囲】
【請求項1】
複数の構造標的物を含むデータベースを作り、そのデータベースに少なくとも一つの第1挿管過程画像を保存し、前記少なくとも一つの第1挿管過程画像によりこれらの構造標的物を定義する;
定義したこれらの構造標的物により第2挿管過程画像の標的物を識別させることから、第2挿管過程画像においてこれらの構造標的物と同じの複数の目標標的物が得られる;また、
識別されたこれらの標的物が第2挿管過程画像に出る時点を確認することで、これらの目標標的物の段階挿管時間と挿管時系列が得られ、
これらの目標標的物が第2挿管過程画像に出る時点をn個の時点と定義し、いずれか二つの目標標的物の間の時間差を段階挿管時間と定義し、また時間順に複数の段階挿管時間をカットして組み合わせることから、第2挿管過程画像におけるこれらの目標標的物の挿管時系列などの工程が確立されることを特徴とする気管挿管画像の処理方法。
【請求項2】
挿管困難度評価表でゼロの前記第1挿管過程画像を用いて分析を行い、モデルを確立させることによって前記これらの構造標的物を定義することを特徴とする請求項1に記載の処理方法。
【請求項3】
前記これらの構造標的物は、唇、会厭、咽喉、声門、気管内チューブと気管内チューブの黒い標記線から構成されたグループであることを特徴とする請求項1に記載の処理方法。
【請求項4】
前記これらの構造標的物が前記第1挿管過程画像に出る時点を確認することで、前記これらの構造標的物の段階挿管時間と挿管時系列が得られる;前記これらの構造標的物が前記第1挿管過程画像に出る時点をn個の時点と定義し、いずれか二つの構造標的物の間の時間差を段階挿管時間と定義し、また時間順に複数の段階挿管時間をカットして組み合わせることから、前記第1挿管過程画像における前記これらの構造標的物の挿管時系列を確立する;また、
前記これらの構造標的物の段階挿管時間と挿管時系列により、前記第1挿管過程画像の挿管時系列図と挿管能力の時系列分析図を描くことを特徴とする請求項1に記載の処理方法。
【請求項5】
前記これらの目標標的物の段階挿管時間と挿管時系列により、前記第2挿管過程画像の挿管時系列図と挿管能力時系列分析図を描くことを含むことを特徴とする請求項4の処理方法。
【請求項6】
少なくとも一つの第1挿管過程画像を保存し、前記少なくとも一つの第1挿管過程画像から複数の構造標的物を定義するデータベースと、及び
データベースと電気的接続される電子装置と、を備え、
前記電子装置は一つまたは複数の処理ユニットと記憶ユニットを含み、前記一つまたは複数の処理ユニットと前記記憶ユニットが電気的接続され、前記記憶ユニットに一つまたは複数のプログラム命令が保存され、前記一つまたは複数のプログラム命令は前記一つまたは複数の処理ユニットによって稼動される場合、前記一つまたは複数の処理ユニットは、定義した前記これらの構造標的物により第2挿管過程画像の標的物を識別させることから、前記第2挿管過程画像において前記これらの構造標的物と同じの複数の目標標的物が得られる;また、識別された前記これらの目標標的物が前記第2挿管過程画像に出る時点を確認することで、前記これらの目標標的物の段階挿管時間と挿管時系列が得られ、
前記これらの目標標的物が前記第2挿管過程画像に出る時点をn個の時点と定義し、いずれか二つの目標標的物の間の時間差を段階挿管時間と定義し、また時間順に複数の段階挿管時間をカットして組み合わせることから、前記第2挿管過程画像における前記これらの目標標的物の挿管時系列を確立することを特徴とする気管挿管画像の処理システム。
【請求項7】
前記データベースは記憶ユニットまたはクラウド装置に位置することを特徴とする請求項6に記載の処理システム。
【請求項8】
挿管困難度評価表でゼロの前記第1挿管過程画像を用いて分析を行い、モデルを確立させることによって前記これらの構造標的物を定義することを特徴とする請求項6に記載の処理システム。
【請求項9】
前記これらの構造標的物は、唇、会厭、咽喉、声門、気管内チューブと気管内チューブの黒い標記線から構成されたグループであることを特徴とする請求項6に記載の処理システム。
【請求項10】
前記一つまたは複数の処理ユニットは、さらに前記これらの構造標的物が前記第1挿管過程画像に出る時点を確認することで、前記これらの構造標的物の段階挿管時間と挿管時系列が得られる;前記これらの構造標的物が前記第1挿管過程画像に出る時点をn個の時点と定義し、いずれか二つの構造標的物の間の時間差を段階挿管時間と定義し、また時間順に複数の段階挿管時間をカットして組み合わせることから、前記第1挿管過程画像におけるこれらの構造標的物の挿管時系列を確立する;前記これらの構造標的物の段階挿管時間と挿管時系列により、前記第1挿管過程画像の挿管時系列図と挿管能力の時系列分析図を描くことを特徴とする請求項6に記載の処理システム。
【請求項11】
前記一つまたは複数の処理ユニットは、前記これらの目標標的物の段階挿管時間と挿管時系列により、前記第2挿管過程画像の挿管時系列図と挿管能力時系列分析図を描くことを特徴とする請求項6に記載の処理システム。
【請求項12】
請求項5に記載の処理方法と、及び
前記これらの目標標的物と前記これらの構造標的物の段階挿管時間と挿管時系列により、前記第2挿管過程画像の気管挿管効果評価を行うことと、を含むことを特徴とする気管挿管の効果評価方法。
【請求項13】
前記気管挿管効果評価は、前記第1挿管過程画像と前記第2挿管過程画像の段階挿管時間、挿管時系列図と挿管能力時系列分析図を比較することによって、前記第2挿管過程画像が各段階における挿管効果を評価することを特徴とする請求項12に記載の評価方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は処理方法とシステムに関し、特に気管挿管画像の処理方法とシステム、並びに気管挿管の効果評価方法に関する。
【0002】
気管挿管(Tracheal intubation)は高リスク、技術を要する医療行為である。さらに、気管挿管は短時間内に完成させる必要があり、数分内に完成できなければ重大な器官障害をもたらす可能性がある。現在は挿管道具と技術に限られ、挿管の困難度については施術者の主観判断と臨床挿管結果(かかる時間、回数など)だけで判別され、または特定の画像によって識別されるため、挿管困難に対する判定の差異は非常に大きく、研究上において統合交流できないだけでなく、すべての医者に必要とするスキルにおける臨床教育の訓練成果及び合格可否を客観的な評価方法によって判別できない。
【0003】
近年、画像により挿管を補助する工具が多様化し、臨床使用上も普及しているが、実際の臨床から分かることは、過去に使用される挿管困難度に対する評価と挿管方法は挿管を補助する画像技術に直接に採用かつ応用できない。現在における実施方法は画像喉頭鏡(Video Laryngoscope)または画像式挿管スタイレット(Video Stylet)を利用して挿管過程において撮影を同期に行う。しかし、これらのやり方によって録画した画像は後の学習か、局部の構造における差異を分析することに提供されるだけで、挿管過程の画像に対してシステム化構造と時系列の分析が行われていないため、挿管困難度に対する分析の応用または挿管教育訓練の成果評価となりにくい。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明は高リスク、技術を要する気管挿管の臨床操作と訓練の需要により、気管挿管画像の処理方法とシステムを提供し、全行程画像における即時に段階挿管の分割と時系列化処理及び分析の統合を提供でき、次第に気管挿管の効果評価方法を確立することから、現段階における主観判断と人工判読だけでは即時に操作と訓練フィードバックしにくい問題を解決する。
【課題を解決するための手段】
【0005】
上記の目的を達成するために、本発明の気管挿管画像の処理方法は、複数の構造標的物を含むデータベースを作り、そのデータベースに少なくとも一つの第1挿管過程画像を保存し、該少なくとも一つの第1挿管過程画像によりこれらの構造標的物を定義する;定義したこれらの構造標的物により第2挿管過程画像の標的物を識別させることから、第2挿管過程画像においてこれらの構造標的物と同じの複数の目標標的物が得られる;また、識別されたこれらの目標標的物が第2挿管過程画像に出る時点を確認することで、これらの目標標的物の段階挿管時間と挿管時系列が得られる。これらの目標標的物が第2挿管過程画像に出る時点をn個の時点と定義し、いずれか二つの目標標的物の間の時間差を段階挿管時間と定義し、また時間順に複数の段階挿管時間をカットして組み合わせることから、第2挿管過程画像におけるこれらの目標標的物の挿管時系列を確立する。
【0006】
一実施例において、挿管困難度評価表でゼロの第1挿管過程画像を用いて分析を行い、モデルを確立させることによってこれらの構造標的物を定義する。
【0007】
一実施例において、これらの構造標的物は、唇、会厭、咽喉、声門、気管内チューブと気管内チューブの黒い標記線から構成されたグループである。
【0008】
一実施例において、処理方法は、これらの構造標的物が第1挿管過程画像に出る時点を確認することで、これらの構造標的物の段階挿管時間と挿管時系列が得られる;これらの構造標的物が第1挿管過程画像に出る時点をn個の時点と定義し、いずれか二つの構造標的物の間の時間差を段階挿管時間と定義し、また時間順に複数の段階挿管時間をカットして組み合わせることから、第1挿管過程画像におけるこれらの構造標的物の挿管時系列を確立する;これらの構造標的物の段階挿管時間と挿管時系列により、第1挿管過程画像の挿管時系列図と挿管能力の時系列分析図を描く。
【0009】
一実施例において、処理方法は、さらにこれらの目標標的物の段階挿管時間と挿管時系列により、第2挿管過程画像の挿管時系列図と挿管能力時系列分析図を描くことを含む。
【0010】
上記の目的を達成するために、本発明の気管挿管画像の処理システムは、データベースと電子装置を含む。データベースに少なくとも一つの第1挿管過程画像を保存し、該少なくとも一つの第1挿管過程画像から複数の構造標的物を定義する。電子装置とデータベースが電気的接続され、該電子装置は一つまたは複数の処理ユニットと記憶ユニットを含み、該一つまたは複数の処理ユニットと該記憶ユニットが電気的接続され、該記憶ユニットに一つまたは複数のプログラム命令が保存され、該一つまたは複数のプログラム命令は該一つまたは複数の処理ユニットによって稼動される場合、該一つまたは複数の処理ユニットは、定義した該これらの構造標的物により第2挿管過程画像の標的物を識別させることから、該第2挿管過程画像において該これらの構造標的物と同じの複数の目標標的物が得られる;また、識別された該これらの目標標的物が該第2挿管過程画像に出る時点を確認することで、該これらの目標標的物の段階挿管時間と挿管時系列が得られる。該これらの目標標的物が該第2挿管過程画像に出る時点をn個の時点と定義し、いずれか二つの目標標的物の間の時間差を段階挿管時間と定義し、また時間順に複数の段階挿管時間をカットして組み合わせることから、該第2挿管過程画像における該これらの目標標的物の挿管時系列を確立する。
【0011】
一実施例において、データベースは記憶ユニットまたはクラウド装置に位置する。
【0012】
一実施例において、該一つまたは複数の処理ユニットは、さらに、該これらの構造標的物が該第1挿管過程画像に出る時点を確認することで、該これらの構造標的物の段階挿管時間と挿管時系列が得られる;該これらの構造標的物が該第1挿管過程画像に出る時点をn個の時点と定義し、いずれか二つの構造標的物の間の時間差を段階挿管時間と定義し、また時間順に複数の段階挿管時間をカットして組み合わせることから、該第1挿管過程画像におけるこれらの構造標的物の挿管時系列を確立する;該これらの構造標的物の段階挿管時間と挿管時系列により、該第1挿管過程画像の挿管時系列図と挿管能力の時系列分析図を描く。
【0013】
一実施例において、該一つまたは複数の処理ユニットは、これらの目標標的物の段階挿管時間と挿管時系列により、第2挿管過程画像の挿管時系列図と挿管能力時系列分析図を描く。
【0014】
上記の目的を達成するために、本発明の気管挿管の効果評価方法は上記の処理方法を含む;及びこれらの目標標的物とこれらの構造標的物の段階挿管時間と挿管時系列により、第2挿管過程画像の気管挿管効果評価を行う。
【0015】
一実施例において、該気管挿管効果評価は、第1挿管過程画像と第2挿管過程画像の段階挿管時間、挿管時系列図と挿管能力時系列分析図を比較することによって、第2挿管過程画像が各段階における挿管効果を評価する。
【発明の効果】
【0016】
以上をまとめると、本発明の気管挿管画像の処理方法は、複数の構造標的物を含むデータベースを作り、そのデータベースに少なくとも一つの第1挿管過程画像を保存し、該少なくとも一つの第1挿管過程画像によりこれらの構造標的物を定義する;定義したこれらの構造標的物により第2挿管過程画像の標的物を識別させることから、第2挿管過程画像においてこれらの構造標的物と同じの複数の目標標的物が得られる;また、識別されたこれらの目標標的物が第2挿管過程画像に出る時点を確認することで、これらの目標標的物の段階挿管時間と挿管時系列が得られる。これらの目標標的物が第2挿管過程画像に出る時点をn個の時点と定義し、いずれか二つの目標標的物の間の時間差を段階挿管時間と定義し、また時間順に複数の段階挿管時間をカットして組み合わせることから、第2挿管過程画像におけるこれらの目標標的物の挿管時系列などの工程が確立される。これにより、本発明は高リスク、技術を要する気管挿管臨床操作と訓練の需要により提出した気管挿管画像の処理方法とシステムは、気管挿管における全行程画像の段階挿管時間と挿管時系列を提供でき、次第に即時に段階挿管の分割と時系列化処理及び分析の統合を提供し、気管挿管における効果評価方法が確立されることから、現段階における主観判断と人工判読だけでは即時に操作の補助と訓練のフィードバックしにくい問題を解決できる。
【図面の簡単な説明】
【0017】
【
図1A】本発明の一実施例の気管挿管画像の処理システムの機能ブロック図である。
【
図1B】本発明の一実施例の気管挿管画像の処理方法のフロー図である。
【
図2】本発明の気管挿管画像の処理方法の別のフロー図である。
【
図3A】本発明の一実施例の第1挿管過程画像の挿管時系列図である。
【
図3B】本発明の一実施例の第1挿管過程画像の挿管能力時系列分析図である。
【
図4A】本発明の一実施例の第2挿管過程画像の挿管時系列図である。
【
図4B】本発明の一実施例の第2挿管過程画像の挿管能力時系列分析図である。
【
図5】本発明の一実施例の気管挿管の効果評価方法のフロー図である。
【発明を実施するための形態】
【0018】
各図面を用いて、本発明の気管挿管画像の処理方法とシステム、並びに気管挿管の効果評価方法に関わるより良い実施例を以下に説明してゆく。尚、同じ要素は同じ符号で説明する。
【0019】
本明細書に収録した気管挿管分析事例はすべて人体実験委員会によって承認されて原則に追跡されている(IRB NCKUH B-ER-107-088)。また、本明細書の処理システムは分析システムとも称され、処理方法は分析方法とも称される。さらに、本明細書の第1挿管過程画像、第2挿管過程画像は区別するためだけであり、すべては気管挿管過程で録画する全行程画像である。
【0020】
図1Aは本発明の一実施例の気管挿管画像の処理システムの機能ブロック図であり、
図1Bは本発明の一実施例の気管挿管画像の処理方法のフロー図である。
【0021】
図1Aと
図1Bに示すように、本実施例の気管挿管画像の処理システム1はデータベース11と電子装置12を含む。
【0022】
データベース11は少なくとも一つの第1挿管過程画像を保存でき、また、該少なくとも一つの第1挿管過程画像において複数の構造標的物を定義できる。具体的に、分析、処理を行い、気管挿管効果の評価モデルと標準を確立するために、先に複数の構造標的物のデータベース11を確立する必要がある。これらの構造標的物は少なくとも一つの第1挿管過程画像により定義し、これらの構造標的物は複数の第1挿管過程画像より定義するのが好ましい。
【0023】
本実施例において、患者が全身麻酔の気管挿管手術を受けることにあたり、同意書にサインすれば挿管過程で録画した全行程画像がデータベース11に保存される。分析に使われる情報はデータベース11から選ばれる上、麻酔科主治医の挿管成功の事例であり、すべての患者はトラックウェイブレイド(Trachway Blade)によって挿管されるが、Trachway Bladeに限定されず、ブレイド先端に予め設置されたカメラレンズにより挿管の全行程を撮影すると共に、挿管後に挿管困難度評価表(Intubation Difficulty Scale,IDS)を使って分析し、また挿管時間に対する評価をすることから、挿管を成功させる基本構造または特色画像の識別を確立すると共に、工程の流れ間隔における変異を統合分析して自動化させる。
【0024】
本実施例はデータベース11において、挿管困難度評価表でゼロ(即ち、挿管しやすい事例)の第1挿管過程画像を用いて分析を行い、モデルを確立させることによってこれらの構造標的物を定義する。これらの構造標的物は唇(Lip)、会厭(Epiglottis)、咽喉(Laryngopharynx)、声門(Glottis)、気管内チューブ(Endotracheal Tube)、気管内チューブの黒い標記線(Endotracheal Tube marked black line、内チューブには例えば環状の黒い線が2本ある)から構成されるグループにより選ばれることを例とできるが、これに限定されない。本実施例において、これらの構造標的物は計6個あり、即ち唇、会厭、咽喉、声門、気管内チューブと気管内チューブの黒い標記線などから構成されたグループであるが、これに限定されない。異なった実施例において、気管挿管画像が定義した構造標的物を異なっても良く、数量も6個以上か6個以下でも良い、使用者が効果評価需要により、挿管過程画像から上記の構造標的物と異なった数量と構造を定義する。
【0025】
一部の実施例において、第1挿管過程画像を保存するデータベース11から例えば33個の挿管過程の全行程画像事例が選ばれ、複数のベテラン専門医によって選別されることで、挿管過程を時系列によって異なった段階に分けられ、さらに画像において定義した各構造標的物を標記して確認し、合計は唇:27枚、会厭:173枚、咽喉:366枚、声門:377枚、気管内チューブ:24枚、気管内チューブの黒い標記線:345枚などが選別され、時系列に沿って出る計6種類の構造標的物の画像がある。これらの構造標的物の画像はYOLOv3(Real-Time Object Detection)をベースにした標的物をトレーニングしてモデルを識別させることに用いられ、のちにほかの挿管画像の標的物識別に用いられることに提供される。一部の実施例において、先に第1挿管過程画像のデータを30fpsの単一画像データにカットし、さらに画像標的物の検出(Object Detection)を行う。いずれか二つの標的物は一つの段階挿管時間に組み合わせられるため、挿管画像を挿管時系列にカットできる。これにより、気管挿管工程の流れにおいて、各構造標的物の時系列を解析する。
【0026】
言い換えると、先に気管挿管処理過程における標的構造と重要工程の画像を含むデータベース11を作ると共に、データベース11に保存される画像を人工知能(Artificial Intelligence, AI)に学習させ、上記に関わる構造を自動識別できるAI識別システムを構築する。ここは全挿管過程の画像を、時系列に識別した構造標的物を段階的に分けることによって、各構造標的物が画像系列に出る時点と操作意図を識別させ、段階挿管時間とこれらの段階挿管時間をカットして組み合わせた後の挿管時系列を得る。例えば、挿管過程画像は時系列に進行するn個の構造標的物(n≧2)を定義でき、このn個の構造標的物は画像におけるn個の異なる時点とそれぞれ対応することから、隣接するまたは隣接しないいずれか二つの構造標的物の時点差は段階挿管時間と定義できる。
【0027】
n=6を例として、いずれか二つの構造標的物は一つの段階挿管時間として定義できるために、全挿管過程において時系列に少なくとも5個(6-1=5)の段階挿管時間に対応する5個の挿管段階に分けられ、最多は15個(6×5/2=15)の段階挿管時間に対応する15個の挿管段階に分けられ、各挿管段階にそれぞれ時間と操作上の意味を持ち、さらに段階挿管時間を時系列にカットして組み合わせると、全挿管過程の挿管時系列が得られる。n=6の時、構造標的物が時間順に出て、即ち、第1構造標的物から第6構造標的物は少なくとも5個の段階挿管時間(例えば、t1~t5)に分けられる。ここでは、段階挿管時間t1が第1構造標的物と第2構標的物の間に対応し、段階挿管時間t2が第2構造標的物と第3構造標的物の間に対応し、段階挿管時間t3が第3構造標的物と第4構造標的物の間に対応し、段階挿管時間t4が第4構造標的物と第5構造標的物の間に対応し、段階挿管時間t5が第5構造標的物と第6構造標的物の間に対応して、計5個挿管段階があり、この5個の段階挿管時間(t1、t2、t3、t4、t5)を順番にカットして組み合わせると6個の構造標的物の挿管時系列が得られる。例えば、3個の段階挿管時間(t1+t2)、t3、(t4+t5)を順番にカットして組み合わせると、同様にこの6個の構造標的物の挿管時系列が得られるが、それぞれ第1構造標的物と第3構造標的物の間、第3構造標的物と第4構造標的物の間、第4構造標的物と第6構造標的物の間に対応する。異なった実施例において、n=8の場合、全挿管過程において少なくとも7個(8-1=7)の段階挿管時間に対応する7個の挿管段階に分けられ、最多は28個(8×7/2=28)の段階挿管時間に対応する28個の挿管段階に分けられ、さらに時間順にいくつかの段階挿管時間をカットして組み合わせると、全挿管過程の挿管時系列が得られ、以降は類推する。
【0028】
本実施例において、画像標記工具を使用し、LabelImg標記ソフトは標的物の標記工具であり、標的物の構造と特性などにより、専門家達が会議を開き、構造標的物を選び、各構造標的物を定義する原則を与え、テスト検証と修正することによって、上記の6個の構造標記物を定義し、さらにこの6個の構造標的物で人工知能をトレーニングし、繰り返して検証と修正した後、のちのそのほかの挿管画像の標的物がAIシステムによって自動的に識別されかつ正解率はほぼ完璧に達せるため、気管挿管画像の自動化効果評価に達成できる。
【0029】
AI識別の正解率を完璧に達させるために、AIに対して繰り返し検証と修正工程を行う必要があり、標的物の識別正確度を検証する。ここは、上記によりこれらの構造標的物における複数の第1挿管過程画像を定義して、AIシステムにテスト(検証)させる以外、さらにほかの挿管過程画像(IDS=0またはIDS≠0でも良い)を使用してテスト(検証)を行い、また継続的にAI識別能力をトレーニングして修正することから、AIシステムが標的物の識別正解率を完璧にさせる。
【0030】
また、特に説明する価値があることは、気管挿管の過程において、各解剖構造の挿管画像の時間上における意味は次のようである。唇:挿管流れのスタートであり、唇を見えなくなるとカメラレンズが口腔に入ったことを示す;会厭:カメラレンズが口腔に入って舌を経過するとすでに正確に舌根に達し、初心者にとって、ブレイドを舌根にスライドさせることができるのは基本の動作が正確であり、中央線から離れすぎていないことを表す;ブレイドは中央に位置すると会厭の移動範囲に影響する;声門:会厭を見た後、ブレイドの位置と力加減及び角度を調整して、最も良い声門の開き視野を得る;喉頭(Larynx)の上視角:喉頭の上視角から素早く声門を見えるかどうかは麻酔科医が挿管困難度を判断する指標となり、過去の挿管画像においてこの時間を特別に標記できなかった;披裂交連(Arytenoid commissure, AC):挿管過程において一番先に露出する咽喉構造であり、その形状は食道開口と違い、食道と気管開口を識別するための重要な解剖構造である;気管内チューブ前端:視野に気管内チューブが見えることは、気管内チューブを開口から咽喉に送れることを示す;気管内チューブ中段:気管内チューブを咽喉に照準し、気管内チューブを制御してスムーズに喉頭に到達させることを確認する;気管内チューブの黒い標記線:黒い標記線が見えなくなると、挿管は定位置に達し、挿管工程を完成できたことを示す。
【0031】
さらに
図1Aを参照されたい。電子装置12はデータベース11と電気的接続される。電子装置12はコンピューター、サーバー(server)、携帯電話またはタブレットであり、これらに限定されない。一部の実施例において、電子装置12とデータベース11の電気的接続は無線または有線の方式で接続され、無線方式で接続するのは、例えばWi-Fiモジュール、ブルートゥース(登録商標)モジュールまたは移動通信ネットワーク(3G、4Gまたは5G)によって接続されることで、データベース11に保存されるデータを受け取り、保存と処理する。電子装置12は一つまたは複数の処理ユニット121と記憶ユニット122を含み、一つまたは複数の処理ユニット121と記憶ユニット122が電気的接続される。
図1Aは一つの処理ユニット121と一つの記憶ユニット122を例とし、上記のデータベース11は記憶ユニット122またはクラウド装置に位置する;または、データベース11は独立したコンピューター読取可能の保存メディア(ソリッドステートドライブ、USB、またはあらゆる形式のメモリが例えられるが、これらに限定されない)またはメモリチップに位置する。データベース11がクラウド装置に位置する時、電子装置12が処理、分析を行う前、まずはクラウド装置からデータベース11に保存されるデータを記憶ユニット122にダウンロードしてから、処理ユニット121により処理、分析を行う。もしデータベース11が記憶ユニット122に位置する場合はダウンロードがいらない。データベース11が独立したコンピューター読取可能の保存メディアに位置する場合、電子装置を挿入すれば処理ユニット121により保存された内容を読み取れる。
【0032】
処理ユニット121は記憶ユニット122に保存されたデータをアクセスでき、さらに電子装置12の核心制御装置を含み、例えば少なくとも一つの中央処理装置(CPU)とメモリを含み、或いはそのほかの制御ハードウェア、ソフトウェアまたはファームウェアを含む。また、記憶ユニット122は非一過性コンピューター読取可能の保存メディア(non-transitory computer readable storage medium)とし、例えば少なくともメモリ、メモリーカード、メモリチップ、ディスク、ビデオテープ、コンピューターテープ、またはそのいずれかの組合せを含む。一部の実施例において、上記のメモリは、読み出し専用メモリ(ROM)、フラッシュ(Flash)メモリー、フィールドプログラマブルゲートアレイ(Field-Programmable Gate Array,FPGA)、固体ディスク(Solid State Disk,SSD)やそのほかの形式のメモリまたはその組合せを含む。
【0033】
記憶ユニット122は少なくともアプリケーションソフトウェアを保存し、該アプリケーションソフトウェアは一つまたは複数のプログラム命令1221を含む。上記のデータベース11を作った後、記憶ユニット122に保存されるアプリケーションソフトウェアの一つまたは複数のプログラム命令1221が一つまたは複数の処理ユニット121によって稼動され、一つまたは複数の処理ユニット121は少なくとも、定義したこれらの構造標的物により第2挿管過程画像の標的物を識別させることから、第2挿管過程画像においてこれらの構造標的物と同じの複数の目標標的物(
図1Bの工程S02)が得られる;また、識別されたこれらの目標標的物が第2挿管過程画像に出る時点を確認することで、これらの目標標的物の段階挿管時間と挿管時系列が得られる。これらの目標標的物が第2挿管過程画像に出る時点をn個の時点と定義し、いずれか二つの目標標的物の間の時間差を段階挿管時間(第2挿管過程画像は(n-1)個以上の段階挿管時間が得られる)と定義し、また時間順に複数の段階挿管時間をカットして組み合わせることから、第2挿管過程画像におけるこれらの目標標的物の挿管時系列(
図1Bの工程S03)が確立される。
【0034】
また、一つまたは複数の処理ユニット121は、これらの目標標的物の段階挿管時間と挿管時系列により、第2挿管過程画像の挿管時系列図と挿管能力時系列分析図(
図2の工程S04)を描く。さらに、一つまたは複数の処理ユニット121は、これらの構造標的物が第1挿管過程画像に出る時点を確認することで、これらの構造標的物の段階挿管時間と挿管時系列が得られ、これらの構造標的物が第1挿管過程画像に出る時点をn個の時点と定義し、いずれか二つの構造標的物の間の時間差を段階挿管時間(第1挿管過程画像は(n-1)個以上の段階挿管時間が得られる)と定義し、また時間順に複数の段階挿管時間をカットして組み合わせることから、第1挿管過程画像におけるこれらの構造標的物の挿管時系列(
図2の工程S05)が確立される。また、これらの構造標的物の階段挿管時間と挿管時系列により、第1挿管過程画像の挿管時系列図と挿管能力時系列分析図(
図2の工程S06)を描く。
【0035】
これからは上記工程S02から工程S06について詳しく説明する。
【0036】
図1Bに示すように、本発明の気管挿管画像の処理方法は工程S01から工程S03を含む。
【0037】
工程S01は、複数の構造標的物を含むデータベース11を作り、データベース11に少なくとも一つの第1挿管過程画像を保存し、該少なくとも一つの第1挿管過程画像によりこれらの構造標的物を定義する。前述したように、少なくとも一つの第1挿管過程画像(複数が好ましい)の構造標的物を先に確認して定義することによって、のちの識別基準を確立する。本実施例において、挿管困難度評価表でゼロの複数の第1挿管過程画像を用いて分析を行い、モデルを確立させることによってこれらの構造標的物を定義する。また、本実施例におけるこれらの構造標的物は時間順に出て、上記の唇、会厭、咽喉、声門、気管内チューブと気管内チューブの黒い標記線など計6個の標的構造(6個に限らない)を含むことが例えられるが、この6個の構造標的物と第1挿管過程画像、各段階挿管時間と挿管時系列はすべてデータベース11に保存できる。
【0038】
工程S02は、定義したこれらの構造標的物により第2挿管過程画像の標的物を識別させることから、第2挿管過程画像においてこれらの構造標的物と同じの複数の目標標的物が得られる。第2挿管過程画像と識別されたこれらの目標標的物もデータベース11に保存できる。具体的に、のちの挿管画像(即ち、第2挿管過程画像)の挿管効果を評価するために、まずは第2挿管過程画像に対して挿管過程の標的物識別を行うと共に、第2挿管過程画像が識別したこれらの目標標的物と第1挿管過程画像におけるこれらの構造標的物を同じにし、これで同じ基準で挿管過程における各段階の効果評価をできる。各段階は異なった操作定義と意図を表し、単独に評価または改善を行える。一部の実施例において、上記のトレーニングを完成したAIシステムを利用してのちの挿管過程画像に対して標的物識別を行うことで、構造標的物と同じ構造の複数の目標標的物(同じ6個または6個以上であり、比較する時は同じ数の標的物と同じ段階で比較を行う)が得られる。本実施例において、第2挿管過程画像は、例えばそのほかの医者(PGY研修医が例えられるが、これに限定されない)が麻酔部門で気管挿管実習する際に入手した気管挿管過程画像である。
【0039】
工程S03は、識別されたこれらの目標標的物が第2挿管過程画像に出る時点を確認することで、これらの目標標的物の段階挿管時間と挿管時系列が得られる。これらの目標標的物が第2挿管過程画像に出る時点をn個の時点と定義し、いずれか二つの目標標的物の間の時間差を段階挿管時間と定義し、また時間順に複数の段階挿管時間をカットして組み合わせることから、第2挿管過程画像におけるこれらの目標標的物の挿管時系列を確立する。第2挿管過程画像も挿管過程の時系列画像であるため、各目標標的物(例えば唇、会厭、咽喉、声門、気管内チューブと気管内チューブの黒い標記線などが例えられるが、これらに限定されない)が第2挿管過程画像に順番に出る時点が得られる。上記のように、これらの目標標的物の段階挿管時間が得られ、そしてこれらの段階挿管時間をカットして組み合わせる挿管時系列によりのちの評価に提供される。
【0040】
本実施例において、これらの目標標的物は第2挿管過程画像に順番に出る時点は例えば6個の時点と定義でき、いずれか二つの目標標的物の間の時間差は一つの段階挿管時間と定義でき、第2挿管過程画像から最少5個(5個の段階に対応する)の段階挿管時間が得られ、最多15個の段階挿管時間(15個の段階に対応する)が得られる。また、目標標的物が出る時間順でカットし、これらの段階挿管時間(挿管段階)を組み合わせると第2挿管過程画像の挿管時系列を確立する。言い換えると、唇、会厭、咽喉、声門、気管内チューブと気管内チューブの黒い標記線など6個(n=6)の目標標的物が画像に順番に出る時点をt1、t2、・・・、t6と仮定すると、(t2-t1)は唇から会厭の段階挿管時間、(t3-t2)は会厭から咽喉の段階挿管時間、・・・、(t6-t5)は気管内チューブから気管内チューブの黒い標記線の段階挿管時間である。また、(t3-t1)は咽喉から唇の段階挿管時間、(t5-t2)は会厭から気管内チューブの段階挿管時間、(t6-t1)は唇から気管内チューブの黒い標記線の段階挿管時間であり、これを類推すると、5個の段階以上の段階挿管時間(本実施例では最多が15個)が得られる。
【0041】
例を挙げると、一枚目の会厭画像(Glottis 1st image)と一枚目の声門画像(Epiglottis 1st image)の差が7秒であり、このことは会厭から声門にかかる時間は7秒を意味し、以降は類推する。注目すべきことは、二つの目標標的物(または二つの構造標的物)の間の時間差は、時系列で隣り合わせの二つの目標標的物(または二つの構造標的物)に限定されず、隣り合わせしていない二つの目標標的物(または二つの構造標的物)に対しても段階挿管時間の計算を行え、該挿管段階に対応する段階挿管時間を生じさせることから、該挿管段階の効果評価をし、例えば単独にまたは同時に(隣り合わせしていない)声門(時点はt4)から出て、気管内チューブの黒い標記線(時点はt6)が消えた時間差(t6-t4)を計算でき、該挿管段階の段階挿管時間(t6-t4)が得られた後、該挿管段階に対して効果評価をし、そのほかの挿管段階も同じ方法で行える。
【0042】
図2に示すように、本発明の気管挿管画像の処理方法のもう一つのフロー図である。
図2において、上記の工程S01から工程S03以外、該処理方法はさらに工程S04から工程S06を含める。工程S04と工程S05(及び工程S06)の時間順は限定されず、工程S04を行った後に工程S05(及び工程S06)を行う;または工程S05(及び工程S06)を行った後に工程S04を行う;或いは、工程S04と工程S05(及び工程S06)を同時に行う。
【0043】
次は、工程S05と工程S06を説明した後、工程S04を説明する。工程S05は、これらの構造標的物が第1挿管過程画像に出る時点を確認することで、これらの構造標的物の段階挿管時間と挿管時系列が得られる;これらの構造標的物が第1挿管過程画像に出る時点をn個の時点と定義し、いずれか二つの構造標的物の間の時間差を段階挿管時間と定義し、また時間順に複数の段階挿管時間をカットして組み合わせることから、第1挿管過程画像におけるこれらの構造標的物の挿管時系列を確立する。同様に、第1挿管過程画像も挿管過程の時系列画像であるため、上記工程S03の第2挿管過程画像におけるこれらの目標標的物の段階挿管時間と挿管時系列を得る過程と同じように、同じような方法によって各構造標的物が第1挿管過程画像に対応して出る例えば6個の時点、及び例えば5個以上の段階挿管時間(最多は例えば15個)が得られ、さらに時間順にこれらの段階挿管時間をカットして組み合わせることから、第1挿管過程画像におけるこれらの構造標的物の挿管時系列を確立する。
【0044】
工程S06は、これらの構造標的物の段階挿管時間と挿管時系列により、第1挿管過程画像の挿管時系列図と挿管能力時系列分析図を描く。本実施例において、上記のデータベース11により、IDSでゼロの(第1)挿管画像データを3名のベテラン麻酔科主治医が共同で上記6個の構造標的物とそれに出る対応の時系列点を標記し、複数の段階挿管と標準の気道挿管全行程の挿管時系列を確立し、のちの効果比較とする。その結果は
図3Aに示す第1挿管過程画像の挿管時系列図、及び
図3Bに示す第1挿管過程画像の挿管能力時系列分析図を参照されたい。
【0045】
このほか、工程S04は、これらの目標標的物の段階挿管時間と挿管時系列により、第2挿管過程画像の挿管時系列図と挿管能力時系列分析図を描く。同様に、例えばPGY研修医が行った気管挿管で得られた第2挿管過程画像から識別される6個の目標標的物とそれに対応する挿管時系列(工程S03)により、
図4Aに示すような第2(初心者)挿管過程画像の段階挿管時間と挿管時系列図、及び
図4Bに示すような第2(初心者)挿管過程画像の挿管能力時系列分析図を描ける。
【0046】
図3Aと
図4Aには、横軸は時間(秒)で、Aは最後の1枚の唇画像(Lip last image)、Bは1枚目の会厭画像(Epiglottis 1st image)、Cは1枚目の喉頭画像(1st larynx image)、Dは最後の1枚のチューブのない声門(Last free glottis)画像、Eは最後の1本の黒線(Last blackline)画像であり、
図3Aと
図4Aから気管挿管画像の異なった各段階でかかった時間が得られる。注目すべきは、必ずしも全部の標的物(及びそれに対応する時点)が現在における挿管時系列図に出る必要がなく、使用者がやり方の違いを判断することによって、その中の一つまたはその中のいくつかの標的物を図に表さないようにする。
【0047】
図3Aと
図4Aの実施例において、6個の標的物があるが、5個の時点と4個の挿管段階(4個の段階挿管時間は、AからB、BからC、CからD、DからE)しか描いていない。各段階は異なった操作定義と意図を表し、単独に評価または改善を行え、例えば一つだけの挿管段階に対して、またはすべての挿管段階に対してそれぞれ効果評価を行う。もちろん、異なった実施例では、6(n)個の標的物と隣接する二つの標的物もそれぞれ計算でき、5個の挿管段階(5個の段階挿管時間)が得られる。或いは、使用者の需要により調整を行い、5個以上の段階挿管時間を生じさせ、さらに一つの目標標的物ともう一つの目標標的物との間の段階挿管時間(例えば、上記のAからB、BからC、CからD、DからEなどの挿管段階、またはBからDの挿管段階、AからDの挿管段階・・・を統合する)とその効果を評価するか、或いはすべての挿管段階に対してそれぞれの操作意味を分けると共に、各段階に対して単独に効果評価を行い、さらにそのうちの一つだけの挿管段階に対して効果評価をするなど、本発明は限定しない。
【0048】
図5は本発明の一実施例の気管挿管の効果評価方法のフロー図である。
【0049】
本発明はさらに気管挿管の効果評価方法を提出し、上記の気管挿管画像の処理システム1と方法に応用できる。気管挿管画像の処理システム1と方法は上記で詳しく記載しているため、これ以上説明しない。本発明の気管挿管の効果評価方法は気管挿管に対して自動化評価をできると共に、上記の気管挿管の処理方法(または工程)及び効果評価行程を含む。
【0050】
図5に示すように、気管挿管の処理工程(または方法)は工程S01から工程S06を含み、工程S01から工程S06は上記において詳しく説明したため、これ以上説明しない。また、該効果評価工程は、これらの目標標的物とこれらの構造標的物の挿管時系列により、第2挿管過程画像の気管挿管効果評価を行う。第2挿管過程画像の気管挿管効果評価は
図5の工程S07を含み、第1挿管過程画像と第2挿管過程画像の段階挿管時間、挿管時系列図と挿管能力時系列分析図を比較することによって、第2挿管過程画像の各段階の挿管効果を評価する。第1挿管過程画像の段階挿管時間、挿管時系列図と挿管能力時系列分析図は上記の
図3Aと
図3Bを例にして、第2挿管過程画像の段階挿管時間、挿管時系列図と挿管能力時系列分析図は上記の
図4Aと
図4Bを例とする。
【0051】
さらに
図3Aの第1挿管過程画像の段階挿管時間と挿管時系列図を参照されたい、AからBの段階は挿管のトラックウェイブレイドは正確に口腔に入ってそして舌根以下に到達できる過程と時間(段階挿管時間は約3秒)を表す;BからCの段階は会厭を動かして喉頭構造を露出させる過程と時間(段階挿管時間約2.5秒)である;CからDの段階はブライドを調整して最も好ましい声門構造を露出させるように適度に付勢し、気管内チューブを喉頭までにガイドする過程と時間(段階挿管時間約4秒)である;DからEの段階は気管内チューブを喉頭から気管の定位置にスライドする過程と時間(段階挿管時間約4.5秒)であることから、AからE段階における気管挿管の合計時間(段階挿管時間差)は約14秒である。また、
図3Bの第1挿管過程画像の段階挿管時間と挿管能力時系列分析図から分かるように、ベテランの麻酔科主治医の気管挿管能力は75%~100%の間(即ち、
図3Bに示すグレー色エリア内に位置する)であることから、挿管技術は優れていると表す。
【0052】
図4Aの第2(初心者)挿管過程画像の段階挿管時間と挿管時系列図において、A~Eが示す意味は上記の通りである。
図4Aにおいて、AからBの段階挿管時間は約6秒、BからCの段階挿管時間は約19秒、CからDの段階挿管時間は約30秒、DからEの段階挿管時間は約32秒であるため、AからE段階における気管挿管の合計時間は約87秒である。
図4Aと
図3Aを比較すると、該PGY研修医が挿管過程にかかった時間が非常に長く、特にCからDの段階、DからEの段階にかかった時間が長いことから、CからE段階の気管挿管の技術能力がまだ不足していることが明らかである。
【0053】
また、
図4Bの第2(初心者)挿管過程画像の挿管能力時系列分析図において、異なった時間の挿管画像は異なった組のラインを描け、一組のラインから四辺形に構成され、一組のラインは一回の挿管過程を表す。
図4Bから分かるように、これらの四辺形ラインのほとんどはエリアZ(
図4Bのグレー色エリアは、挿管能力が予想より低いエリアであり、例えば気管挿管能力が75%以下である)に位置することから、該PGY研修医の初期挿管技術の実力が足りなく、強化する必要があることを示す。また、
図3Bに対して、
図4Bの会厭(Epiglottis)1st~声門(Glottis)1stの段階能力も不足で、該PGY研修医が挿管過程において断続的な状況になることから(
図4AのCからD、DからE段階)、CからEの段階技術が未熟であることが分かる。さらに、該PGY研修医はほかの時点においても能力不足の状況がある。以上の分析、比較によると、該PGY研修医の気管挿管における技術能力に対して評価できる以外、その能力不足の段階とのちに強化訓練が必要な部分が分かり、気管挿管効果の自動化評価の目的に達する。
【0054】
引き続き、上記に開示した内容から分かるように、本発明の気管挿管画像の処理方法と該処理方法を含む気管挿管の効果評価方法は、識別された標的物の出る時点と互いにおける時間間隔を、気道挿管過程における各段階で費やした操作時間に対応して気道挿管の効果評価指標とでき、段階における危険要素を探索する標的としても良い。標準化した気道挿管時系列と対照することにより、新人医師の学習効果が分かり、各段階のより細部にわたる学習フィードバックを提供できる。さらに、本発明は異なった工具、異なったレベルの人員と異なった挿管困難度点数における挿管を行う時の鑑別度または学習曲線を分析できる。
【0055】
本発明の特色は、従来の気管挿管の画像分析は主に喉部(Cormack Grade)に着眼されるため、ほかの部分における影響を識別できない。最も重要なのは、本発明は複数の構造解剖により特色標示(標的物)をし、時系列の気管挿管の処理システムと方法を発展することから、挿管のたびに全体に成功するか失敗するかの伝統概念から開放され、挿管過程を標的物と時間で異なった段階に分けられ、さらに標的物を自動的に識別することによって異なった段階とそれに対応する消耗時間に分割され、気管挿管の段階別の構築式効果評価モデルを確立する。
【0056】
本発明は高リスク、技術を要する気管挿管臨床操作と訓練の需要により、人工知能による気管挿管画像の処理を発展し、全行程画像における即時に時系列化分析と客観量化評価を提供する。また、本発明は上記の処理(分析)方法に基づき、新たな気管挿管効果の自動化評価システムを確立し、現段階における主観判断と人工判読で即時に操作補助と訓練フィードバックしにくい問題を解決する。さらに、本システムと方法は、未来における気管挿管の個人学習過程の技術評価と発展、新しい挿管工具または技術の開発と検証、及び模擬訓練の教育案に対する評価ができる。
【0057】
以上をまとめると、本発明の気管挿管画像の処理方法は、複数の構造標的物を含むデータベースを作り、そのデータベースに少なくとも一つの第1挿管過程画像を保存し、該少なくとも一つの第1挿管過程画像によりこれらの構造標的物を定義する;定義したこれらの構造標的物により第2挿管過程画像の標的物を識別させることから、第2挿管過程画像においてこれらの構造標的物と同じの複数の目標標的物が得られる;また、識別されたこれらの標的物が第2挿管過程画像に出る時点を確認することで、これらの目標標的物の段階挿管時間と挿管時系列が得られる。これらの目標標的物が第2挿管過程画像に出る時点をn個の時点と定義し、いずれか二つの目標標的物の間の時間差を段階挿管時間と定義し、また時間順に複数の段階挿管時間をカットして組み合わせることから、第2挿管過程画像におけるこれらの目標標的物の挿管時系列などの工程が確立される。これにより、本発明は高リスク、技術を要する気管挿管臨床操作と訓練の需要により提出した気管挿管画像の処理方法とシステムは、気管挿管における全行程画像の段階挿管時間と挿管時系列を提供でき、次第に即時に段階挿管の分割と時系列化処理及び分析の統合を提供し、気管挿管における効果評価が確立されることから、現段階における主観判断と人工判読だけでは即時に操作の補助と訓練のフィードバックしにくい問題を解決できる。
【0058】
以上は、本発明に係る実施例の一部に過ぎないため、本発明を制限するものではない。本発明の精神と範疇を離脱しない限り、行われる修正又は変更は本発明の請求の範囲に属すべきである。
【符号の説明】
【0059】
1 気管挿管画像の処理システム
11 データベース
12 電子装置
121 處理單元
122 記憶單元
1221 プログラム命令
A 最後の1枚の唇画像
B 1枚目の会厭画像
C 1枚目の喉頭画像
D 最後の1枚のチューブのない声門画像
E 最後の1本の黒線画像
S01、S02、S03、S04、S05、S06、S07 工程
Z エリア
【国際調査報告】