知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-06-27
(45)【発行日】2023-07-05
(54)【発明の名称】人工知能に基づく困難な気道の評価方法及び装置
(51)【国際特許分類】
G06T 7/00 20170101AFI20230628BHJP
G06N 3/02 20060101ALI20230628BHJP
G06N 20/00 20190101ALI20230628BHJP
A61B 5/107 20060101ALI20230628BHJP
A61B 10/00 20060101ALI20230628BHJP
【ＦＩ】
G06T7/00 350C
G06T7/00 660A
G06N3/02
G06N20/00
A61B5/107 300
A61B10/00 L
【請求項の数】
6
(21)【出願番号】P 2022021011
(22)【出願日】2022-02-15
(65)【公開番号】P2022146884
(43)【公開日】2022-10-05
【審査請求日】2022-02-15
(31)【優先権主張番号】202110300891.2
(32)【優先日】2021-03-22
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】514082712
【氏名又は名称】上海交通大学医学院付属第九人民医院
(74)【代理人】
【識別番号】100135194
【弁理士】
【氏名又は名称】田中 智雄
(72)【発明者】
【氏名】夏明
(72)【発明者】
【氏名】姜虹
(72)【発明者】
【氏名】林志良
(72)【発明者】
【氏名】鄭堯坤
(72)【発明者】
【氏名】王傑
(72)【発明者】
【氏名】周靭
(72)【発明者】
【氏名】徐天意
(72)【発明者】
【氏名】曹爽
【審査官】▲広▼島 明芳
(56)【参考文献】
【文献】米国特許出願公開第２０１０／０３１２１４４（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０２１／００３４８４１（ＵＳ，Ａ１）
【文献】中国特許出願公開第１１１６３９５３５（ＣＮ，Ａ）
【文献】Gabriel Louis Cuendet, et al.，Facial Image Analysis for Fully Automatic Prediction of Difficult Endotracheal Intubation，IEEE TRANSACTIONS ON BIOMEDICAL ENGINEERING，2016年，VOL.63, NO.2
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００ － ７／９０
Ｇ０６Ｎ ３／０２
Ｇ０６Ｎ ２０／００
Ａ６１Ｂ ５／１０７
Ａ６１Ｂ １０／００
Ｇ０６Ｖ ４０／１６
(57)【特許請求の範囲】
【請求項1】
人工知能に基づく困難な気道の評価方法において、（１）取得モジュールが、正面中立位置の顔画像、口をすぼめてほほえむ顔画像、頭をあげている顔画像、頭を下げる顔画像、左側面の顔画像、右側面の顔画像、口を開けて舌を出さない顔画像、口を開けて舌を出す顔画像及び下歯が上唇を噛む顔画像を含む様々な姿勢の顔画像を取得するステップと、
（２）特徴抽出モジュールが、顔認識に基づく特徴抽出ネットワークを構築し、訓練された前記特徴抽出ネットワークを介して前記顔画像の特徴情報を抽出し、その中で、顔認識タスクの損失関数は顔認識損失関数を用い、前記顔認識損失関数はＡｒｃＦａｃｅ損失関数を用いるステップと、
（３）評価モジュールが、機械学習アルゴリズムに基づく困難な気道分類器を構築し、訓練された困難な気道分類器を介して抽出した前記顔画像の特徴情報について困難な気道の重症度をスコアリングし、困難な気道の評価結果を得、その中で、前記困難な気道分類器は前記顔画像の特徴情報及び患者の身長、年齢、体重情報を入力とし、訓練を行う時、ｃｏｒｍａｃｋ-ｌｅｈａｎｅスコアがI-II級患者である顔特徴と困難な気道との相関性を０点とし、ｃｏｒｍａｃｋ-ｌｅｈａｎｅスコアがIII-IV級患者である顔特徴と困難な気道との相関性を１点とし、分類器の出力結果とし、特徴抽出ネットワークをテストセットに用いて検証を行い、困難な気道に０－１間に得点を付与し、点数が１点に接近すればするほど、困難度がますます高くなることを表すステップと、を含むことを特徴とする人工知能に基づく困難な気道の評価方法。
【請求項2】
前記ステップ（２）では、深層学習特徴抽出ネットワークを用い、前記深層学習特徴抽出ネットワークはｍ層ニューラルネットワークからなり、各層のネットワークは畳み込み層、プーリング層、転置畳み込み層、完全接続層のうちの若干の種であり、第i層と第j層に接続があり、ここで、１＜ｉ, ｊ＜ｍであることを特徴とする請求項１に記載の人工知能に基づく困難な気道の評価方法。
【請求項3】
前記ＡｒｃＦａｃｅ損失関数は、下記式【数4】
【請求項4】
人工知能に基づく困難な気道の評価装置において、正面中立位置の顔画像、口をすぼめてほほえむ顔画像、頭をあげている顔画像、頭を下げる顔画像、左側面の顔画像、右側面の顔画像、口を開けて舌を出さない顔画像、口を開けて舌を出す顔画像及び下歯が上唇を噛む顔画像を含む様々な姿勢の顔画像を取得するための取得モジュールと、前記顔画像及び困難な気道情報を記憶し、その中で、顔認識タスクの損失関数は顔認識損失関数を用い、前記顔認識損失関数はＡｒｃＦａｃｅ損失関数を用いるためのデータ記録モジュールと、顔認識に基づく特徴抽出ネットワークを構築し、訓練された前記特徴抽出ネットワークを介して前記顔画像の特徴情報を抽出するための特徴抽出モジュールと、機械学習アルゴリズムに基づく困難な気道分類器を構築し、訓練された困難な気道分類器を介して抽出された前記顔画像の特徴情報について困難な気道の重症度をスコアリングし、困難な気道の評価結果を得、その中で、前記困難な気道分類器は前記顔画像の特徴情報及び患者の身長、年齢、体重情報を入力とし、訓練を行う時、ｃｏｒｍａｃｋ-ｌｅｈａｎｅスコアがI-II級患者である顔特徴と困難な気道との相関性を０点とし、ｃｏｒｍａｃｋ-ｌｅｈａｎｅスコアがIII-IV級患者である顔特徴と困難な気道との相関性を１点とし、分類器の出力結果とし、特徴抽出ネットワークをテストセットに用いて検証を行い、困難な気道に０－１間に得点を付与し、点数が１点に接近すればするほど、困難度がますます高くなることを表すための評価モジュールと、を備えることを特徴とする人工知能に基づく困難な気道の評価装置。
【請求項5】
前記特徴抽出モジュールは深層学習特徴抽出ネットワークを用い、前記深層学習特徴抽出ネットワークはｍ層ニューラルネットワークからなり、各層のネットワークは畳み込み層、プーリング層、転置畳み込み層、完全接続層のうちの若干の種であり、第i層と第j層に接続があり、ここで、１＜ｉ, ｊ＜ｍであることを特徴とする請求項４に記載の人工知能に基づく困難な気道の評価装置。
【請求項6】
前記ＡｒｃＦａｃｅ損失関数は、下記式【数5】
【発明の詳細な説明】
【技術分野】
【0001】
本発明はコンピュータ補助技術分野に関し、特に、人工知能に基づく困難な気道の評価方法及び装置に関する。
【背景技術】
【0002】
気管挿管は麻酔医師が全身麻酔状態での患者に対して気道管理を行う重要な手段であり、気道の流れが順調であるように保持し、通気し酸素を供給し、呼吸を支持し、酸素化を維持する等の面で重要な役割を果たしている。しかしながら、気管挿管技術及び装置は多くの進歩と改善があったものの、困難な気道による手術期間を取り巻く合併症と身障の発生率が立派に改善されておらず、特に、予知していない困難な気道についてである。現在、困難な気道を評価する方法は、一般にＭａｌｌａｍｐａｔｔｉ格付け、ＬＥＭＯＮスコア、Ｗｉｌｓｏｎスコア、頸部の放射線による治療歴及び補助ＣＴ、ＭＲＩ、ＵＳ等を含み、プロセスが複雑で陽性の評価値が高くない。いずれも一定の限界性がある。
【発明の概要】
【発明が解決しようとする課題】
【0003】
本発明が解決しようとする技術課題は人工知能に基づく困難な気道の評価方法及び装置を提供し、臨床麻酔において困難な気道に対し、精確に事前に警報を発することができる。
本発明ではその技術課題を解決するために、採用した技術手段は、人工知能に基づく困難な気道の評価方法を提供し、
（１）様々な姿勢の顔画像を取得するステップと、
（２）顔認識に基づく特徴抽出ネットワークを構築し、訓練された前記特徴抽出ネットワークを介して前記顔画像の特徴情報を抽出するステップと、
（３）機械学習アルゴリズムに基づく困難な気道分類器を構築し、訓練された困難な気道分類器を介して抽出した前記顔画像の特徴情報について困難な気道の重症度をスコアリングし、困難な気道の評価結果を得るステップと、を含む。
前記ステップ（１）では、様々な姿勢の顔画像は、困難な気道の姿態を反映できる画像であり、正面中立位置の顔画像、口をすぼめてほほえむ顔画像、頭をあげている顔画像、頭を下げる顔画像、左側面の顔画像、右側面の顔画像、口を開けて舌を出さない顔画像、口を開けて舌を出す顔画像及び下歯が上唇を噛む顔画像を含む。
前記ステップ（２）では、深層学習特徴抽出ネットワークを用い、前記深層学習特徴抽出ネットワークはｍ層ニューラルネットワークからなり、各層のネットワークは畳み込み層、プーリング層、転置畳み込み層、完全接続層のうちの若干の種であり、第i層と第j層に接続があり、ここで、１＜ｉ, ｊ＜ｍであり、ネットワークは出力した画像を符号化し、患者毎に対応する特徴を出力する。
前記顔認識タスクの損失関数は顔認識損失関数を用い、前記顔認識損失関数はＡｒｃＦａｃｅ損失関数を用い、前記ＡｒｃＦａｃｅ損失関数は、 下記式（１）で示される。
前記ステップ（３）では、困難な気道分類器は訓練を行う時、ｃｏｒｍａｃｋ-ｌｅｈａｎｅスコアがI-II級患者である顔特徴と困難な気道との相関性を０点とし、ｃｏｒｍａｃｋ-ｌｅｈａｎｅスコアがIII-IV級患者である顔特徴と困難な気道との相関性を１点とし、分類器の出力結果とし、前記顔画像の特徴情報及び患者の身長、年齢、体重情報、気道関連病歴を入力とする。
困難な気道分類器は決定木に基づくモデルであり、決定木が利得を最大にする原則に基づいて分裂し、終止条件に達するまでとする。困難な気道分類器は複数の決定木を用いて集積し、複数の決定木の結果を投票することができ、最終的な評価結果を得る。
本発明がその技術課題を解決するために採用した技術手段は、人工知能に基づく困難な気道の評価装置を提供し、様々な姿勢の顔画像を取得するための画像情報取得モジュールと、前記顔画像及び困難な気道情報を記憶するためのデータ記録モジュールと、顔認識に基づく特徴抽出ネットワークを構築し、訓練された前記特徴抽出ネットワークを介して前記顔画像の特徴情報を抽出するための特徴抽出モジュールと、機械学習アルゴリズムに基づく困難な気道分類器を構築し、訓練された困難な気道分類器を介して抽出された前記顔画像の特徴情報について困難な気道の重症度をスコアリングし、困難な気道の評価結果を得るための評価モジュールと、を備える。
前記取得モジュールが取得した様々な姿勢の顔画像は、正面中立位置の顔画像、口をすぼめてほほえむ顔画像、頭をあげている顔画像、頭を下げる顔画像、左側面の顔画像、右側面の顔画像、口を開けて舌を出さない顔画像、口を開けて舌を出す顔画像及び下歯が上唇を噛む顔画像を含む。
前記特徴抽出モジュールは深層学習特徴抽出ネットワークを用い、前記深層学習特徴抽出ネットワークはｍ層ニューラルネットワークからなり、各層のネットワークは畳み込み層、プーリング層、転置畳み込み層、完全接続層のうちの若干の種であり、第i層と第j層に接続があり、ここで、１＜ｉ, ｊ＜ｍであり、顔認識タスクの損失関数は顔認識損失関数を用いる。
前記顔認識損失関数はＡｒｃＦａｃｅ損失関数を用い、前記ＡｒｃＦａｃｅ損失関数は、 下記式（２）で示される。
前記評価モジュールが前記困難な気道分類器に対して訓練を行う時、ｃｏｒｍａｃｋ-ｌｅｈａｎｅスコアがI-II級患者である顔特徴と困難な気道との相関性を０点とし、ｃｏｒｍａｃｋ-ｌｅｈａｎｅスコアがIII-IV級患者である顔特徴と困難な気道との相関性を１点とし、分類器の出力結果として、前記顔画像の特徴情報及び患者の身長、年齢、体重情報、気道関連病歴を入力とする。
本発明ではその技術課題を解決するために、採用した技術手段は、人工知能に基づく困難な気道の評価方法を提供し、
（１）様々な姿勢の顔画像を取得するステップと、
（２）顔認識に基づく特徴抽出ネットワークを構築し、訓練された前記特徴抽出ネットワークを介して前記顔画像の特徴情報を抽出するステップと、
（３）機械学習アルゴリズムに基づく困難な気道分類器を構築し、訓練された困難な気道分類器を介して抽出した前記顔画像の特徴情報について困難な気道の重症度をスコアリングし、困難な気道の評価結果を得るステップと、を含む。
前記ステップ（１）では、様々な姿勢の顔画像は、困難な気道の姿態を反映できる画像であり、正面中立位置の顔画像、口をすぼめてほほえむ顔画像、頭をあげている顔画像、頭を下げる顔画像、左側面の顔画像、右側面の顔画像、口を開けて舌を出さない顔画像、口を開けて舌を出す顔画像及び下歯が上唇を噛む顔画像を含む。
前記ステップ（２）では、深層学習特徴抽出ネットワークを用い、前記深層学習特徴抽出ネットワークはｍ層ニューラルネットワークからなり、各層のネットワークは畳み込み層、プーリング層、転置畳み込み層、完全接続層のうちの若干の種であり、第i層と第j層に接続があり、ここで、１＜ｉ, ｊ＜ｍであり、ネットワークは出力した画像を符号化し、患者毎に対応する特徴を出力する。
前記顔認識タスクの損失関数は顔認識損失関数を用い、前記顔認識損失関数はＡｒｃＦａｃｅ損失関数を用い、前記ＡｒｃＦａｃｅ損失関数は、 下記式（１）で示される。
【数1】
困難な気道分類器は決定木に基づくモデルであり、決定木が利得を最大にする原則に基づいて分裂し、終止条件に達するまでとする。困難な気道分類器は複数の決定木を用いて集積し、複数の決定木の結果を投票することができ、最終的な評価結果を得る。
本発明がその技術課題を解決するために採用した技術手段は、人工知能に基づく困難な気道の評価装置を提供し、様々な姿勢の顔画像を取得するための画像情報取得モジュールと、前記顔画像及び困難な気道情報を記憶するためのデータ記録モジュールと、顔認識に基づく特徴抽出ネットワークを構築し、訓練された前記特徴抽出ネットワークを介して前記顔画像の特徴情報を抽出するための特徴抽出モジュールと、機械学習アルゴリズムに基づく困難な気道分類器を構築し、訓練された困難な気道分類器を介して抽出された前記顔画像の特徴情報について困難な気道の重症度をスコアリングし、困難な気道の評価結果を得るための評価モジュールと、を備える。
前記取得モジュールが取得した様々な姿勢の顔画像は、正面中立位置の顔画像、口をすぼめてほほえむ顔画像、頭をあげている顔画像、頭を下げる顔画像、左側面の顔画像、右側面の顔画像、口を開けて舌を出さない顔画像、口を開けて舌を出す顔画像及び下歯が上唇を噛む顔画像を含む。
前記特徴抽出モジュールは深層学習特徴抽出ネットワークを用い、前記深層学習特徴抽出ネットワークはｍ層ニューラルネットワークからなり、各層のネットワークは畳み込み層、プーリング層、転置畳み込み層、完全接続層のうちの若干の種であり、第i層と第j層に接続があり、ここで、１＜ｉ, ｊ＜ｍであり、顔認識タスクの損失関数は顔認識損失関数を用いる。
前記顔認識損失関数はＡｒｃＦａｃｅ損失関数を用い、前記ＡｒｃＦａｃｅ損失関数は、 下記式（２）で示される。
【数2】
【発明の効果】
【0004】
上記の技術手段を用いたため、本発明と従来技術とを比べて、以下の優れた点と積極的な効果を有する。本発明は顔認識に基づく特徴抽出ネットワークを利用して患者の特徴情報を抽出し、手動による特徴を選び取って、画像を標識するのを避け、自動化の優れた点を有する。機器学習方法により構築した分類器は困難な気道の重症度をスコアリングし、過剰適合の現象を避けることによって、臨床麻酔において精確に事前に警報を発することができる。
【図面の簡単な説明】
【0005】
【発明を実施するための形態】
【0006】
以下、具体的な実施例を合わせて、本発明についてさらに説明する。なお、これらの実施例は本発明を説明するのみに用いられ、本発明の範囲を限定するためのものではない。またなお、本発明に述べられた内容を読んだ後、当業者は本発明について種々の変更又は改正を行うことができ、これらの等価形態も同様に本願に添付される特許請求の範囲に限定される範囲に入る。
本発明の実施形態は人工知能に基づく困難な気道の評価方法に関し、図１に示すように、様々な姿勢の顔画像を取得するステップと、顔認識に基づく特徴抽出ネットワークを構築し、訓練された前記特徴抽出ネットワークを介して前記顔画像の特徴情報を抽出するステップと、機械学習アルゴリズムに基づく困難な気道分類器を構築し、訓練された困難な気道分類器を介して抽出した前記顔画像の特徴情報について困難な気道の重症度をスコアリングし、困難な気道の評価結果を得るステップと、を含む。
その中で、様々な姿勢の顔画像を取得するステップは、具体的に、ステージを組み立てて患者を募集しマルチモーダルデータを収集し、これらのデータには患者の正面及び側面の異なる姿態の顔画像を含める。患者はステージ内に入り、まず、医師が身分を照合し、患者の氏名、性別、年齢、入院番号、診療科室、ベッド番号、外来診療番号、身長、体重、人種や手術の類型など一連の情報を登録する。それから、患者は異なる顔の動作及び頭部の動作が要求される。図２に示すように、これらの動作には正面中立位置にあること、正面口をすぼめてほほえむこと、頭をあげていること、頭を下げること、頸部の側面への回転、口を開けて舌を出すこと、口を開けて舌を出さないこと、及び下歯が上唇を噛むことを含める。患者に行われた９つの異なる動作のいずれも３回繰り返し、患者の最適な極限動作を採集した。
写真データの整理：
データの命名及び分類を行い、同一の試験を受ける者の９つの異なる姿態の写真を同一のフォルダに保存して選別番号でフォルダを命名し、患者のその他の情報、例えば、年齢、性別、身長、体重、各項の困難な気道スコアランク及びｃｏｒｍａｃｋ-ｌｅｈａｎｎｅ ｓｃｏｒｅに基づいて与えられた得点結果（I、II級を０点、III、IV級を１点とする）等の情報をデータベースに保存し、シリアルナンバーと写真フォルダの名称が対応する。
写真のバックグラウンド情報をフィルタリングし、画像自動切取プログラムにより実現される。医師が写真のバックグラウンド情報をフィルタリングし、ＡＩ深層学習に用いる患者の異なる姿勢の写真のみを保留する。当該プロセスは深層学習の際に、顔情報を除いた信号による干渉を減らすことができる。
データをクリーニングし、写真の命名を行い、大・小文字、空白文字をひとつにまとめて処理し、情報が不完全なサンプル（写真欠如、スコアリング・格付け等の情報欠如）を取り除き、マルチバッチデータベースの写真を合併し、写真を顔認識タスクのデータセットに整理する。
トレーニングセットとテストセットのデータ分解及び公正性の検証：私たちのトレーニングセットとテストセットのサンプル数は８：２によって分解され、トレーニングセットとテストセットのデータ分解のバランス及びテストセット検証の公正性問題を解決するために、私たちの特徴抽出と分類器の訓練のいずれも患者トレーニングセットにおいて行われたものである。それから、トレーニングセットとは完全に異なる患者、即ちテストセットを使用して分類器のテストを行い、オリジナルデータをトレーニングセットとテストセットに分けるのはランダムである。
本実施形態は特徴抽出ネットワークと困難な気道分類器を合わせてなる（図３を参照）。当該モデルで入力した情報は患者の異なる姿態の写真、身長、体重、性別、年齢、気道関連病歴等の情報である。出力タスクは困難な気道の重症度の点数である。困難な気道の点数はＣ－Ｌ格付けを基準とし、Ｃ－Ｌ I-II級を困難でない気道即ち０点と定義し、Ｃ－Ｌ III-IV級を困難な気道即ち１点と定義し、モデルは顔特徴及び情報の回帰分析アルゴリズムにより困難な気道の重症度に得点を付与することのできるモデルを形成し、それから、特徴抽出ネットワークをテストセットに用いて検証を行い、困難な気道に得点を付与し、点数が１点に接近すればするほど、困難度がますます高くなることを表す。
特徴抽出ネットワークはｍ層ニューラルネットワークからなり、各層のネットワークは畳み込み層、プーリング層、転置畳み込み層、完全接続層のうちの若干の種であり、第i層と第j層に接続（１＜ｉ, ｊ＜ｍ）があってもよい。ネットワークは出力した画像を符号化し、出力が患者毎の特徴に対応され、患者毎に姿態毎の写真から４０９６次元の特徴を出力し、計９つの姿勢の写真から３６８６４次元の特徴を出力する。
顔認識損失関数によって前記の特徴抽出ネットワークを訓練し、損失関数は、下記式（３）で示される。
データ拡張：深層学習に基づく顔認識の正確性を高めるために、オリジナル画像に対してランダムな裁断（アスペクトを保持）、水平と垂直の反転処理を行って、画像データを拡張させ、顔認識アルゴリズムの性能を高め、最終的にあらゆる写真が変換された後、いずれも１１２×１１２の写真になって顔認識タスクに基づく特徴抽出ネットワークを訓練するのに用いられる。
特徴抽出ネットワークはランダム勾配降下法を用いて訓練を行い、重み減衰及び運動量の方式を用いた。訓練はトレーニングセットにおいて繰り返された１００回（エポック）を含む。
困難な気道分類器はランダムフォレストアルゴリズムを用い、入力は特徴抽出ネットワークから出力した患者毎の特徴であり、３６８６４次元があり、性別、年齢、身長、体重を加えて、計３６８６８次元である。リアルラベル次元のＣ-ＬスコアがI-II級患者である顔特徴と困難な気道との相関性を０点とし、Ｃ-ＬスコアがIII-IV級患者である顔特徴と困難な気道との相関性を１点とした。
患者の入力特徴について、特徴の帰一化処理を行い、即ち次元毎の特徴から平均値を減らし、バリアンスで割る。
困難な気道分類器を訓練する際に、入力された患者サンプルの均等化処理を行い、入力モデルの困難な気道が簡単な気道患者サンプルの数に相当することになる。
ランダムフォレストモデルの訓練は６００の決定木を用いてもよい。評価の方式は交差エントロピーを選び、訓練において、異なる決定木について、サンプルからランダムサンプリングに戻し入れており、訓練を行う。
顔特徴及び情報のアルゴリズムにより困難な気道の重症度をスコアリングすることができるモデルを形成する。
当該スコアモデルに基づいて境界点を設置する方式で困難な気道を分類することができる。ランダムフォレストアルゴリズムは過剰適合が起き難く、各特徴の重要性を評価することができ、耐ノイズ能力がとても良い等の優れた点を有する。その基本原理はランダムフォレストが複数の決定木による患者の顔特徴及び困難な気道関連病歴等の情報について重要度のランク付けを行い、ランダムフォレストが困難な気道を学習し判断する思想を集積し、複数の決定木による当該患者の困難な気道の確率を投票し、全ての決定木による投票の平均確率を最終的なスコアリング結果とする。
２０２０年８月～２０２１年１月の５ヵ月の期間内において、私たちは４４７４名の患者を記録した。その中で、３９３１名の患者は困難な気道をスコアリングして訓練する基本事実を得ることができた。表１は本研究で使用した患者群の基準線特徴を示している。
最終的には、３９３１名の患者をＡＩ分析に取り入れ、訓練・テストの繰り返しを経て、私たちの顔認識モデル訓練パラメータは、学習率が０.００３、重み減衰が０.０００５、運動量が０.９である場合に、最適な顔認識に達することができる。顔認識タスクの正確率が９２％以上に達することができる（図４のように）。
トレーニングセットとテストセットのサンプル数を８：２でランダムに分解し、ランダムサンプリングを経て、困難な気道をスコアリングする訓練のトレーニングセットは合計３１４４名であり、その中で、困難でない気道群（Ｃ－ＬはI-II級）２９１１名、困難な気道群（Ｃ－ＬはIII-IV級）２３３名であり、テストセットは計７８７名、その中で困難でない気道群（Ｃ－ＬはI-II級）７２９名、困難な気道群（Ｃ－ＬはIII-IV級）５８名（表２を参照）であった。
図５は困難な気道スコアモデルがデータセットにおいて困難な気道を識別するＲＯＣ曲線であり、ＡＵＣ値は０.７８であり、Ｙｏｕｄｅｎ指数を困難な気道評価の最適な境界値とした場合、困難な気道の最適な境界値は０.２２点であった。
本実施形態では、Ｙｏｕｄｅｎ指数に基づいてスコアモデルで困難な気道を評価する境界値を決定し、境界閾値は０.２２点（図５を参照）であり、モデルスコア≧０.２２点である場合、予測結果は困難な気道であり、モデルスコア＜０.２２点である場合、予測結果は困難でない気道である。モデルが７８７名の患者を含むテストセット中に予測した真の陽性患者は４８名、偽の陰性患者は１０名、真の陰性患者は５０６名、偽の陽性患者は２３３名、スコアモデルで予測した困難な気道の感度は８２.８％、特異度は６９.４％、陽性予測値は１８％、陰性予測値は９８％であって、比較的良い識別性能（表３を参照）を表している。
本発明の実施形態は人工知能に基づく困難な気道の評価装置にさらに関し、図６に示すように、様々な姿勢の顔画像を取得するための取得モジュールと、前記顔画像及び困難な気道情報を記憶するためのデータ記録モジュールと、顔認識に基づく特徴抽出ネットワークを構築し、訓練された前記特徴抽出ネットワークを介して前記顔画像の特徴情報を抽出するための特徴抽出モジュールと、ランダムフォレストアルゴリズムに基づく困難な気道分類器を構築し、訓練された困難な気道分類器を介して抽出された前記顔画像の特徴情報について困難な気道の重症度をスコアリングし、困難な気道の評価結果を得るための評価モジュールと、を備える。
前記取得モジュールが取得した様々な姿勢の顔画像は、正面中立位置の顔画像、口をすぼめてほほえむ顔画像、頭をあげている顔画像、頭を下げる顔画像、左側面の顔画像、右側面の顔画像、口を開けて舌を出さない顔画像、口を開けて舌を出す顔画像及び下歯が上唇を噛む顔画像を含む。光学画像形成装置により患者頸部の特定の姿態の画像を採集し、患者は画像の真ん中に位置し、干渉バックグラウンドがない。
前記データ記録モジュールがデータベースを利用して患者の顔画像、困難な気道情報、及び身長、体重、性別等の情報を記憶した。
前記特徴抽出モジュールがデータ記録モジュールから患者の顔画像及び患者の身分番号を導入し、コンピュータにおいて相応のプログラムを実行し、顔認識損失関数により顔認識に基づく特徴抽出ネットワークを構築する。特徴抽出ネットワークにより、患者の顔画像に対応する特徴を出力することができる。
前記評価モジュールが相応のコンピュータプログラムを実行し、入力は特徴抽出モジュールが患者の異なる姿態の画像により抽出された特徴、及び患者の年齢、性別、身長及び体重情報であり、リアルラベルはデータ記録モジュール中の患者の困難な気道情報であって、Ｃ－ＬがI-II級患者である顔特徴と困難な気道との相関性を０点とし、Ｃ－ＬがIII-IV級患者である顔特徴と困難な気道との相関性を１点とし、全ての特徴をモデルに入力し、機器学習方法に基づく分類器を訓練し、評価モジュールにより患者の困難な気道の程度を出力することができる。
本発明は顔認識に基づく特徴抽出ネットワークにより患者の特徴情報を抽出し、手動による特徴の選び取り、画像の標識を避け、自動化の優れた点を有しており、機器学習方法により構築された分類器が困難な気道の重症度をスコアリングし、過剰適合の現象を避けることによって、臨床麻酔において困難な気道に対して正確に事前に警報を発することができることを発見し易い。
本発明の実施形態は人工知能に基づく困難な気道の評価方法に関し、図１に示すように、様々な姿勢の顔画像を取得するステップと、顔認識に基づく特徴抽出ネットワークを構築し、訓練された前記特徴抽出ネットワークを介して前記顔画像の特徴情報を抽出するステップと、機械学習アルゴリズムに基づく困難な気道分類器を構築し、訓練された困難な気道分類器を介して抽出した前記顔画像の特徴情報について困難な気道の重症度をスコアリングし、困難な気道の評価結果を得るステップと、を含む。
その中で、様々な姿勢の顔画像を取得するステップは、具体的に、ステージを組み立てて患者を募集しマルチモーダルデータを収集し、これらのデータには患者の正面及び側面の異なる姿態の顔画像を含める。患者はステージ内に入り、まず、医師が身分を照合し、患者の氏名、性別、年齢、入院番号、診療科室、ベッド番号、外来診療番号、身長、体重、人種や手術の類型など一連の情報を登録する。それから、患者は異なる顔の動作及び頭部の動作が要求される。図２に示すように、これらの動作には正面中立位置にあること、正面口をすぼめてほほえむこと、頭をあげていること、頭を下げること、頸部の側面への回転、口を開けて舌を出すこと、口を開けて舌を出さないこと、及び下歯が上唇を噛むことを含める。患者に行われた９つの異なる動作のいずれも３回繰り返し、患者の最適な極限動作を採集した。
写真データの整理：
データの命名及び分類を行い、同一の試験を受ける者の９つの異なる姿態の写真を同一のフォルダに保存して選別番号でフォルダを命名し、患者のその他の情報、例えば、年齢、性別、身長、体重、各項の困難な気道スコアランク及びｃｏｒｍａｃｋ-ｌｅｈａｎｎｅ ｓｃｏｒｅに基づいて与えられた得点結果（I、II級を０点、III、IV級を１点とする）等の情報をデータベースに保存し、シリアルナンバーと写真フォルダの名称が対応する。
写真のバックグラウンド情報をフィルタリングし、画像自動切取プログラムにより実現される。医師が写真のバックグラウンド情報をフィルタリングし、ＡＩ深層学習に用いる患者の異なる姿勢の写真のみを保留する。当該プロセスは深層学習の際に、顔情報を除いた信号による干渉を減らすことができる。
データをクリーニングし、写真の命名を行い、大・小文字、空白文字をひとつにまとめて処理し、情報が不完全なサンプル（写真欠如、スコアリング・格付け等の情報欠如）を取り除き、マルチバッチデータベースの写真を合併し、写真を顔認識タスクのデータセットに整理する。
トレーニングセットとテストセットのデータ分解及び公正性の検証：私たちのトレーニングセットとテストセットのサンプル数は８：２によって分解され、トレーニングセットとテストセットのデータ分解のバランス及びテストセット検証の公正性問題を解決するために、私たちの特徴抽出と分類器の訓練のいずれも患者トレーニングセットにおいて行われたものである。それから、トレーニングセットとは完全に異なる患者、即ちテストセットを使用して分類器のテストを行い、オリジナルデータをトレーニングセットとテストセットに分けるのはランダムである。
本実施形態は特徴抽出ネットワークと困難な気道分類器を合わせてなる（図３を参照）。当該モデルで入力した情報は患者の異なる姿態の写真、身長、体重、性別、年齢、気道関連病歴等の情報である。出力タスクは困難な気道の重症度の点数である。困難な気道の点数はＣ－Ｌ格付けを基準とし、Ｃ－Ｌ I-II級を困難でない気道即ち０点と定義し、Ｃ－Ｌ III-IV級を困難な気道即ち１点と定義し、モデルは顔特徴及び情報の回帰分析アルゴリズムにより困難な気道の重症度に得点を付与することのできるモデルを形成し、それから、特徴抽出ネットワークをテストセットに用いて検証を行い、困難な気道に得点を付与し、点数が１点に接近すればするほど、困難度がますます高くなることを表す。
特徴抽出ネットワークはｍ層ニューラルネットワークからなり、各層のネットワークは畳み込み層、プーリング層、転置畳み込み層、完全接続層のうちの若干の種であり、第i層と第j層に接続（１＜ｉ, ｊ＜ｍ）があってもよい。ネットワークは出力した画像を符号化し、出力が患者毎の特徴に対応され、患者毎に姿態毎の写真から４０９６次元の特徴を出力し、計９つの姿勢の写真から３６８６４次元の特徴を出力する。
顔認識損失関数によって前記の特徴抽出ネットワークを訓練し、損失関数は、下記式（３）で示される。
【数3】
特徴抽出ネットワークはランダム勾配降下法を用いて訓練を行い、重み減衰及び運動量の方式を用いた。訓練はトレーニングセットにおいて繰り返された１００回（エポック）を含む。
困難な気道分類器はランダムフォレストアルゴリズムを用い、入力は特徴抽出ネットワークから出力した患者毎の特徴であり、３６８６４次元があり、性別、年齢、身長、体重を加えて、計３６８６８次元である。リアルラベル次元のＣ-ＬスコアがI-II級患者である顔特徴と困難な気道との相関性を０点とし、Ｃ-ＬスコアがIII-IV級患者である顔特徴と困難な気道との相関性を１点とした。
患者の入力特徴について、特徴の帰一化処理を行い、即ち次元毎の特徴から平均値を減らし、バリアンスで割る。
困難な気道分類器を訓練する際に、入力された患者サンプルの均等化処理を行い、入力モデルの困難な気道が簡単な気道患者サンプルの数に相当することになる。
ランダムフォレストモデルの訓練は６００の決定木を用いてもよい。評価の方式は交差エントロピーを選び、訓練において、異なる決定木について、サンプルからランダムサンプリングに戻し入れており、訓練を行う。
顔特徴及び情報のアルゴリズムにより困難な気道の重症度をスコアリングすることができるモデルを形成する。
当該スコアモデルに基づいて境界点を設置する方式で困難な気道を分類することができる。ランダムフォレストアルゴリズムは過剰適合が起き難く、各特徴の重要性を評価することができ、耐ノイズ能力がとても良い等の優れた点を有する。その基本原理はランダムフォレストが複数の決定木による患者の顔特徴及び困難な気道関連病歴等の情報について重要度のランク付けを行い、ランダムフォレストが困難な気道を学習し判断する思想を集積し、複数の決定木による当該患者の困難な気道の確率を投票し、全ての決定木による投票の平均確率を最終的なスコアリング結果とする。
２０２０年８月～２０２１年１月の５ヵ月の期間内において、私たちは４４７４名の患者を記録した。その中で、３９３１名の患者は困難な気道をスコアリングして訓練する基本事実を得ることができた。表１は本研究で使用した患者群の基準線特徴を示している。
【表1】
トレーニングセットとテストセットのサンプル数を８：２でランダムに分解し、ランダムサンプリングを経て、困難な気道をスコアリングする訓練のトレーニングセットは合計３１４４名であり、その中で、困難でない気道群（Ｃ－ＬはI-II級）２９１１名、困難な気道群（Ｃ－ＬはIII-IV級）２３３名であり、テストセットは計７８７名、その中で困難でない気道群（Ｃ－ＬはI-II級）７２９名、困難な気道群（Ｃ－ＬはIII-IV級）５８名（表２を参照）であった。
【表2】
本実施形態では、Ｙｏｕｄｅｎ指数に基づいてスコアモデルで困難な気道を評価する境界値を決定し、境界閾値は０.２２点（図５を参照）であり、モデルスコア≧０.２２点である場合、予測結果は困難な気道であり、モデルスコア＜０.２２点である場合、予測結果は困難でない気道である。モデルが７８７名の患者を含むテストセット中に予測した真の陽性患者は４８名、偽の陰性患者は１０名、真の陰性患者は５０６名、偽の陽性患者は２３３名、スコアモデルで予測した困難な気道の感度は８２.８％、特異度は６９.４％、陽性予測値は１８％、陰性予測値は９８％であって、比較的良い識別性能（表３を参照）を表している。
【表3】
前記取得モジュールが取得した様々な姿勢の顔画像は、正面中立位置の顔画像、口をすぼめてほほえむ顔画像、頭をあげている顔画像、頭を下げる顔画像、左側面の顔画像、右側面の顔画像、口を開けて舌を出さない顔画像、口を開けて舌を出す顔画像及び下歯が上唇を噛む顔画像を含む。光学画像形成装置により患者頸部の特定の姿態の画像を採集し、患者は画像の真ん中に位置し、干渉バックグラウンドがない。
前記データ記録モジュールがデータベースを利用して患者の顔画像、困難な気道情報、及び身長、体重、性別等の情報を記憶した。
前記特徴抽出モジュールがデータ記録モジュールから患者の顔画像及び患者の身分番号を導入し、コンピュータにおいて相応のプログラムを実行し、顔認識損失関数により顔認識に基づく特徴抽出ネットワークを構築する。特徴抽出ネットワークにより、患者の顔画像に対応する特徴を出力することができる。
前記評価モジュールが相応のコンピュータプログラムを実行し、入力は特徴抽出モジュールが患者の異なる姿態の画像により抽出された特徴、及び患者の年齢、性別、身長及び体重情報であり、リアルラベルはデータ記録モジュール中の患者の困難な気道情報であって、Ｃ－ＬがI-II級患者である顔特徴と困難な気道との相関性を０点とし、Ｃ－ＬがIII-IV級患者である顔特徴と困難な気道との相関性を１点とし、全ての特徴をモデルに入力し、機器学習方法に基づく分類器を訓練し、評価モジュールにより患者の困難な気道の程度を出力することができる。
本発明は顔認識に基づく特徴抽出ネットワークにより患者の特徴情報を抽出し、手動による特徴の選び取り、画像の標識を避け、自動化の優れた点を有しており、機器学習方法により構築された分類器が困難な気道の重症度をスコアリングし、過剰適合の現象を避けることによって、臨床麻酔において困難な気道に対して正確に事前に警報を発することができることを発見し易い。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
