特許 7668035 身体の目的ターゲットの位置確認方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-04-16

(45)【発行日】2025-04-24

(54)【発明の名称】身体の目的ターゲットの位置確認方法

(51)【国際特許分類】

   A61B 8/14 20060101AFI20250417BHJP

【ＦＩ】

A61B8/14

【請求項の数】 10

(21)【出願番号】P 2022571731

(86)(22)【出願日】2020-07-16

(65)【公表番号】

(43)【公表日】2023-03-24

(86)【国際出願番号】 KR2020009389

(87)【国際公開番号】W WO2021153863

(87)【国際公開日】2021-08-05

【審査請求日】2022-07-27

【審判番号】

【審判請求日】2024-05-17

(31)【優先権主張番号】10-2020-0010302

(32)【優先日】2020-01-29

(33)【優先権主張国・地域又は機関】KR

(73)【特許権者】

【識別番号】522300628

【氏名又は名称】エアーズ・メディカル・インコーポレイテッド

【氏名又は名称原語表記】ＡＩＲＳ ＭＥＤＩＣＡＬ ＩＮＣ．

【住所又は居所原語表記】１３Ｆ， １４Ｆ， ２２３， Ｔｅｈｅｒａｎ－ｒｏ Ｇａｎｇｎａｍ－ｇｕ Ｓｅｏｕｌ ０６１４２ ＲＥＰＵＢＬＩＣ ＯＦ ＫＯＲＥＡ

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100181847

【弁理士】

【氏名又は名称】大島 かおり

(72)【発明者】

【氏名】イ ヘソン

(72)【発明者】

【氏名】キム ユンミョン

【合議体】

【審判長】南 宏輔

【審判官】萩田 裕介

【審判官】瓦井 秀憲

(56)【参考文献】

【文献】米国特許出願公開第２０１９／０３５７８２８（ＵＳ，Ａ１）

【文献】国際公開第２０２０／００２６２０（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

A61B 8/00- 8/15

(57)【特許請求の範囲】

【請求項1】

機械学習を用いて電子演算装置が身体の目的ターゲットを決定する方法であって、
超音波プローブが被検者の身体の映像データを取得する第１ステップと、
第１ステップで取得した映像データを機械学習を用いて分析して目的ターゲットと回避ターゲットの位置を特定する第２ステップと、
第２ステップで特定した目的ターゲットと侵襲目的によって定められた回避ターゲットの情報を参照して最終目的ターゲットの位置を決定する第３ステップと、
を含み、
第３ステップは、目的ターゲットのサイズに基づく第１情報と、目的ターゲットの深さに基づく第２情報と、目的ターゲットと皮膚表面との間の直線経路に回避ターゲットが存在するか否かに関する第３情報と、に基づいて最終目的ターゲットとして判断するステップであり、
機械学習モデルは、畳み込みニューラルネットワークを学習するための層を含み、
前記畳み込みニューラルネットワークの学習は、目的ターゲットと回避ターゲットの特徴情報を取得して記憶するステップを含み、
前記目的ターゲットと回避ターゲットの特徴情報は、超音波プローブまたは他の手段で圧迫されたときの情報を含み、
前記圧迫されたときの情報には、静脈が圧迫されることによるサイズの縮小、近位部が圧迫されることによるうっ血およびサイズの膨らみの情報が含まれる、
身体の目的ターゲットを決定する方法。

【請求項2】

第１情報は、目的ターゲットの最大内接円のサイズ情報、目的ターゲット内に描画可能な横線と縦線の長さ情報、目的ターゲットの重心から目的ターゲットの境界線までの距離情報、及び目的ターゲットの面積情報のうちの少なくともいずれかである、請求項１に記載の身体の目的ターゲットを決定する方法。

【請求項3】

映像データは、
前記超音波プローブが身体に接触するまで、前記超音波プローブを身体に向かって移動させながら取得された第１映像データ、および
前記超音波プローブが身体を圧迫している間に取得される第２映像データのうちの少なくともいずれかである、請求項１に記載の身体の目的ターゲットを決定する方法。

【請求項4】

目的ターゲットが表在静脈である、請求項１に記載の身体の目的ターゲットを決定する方法。

【請求項5】

目的ターゲットが複数特定される場合は、
複数の目的ターゲットのそれぞれについて、第１情報から第３情報の少なくとも１つの情報を算出し、算出された少なくとも１つの情報を比較して最終目的ターゲットの候補を選択する第３－１－１ステップと、最終目的ターゲット候補に対して第３ステップを実行して最終目的ターゲットを決定する第３－１－２ステップと、をさらに含む、請求項１から請求項４のいずれか一項に記載の身体の目的ターゲットを決定する方法。

【請求項6】

第３－１－１ステップは、
複数の目的ターゲットのそれぞれの第１情報を比較して最も基準に適合する目的ターゲットを最終目的ターゲットの候補として選択するが、これの次に基準に適合する目的ターゲットとの差が所定の範囲内である場合には、二つの目的ターゲットのうち、超音波プローブの接触面の所定の地点から近い目的ターゲットを最終目的ターゲットの候補として選択するステップを含む、請求項５に記載の身体の目的ターゲットを決定する方法。

【請求項7】

目的ターゲットの境界が映像データの境界と重なっているか否かを判定する第４ステップをさらに含み、
第４ステップで境界と重なっていると判定された場合、超音波プローブを、境界面座標が映像データの内側に位置するように移動させた後、前記第１ステップ～第３ステップを行う、請求項１に記載の身体の目的ターゲットを決定する方法。

【請求項8】

映像データは、ドップラー効果によって分析された血流の音波信号映像データを含む、請求項１から請求項４のいずれかに記載の身体の目的ターゲットを決定する方法。

【請求項9】

第１映像データは、被検者の上腕が圧迫される前の映像データと、被検者の上腕が圧迫された後の映像データとを含み、
第２映像データは、ドップラー効果によって分析された血流の音波信号映像データを含む、請求項３に記載の身体の目的ターゲットを決定する方法。

【請求項10】

前記機械学習は畳み込みニューラルネットワーク学習であり、
前記目的ターゲット及び回避ターゲットの特徴情報は、エコージェニティ（ｅｃｈｏｇｅｎｉｃｉｔｙ）の強度、エコージェニックな成分の分布パターン、相対位置、被検者の身体情報、及び超音波プローブが身体に接触したときのサイズ変化情報、のうちの少なくとも１つを含む、請求項１に記載の身体の目的ターゲットを決定する方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、身体の目的ターゲットの位置を確認する方法に関し、さらに詳しくは、採血または注射液注入のために注射針を差し込む表在静脈などの血管の位置を確認する方法に関するものであり、特に機械学習を用いて血管の位置を確認する方法に関する。

【背景技術】

【0002】

病院や医院などの医療機関では、採血や注射液注入のために表在静脈に注射針を差し込む場合が非常に多い。現在、表在静脈などの血管の位置を見つけるための教育を受け、訓練をした医師、看護師または臨床病理士が表在静脈を見つけて注射器を差し込んでいるが、教育に長い時間がかかり、専門人材雇用のための費用も持続的に発生しており、一度に成功せず、何度も刺さなければならない場合が多いという問題がある。赤ちゃん、高齢者、抗がん治療中の患者などの血管状態が良好でない場合、または皮膚が暗い色で血管が視覚的によく見えない場合には、熟練した専門家でも血管を見つけることが非常に困難であるという限界がある。

【0003】

また、十分な教育を受けた熟練した医療スタッフといっても、繰り返しの採血作業などは疲労度が高く拒否感を多く引き起こす技術でもあり、採血過程で誤って被検者の血液が技術者に飛び出したり、技術者の身体に入り感染したりする危険性もあるなど、人による採血などは多くの問題があった。

【0004】

一方、採血過程を自動化する方法の例が、以下の先行特許文献に開示されている。

【先行技術文献】

【特許文献】

【0005】

【文献】韓国特許登録第１０－１６０１４２１号（２０１６年３月１０日公開）

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明は、畳み込みニューラルネットワーク学習などの機械学習を用いて被検者の表在静脈（目的ターゲット）などの血管の位置を正確に検出し、検出された目的ターゲットの中心座標を算出することにより注射針を差し込んだり、他の目的のために位置確認が必要な目的ターゲットの地点を正確に決定したりすることができる、身体の目的ターゲットの位置確認方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明は、機械学習を用いて電子演算装置が身体の目的ターゲットを決定する方法に関するもので、超音波プローブが被検者の身体の映像データを取得する第１ステップと、前記第１ステップで取得した映像データを機械学習を用いて分析して目的ターゲットと回避ターゲットの位置を特定する第２ステップと、前記第２ステップで特定した目的ターゲットと回避ターゲットの情報を参照して最終目的ターゲットの位置を決定する第３ステップと、を含む。

【0008】

前記第３ステップは、目的ターゲットのサイズに基づく第１情報と、目的ターゲットの深さに基づく第２情報と、目的ターゲットと皮膚表面との間の直線経路に回避ターゲットが存在するか否かに関する第３情報とのうちの少なくともいずれかに基づいて最終目的ターゲットとして判断するステップである。

【0009】

前記第１情報は、目的ターゲットの最大内接円のサイズ情報、目的ターゲット内に描画可能な横線と縦線の長さ情報、目的ターゲットの重心から目的ターゲットの境界線までの距離情報、及び目的ターゲットの面積情報のうちの少なくともいずれかであってもよい。

【0010】

前記映像データは、身体から所定の距離だけ離れた時点から身体に接触する時点までの第１映像データ、および被検者の身体が圧迫される時間の間の第２映像データのうちの少なくともいずれかであってもよい。

【0011】

前記目的ターゲットが表在静脈であってもよい。

【0012】

前記目的ターゲットが複数特定される場合、本発明は、前記複数の目的ターゲットのそれぞれについて、前記第１情報から前記第３情報の少なくとも１つの情報を算出し、算出された少なくとも１つの情報を互いに比較して最終目的ターゲットの候補を選択する第３－１－１ステップと、前記最終目的ターゲット候補に対して第３ステップを実行して最終目的ターゲットを決定する第３－１－２ステップと、をさらに含んでいてもよい。

【0013】

第３－１－１ステップは、前記複数の目的ターゲットのそれぞれの第１情報を比較して最も基準に適合する目的ターゲットを最終目的ターゲットの候補として選択するが、これの次に基準に適合する目的ターゲットとの差が所定の範囲内である場合には、二つの目的ターゲットのうち、超音波プローブの接触面の所定の地点から近い目的ターゲットを最終目的ターゲットの候補として選択するステップを含んでいてもよい。

【0014】

本発明は、前記目的ターゲットの境界が前記映像データの境界と重なっているか否かを判定する第４ステップをさらに含んでいてもよく、前記第４ステップで境界と重なっていると判定された場合、超音波プローブを、境界面座標が映像データの内側に位置するように移動させた後、前記第１ステップ～第３ステップを行ってもよい。

【0015】

前記映像データは、ドップラー効果によって分析された血流の音波信号映像データを含んでいてもよい。

【0016】

本発明による最終目的ターゲットの中心座標算出方法は、前記最終目的ターゲットのピクセルのみを含む最大内接円を算出する第５ステップと、前記最大内接円のピクセル座標（Ｘ_ｉ）との距離が最大となる地点の座標を算出して中心座標として決定する第６ステップと、を含んでいてもよい。

【0017】

本発明による最終目的ターゲットの中心座標算出方法は、前記最終目的ターゲット内の全てのピクセルに対して所定の直径を有する円を算出する第７ステップと、前記第７ステップで算出された円内に存在する最終目的ターゲットのピクセルが所定の範囲以上である場合、円の算出中心であるピクセルを最終目的ターゲットとして分類し、そうでなければ当該ピクセルを除去する第８ステップと、をさらに含んでいてもよい。

【0018】

本発明による最終目的ターゲットの中心座標算出方法は、算出された中心座標と皮膚表面との間の直線経路内で血管の表面を所定回数以上通過する場合には、当該最終目的ターゲットを排除する第１１ステップをさらに含んでいてもよい。

【0019】

前記第１映像データは、被検者の上腕が圧迫される前の映像データと、被検者の上腕が圧迫された後の映像データとを含んでいてもよく、前記第２映像データは、ドップラー効果によって分析された血流の音波信号映像データを含んでいてもよい。

【0020】

前記機械学習は畳み込みニューラルネットワーク学習であってもよく、前記畳み込みニューラルネットワーク学習は、取得した映像データに対してデータ増強技術を用いてデータの一般性を増加させるように処理したデータを畳み込みニューラルネットワークに入力して学習させる第９ステップと、目的ターゲットと回避ターゲットの特徴情報を取得して記憶する第１０ステップと、を含んでいてもよい。

【0021】

前記目的ターゲット及び前記回避ターゲットの特徴情報は、前記目的ターゲット及び前記回避ターゲットのエコージェニティ（ｅｃｈｏｇｅｎｉｃｉｔｙ）の強度、エコージェニックな成分の分布パターン、前記目的ターゲット及び前記回避ターゲットの相対位置、被検者の身体情報及び超音波プローブが身体に接触したときのサイズ変化情報のうちの少なくともいずれかであってもよい。

【発明の効果】

【0022】

本発明による機械学習を用いて身体の目的ターゲットの位置を正確に決定することができるので、例えば、採血または静脈注射のための注射針の侵襲位置を正確に決定し、その位置に注射針を差し込むことができ、採血または静脈注射の完全自動化が可能になるという作用効果を奏する。

【図面の簡単な説明】

【0023】

【図1】本発明による目的ターゲットの位置確認を行う自動採血装置のブロック図である。

【図2】本発明により注射針を侵襲させるための表在静脈の位置を決定する方法のフローチャートである。

【図3】最終目的ターゲットを決定する詳細な過程のフローチャートである。

【図4】最終目的ターゲットの中心座標を決定する過程のフローチャートである。

【図5】目的ターゲットの境界面を滑らかにする過程を説明するための図である。

【図6】本発明を実施する電子的演算装置の一例を示す図である。

【発明を実施するための形態】

【0024】

以下、添付の図面を参照して、本発明について詳細に説明する。

【0025】

本明細書で行う情報（データ）伝送／受信過程は、必要に応じて、暗号化／復号化が適用されてよく、本明細書及び特許請求範囲で情報（データ）伝送過程を説明する表現は、格別に言及しなくても、全て暗号化／復号化する場合も含むものとして解釈されるべきである。本明細書で「ＡからＢに伝送（伝達）」又は「ＡがＢから受信」というような形態の表現は、中間に別の媒介体が含まれて伝送（伝達）又は受信されることも含み、必ずしもＡからＢに直接伝送（伝達）又は受信されることのみを表現するものではない。本発明の説明において、各ステップの順番は、先行ステップが論理的及び時間的に必ずしも後行ステップの前に行われなければならない場合ではなければ、各ステップの順番は非制限的に理解されるべきである。即ち、上記のような例外的な場合を除いては、後行ステップとして説明された過程が先行ステップとして説明された過程より前に行われたとしても、発明の本質には影響がなく、権利範囲もステップの順番によらず定義されるべきである。そして、本明細書で「Ａ又はＢ」と記載したのは、ＡとＢのうちいずれかを選択的に指すだけでなく、ＡとＢの両方を含むことも意味するものとして定義される。なお、本明細書で「含む」という用語は、含むものとして並び立てられた要素の他に、更に別の構成要素を更に含むことも包括する意味を有する。

【0026】

本明細書において「モジュール」とは、汎用ハードウェアとその機能を実行するソフトウェアとの論理的結合を意味する。

【0027】

本明細書においては、本発明の説明に必要な構成要素のみを説明し、本発明の本質に関係のない構成要素については、言及しない。そして、言及される構成要素のみを含む排他的な意味として解釈されてはならず、言及されていない他の構成要素も含むことができる非排他的な意味として解釈されるべきである。

【0028】

本明細書に記載の例示的な実施形態は、本明細書に開示される装置の構造、機能、製造、および用途および方法の原理の全体的な理解を提供する。そのような１つ以上の実施形態が添付の図面に示されている。当業者であれば、本明細書に具体的に記載され、添付の図面に示されている装置および方法は非限定的で例示的な実施形態であり、本発明の権利範囲は特許請求の範囲によって定義されることを理解するであろう。１つの例示的な実施形態に関連して示され説明される特徴は、他の実施形態の特徴とも組み合わせることができる。そのような修正または変更は、本発明の権利範囲に含まれることを意図している。

【0029】

本発明による方法は、コンピュータ、タブレットＰＣ、携帯電話、携帯用演算装置、固定式演算装置などの電子演算装置によって行われてもよい。さらに、本発明の１つまたは複数の方法または形態が少なくとも１つのプロセッサによって行われてもよいことが理解されるべきである。プロセッサは、コンピュータ、タブレットＰＣ、モバイルデバイス、携帯用演算装置などにインストールされてもよい。コンピュータプログラム命令を記憶するように構成されたメモリがそのような装置にインストールされ、プログラムが記憶されたプログラム命令をプロセッサが実行するように特別にプログラムされて、１つまたは複数の、本明細書に記載されているプロセスを実行することができる。さらに、本明細書に記載の情報および方法などは、１つまたは複数の更なる構成要素およびプロセッサを含むコンピュータ、タブレットＰＣ、モバイル装置、携帯用演算装置などによって実行され得るということが理解されるべきである。さらに、制御ロジックは、プロセッサ、制御部／制御ユニットなどによって実行可能なプログラム命令を含む不揮発性コンピュータ可読媒体で実施することができる。コンピュータ可読媒体の例には、ＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピーディスク、フラッシュドライブ、スマートカード、光データ記憶装置などがあるが、これらに限定されない。また、コンピュータ可読記録媒体は、ネットワークで接続されたコンピュータに分散され、コンピュータ可読媒体が分散された方式、例えば、リモートサーバまたはコントローラエリアネットワーク（ＣＡＮ：Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）によって分散された方式で記憶され実行されてもよい。

【0030】

本発明の各ステップを実行する電子演算装置の基本的な構成の一例を図６に示す。図６に示すように、電子演算装置６０９は、プロセッサ（例えば、中央処理装置（ＣＰＵ））６１０、メモリ６２０、有線または無線通信ユニット６３０、少なくとも１つの入力ユニット６４０、および少なくとも１つの出力ユニット６５０を含むが、構成要素はこれらの列挙された構成要素に限定されない。図６に示された構造は、説明の目的のために単純化されたものであることを理解されたい。電子演算装置６０９の構造は、後述する特許請求の範囲に応じて当業者により適宜変更することができる。さらに、電子算術ユニット６０９の各構成要素もまた、後述する特許請求の範囲に応じて当業者により適宜変更することができる。したがって、図６に示された装置の構造は、単なる例示であり、本発明の権利範囲を限定するものとして解釈されるべきではない。

【0031】

プロセッサ６１０は、電子演算装置６０９の作動を制御することができる。より詳細には、プロセッサ６１０は、図６に示す電子演算装置６０９にインストールされた複数の構成要素を制御および相互作用するように作動され得る。例えば、メモリ６２０は、プロセッサ６１０により実行されるプログラム命令やデータを記憶することができる。本明細書に記載のプロセス（ステップ）は、プロセッサ６１０を実行するためにメモリ６２０にプログラム命令語の形で記憶され得る。通信ユニット６３０は、電子計算装置６０９が通信網を介して少なくとも１つの外部装置にデータを伝送したり、少なくとも１つの外部装置からデータを受信したりすることを可能にする。入力ユニット６４０は、電子演算装置６０９がオーディオ／ビデオ入力、ユーザ入力、データ入力などの様々なタイプの入力を受信することを可能にする。この目的のために、入力ユニット６４０は、様々なタイプの入力を受け入れるために、例えば、少なくとも１つのカメラ６４２（すなわち「イメージ取得ユニット」）、タッチパネル６４４、マイクロホン（図示せず）、センサ６４６、キーボード、マウス、少なくとも１つのボタンまたはスイッチ（図示せず）などの様々な入力装置を含み得る。本明細書で使用される「イメージ取得ユニット」という用語は、カメラ６４２を指すことができるが、それに限定されない。出力ユニット６５０では、ユーザが見ることができるようにディスプレイスクリーン６５２に情報を表示することができる。ディスプレイスクリーン６５２は、公知の様々なメカニズムを介してユーザタッピングまたはスクリーン６５２を押すなどの少なくとも１つの入力を受け入れるように構成されてもよい。出力ユニット６５０は、光源６５４をさらに含み得る。電子計算装置６０９は単一の装置として示されているが、使用中に互いに接続され相互作用できる複数の別々の装置から構成されてもよい。

【0032】

本明細書では、身体の目的ターゲットが表在静脈である場合について主に説明する。しかし、各実施形態の説明に明記されていなくても動脈または深部静脈が目的ターゲットであってもよく、血管であればいずれも目的ターゲットに含まれるものと理解されるべきであり、表在静脈の位置確認方法だけで本発明の権利範囲が制限されるものではない。

【0033】

図１には、本発明による表在静脈の位置確認方法を実施し、決定された表在静脈に注射針を差し込む自動採血装置１のブロック図が示されている。本明細書では説明の便宜のために「採血」と記載しているが、静脈注射のために表在静脈を見つける方法とその方法を実施する装置または目的ターゲットの位置を確認した後に他の機能を実行する装置もまた本発明の権利範囲に含まれる。

【0034】

本発明による目的ターゲット位置確認装置１は、中央演算モジュール１０、制御モジュール２０、映像データ処理モジュール３０、通信モジュール４０、ディスプレイモジュール５０、操作モジュール６０、記憶モジュール７、第１駆動ユニット８０、超音波プローブ９０、第２駆動ユニット１００、注射針ユニット１１０、および上腕圧迫ユニット１２０を含む。

【0035】

目的ターゲット位置確認装置１の構造は、後述する特許請求の範囲に応じて当業者により適宜変更することができる。また、目的ターゲット位置確認装置１の各構成要素もまた、後述する特許請求の範囲に応じて当業者により適宜変更することができる。したがって、図１に示す装置の構造は、単なる例示であり、本発明の権利範囲を限定するものとして解釈されるべきではない。

【0036】

中央演算モジュール１０は、本発明の方法のために実行される様々な演算と装置全体の作動を制御する。制御モジュール２０は、超音波プローブ９０を移動させる第１駆動ユニット８０の作動と、注射針ユニット１１０を移動させる第２駆動ユニット１００の作動とを制御する。中央演算モジュール１０と制御モジュール２０とを、適切な設計によって１つの構成要素として統合してもよい。

【0037】

映像データ処理モジュール３０は、超音波プローブ９０が取得した映像データを、本発明による方法で利用可能なフォーマットおよびサイズに変換する処理を行う。

【0038】

通信モジュール４０は、通信網１３０を介して機械学習サーバ１４０と通信して、映像データ処理モジュール３０が処理した映像データを分析できるようにする。

【0039】

情報顕出モジュール５０は、操作者が装置の状態確認または制御のために表示されるメッセージを確認したり、操作状況を確認したりできる装置であり、視覚的に情報を現出するモニタであってもよく、聴覚的に情報を現出するスピーカなどの装置であってもよい。

【0040】

操作モジュール６０は、操作者が操作命令を入力できるボタンまたはキーボード、聴覚的に操作命令を入力できるマイクであってもよい。

【0041】

記憶モジュール７０は、自動採血装置１の作動および制御に必要なプログラムまたはデータを記憶することができ、ハードディスク、ＳＳＤ、フラッシュメモリなど、その種類に限定されるものではない。記憶モジュール７０は、自動採血装置１に搭載することなく、通信網１３０を介して遠隔接続可能なクラウドストレージであってもよい。

【0042】

第１駆動ユニット８０は、制御モジュール２０の命令に従って超音波プローブ９０を駆動し、超音波プローブ９０を２次元または３次元的に移動させることができる。単一または複数の第１駆動ユニット８０を備えてもよい。

【0043】

超音波プローブ９０は、後述するように被検者の上腕側に接近し、上腕に接触および上腕を圧迫しながら映像データを取得する構成要素である。

【0044】

第２駆動ユニット１００は、制御モジュール２０の命令に従って、注射針ユニット１１０を、後述する方法により決定された表在静脈の中心座標に移動させる。単一または複数の第２駆動ユニット１００を備えてもよい。

【0045】

注射針ユニット１１０は、被検者の血管に差し込んで採血したり静脈注射を注入したりする構成要素である。目的ターゲット位置確認装置１の目的が採血や静脈注射でない場合には、注射針ユニット１１０を省略してもよい。

【0046】

上腕圧迫ユニット１２０は、表在静脈の位置を容易に見つけるために上腕を圧迫する環状部材（図示せず）を含む構成要素である。被検者が上腕を環状部材に入れると、自動的にまたは操作者の操作によって環状部材の直径が減少するにつれて被検者の上腕を所定の圧力で圧迫する。上腕圧迫ユニット１２０としては、例えば、血圧計に用いる圧迫装置を用いてもよい。

【0047】

機械学習サーバ１４０は、表在静脈である目的ターゲットと、そうでない身体部分である回避ターゲットを見つけるために機械学習を行うサーバである。機械学習は、例えば、ＰＣ、スマートフォン、タブレットＰＣ、機械学習サーバによって実行され得る。機械学習サーバ１４０には、畳み込みニューラルネットワークなどによる学習データが搭載されているので、通信網１３０を介して多数の自動採血装置１をして学習データによる分析を可能にする。本発明の他の形態によれば、機械学習サーバ１４０に通信網を接続することなく、軽量化された機械学習モデルを自動採血装置１に搭載して使用することもできる。

【0048】

図２には、本発明による表在静脈位置確認方法のフローチャートが示されている。

【0049】

表在静脈の位置探索のために、被検者がまず上腕圧迫ユニット１２０に上腕を入れて上腕圧迫を行う（ステップ２００）。上腕圧迫ユニット１２０は、１～５ｃｍの圧迫手段を含み、圧迫手段は肘の上部３～１２ｃｍ、好ましくは６～８ｃｍで上腕を圧迫する。圧力圧力は、１０～６０ｍｍＨｇ、好ましくは２０～３０ｍｍＨｇの圧力であり得る。上腕圧迫ユニット１２０が上腕を圧迫せずに後述する過程を行っても構わない。

【0050】

図２には、超音波プローブ９０の移動前に上腕圧迫が行われることが示されているが、超音波プローブ９０を移動させた後に超音波プローブ９０が第１映像データを取得し始めた後に上腕圧迫を行ってもよい。第１映像データ取得開始後に上腕圧迫を行う場合には、上腕圧迫実行前の第１映像データと、上腕圧迫実行後の第１映像データとを取得することができる。

【0051】

図２に戻ると、上腕圧迫後に被検者の身体から所定距離、例えば１ｍｍだけ離間した位置に、第１駆動ユニット８０は、制御モジュール２０の命令を受けて超音波プローブ９０を移動させる（ステップ２０５）。超音波プローブ９０が配置される被検者の身体位置は、肘正中皮静脈（ｍｅｄｉａｎ ｃｕｂｉｔａｌ ｖｅｉｎ）が位置する、肘窩から手方向に０～８ｃｍ、好ましくは１～３ｃｍであり得る。

【0052】

ステップ２１０では、超音波プローブ９０を被検者の身体に向かって移動させながら第１映像データを取得する。第１映像データは、被検者の身体に超音波プローブ９０が接触する前の映像データであり、上腕が圧迫される前の映像データと上腕が圧迫された後の映像データとを含み得る。

【0053】

超音波プローブ９０が被検者の身体に接触して圧迫する間に第２映像データが収集される。本発明の他の実施形態によれば、超音波プローブ９０以外の手段によって被検者の身体を圧迫してもよい。

【0054】

第１および第２映像データは、血流の音波信号のうちドップラー効果によって分析された映像データを含み得る。本発明の他の実施形態によれば、第１映像データおよび第２映像データのいずれか一方のみを使用してもよい。

【0055】

取得された第１および第２映像データは、映像データ処理モジュール３０により、本発明による方法を実行するプログラムが使用可能なフォーマットおよびサイズに変換される（ステップ２２０）。本発明の他の実施形態によれば、映像データを変換することなく後述する映像データ分析を行うことができる。

【0056】

中央演算モジュール１０は、通信網１３０を介して接続可能な機械学習サーバ１４０の例えば畳み込みニューラルネットワークを用いて、変換された映像データを分析して、映像データに目的ターゲットと回避ターゲットのピクセルを表示する（ステップ２２５）。

【0057】

本明細書において、目的ターゲットは表在静脈または動脈などの血管を意味し、回避標的は動脈、神経、骨組織などを意味し、用途に応じて目的ターゲットおよび回避標的を決定することができる。例えば、用途によっては、表在静脈の位置が確認されたときに回避ターゲットと決定される動脈や、神経、骨組織などをむしろ目的ターゲットと設定することもできる。

【0058】

目的ターゲットと回避ターゲットを表示する方法は、ピクセル単位で表示してもよく、中央値と境界および距離に基づいてバウンドボックス（ｂｏｕｎｄ－ｂｏｘ）で表示してもよい。あるいは、中央値、円形／楕円形、長方形などの形状に関する情報と、半径／二つの地点以上の距離情報／一辺の長さなどの形状を特定できる情報とを一緒に記憶してもよい。

【0059】

本発明で活用するための機械学習の一例である畳み込みニューラルネットワーク学習について説明する。

【0060】

畳み込みニューラルネットワーク学習のためには、事前に学習データによる学習を行う必要がある。畳み込みニューラルネットワークの学習に使用される映像データは、上記の第１および第２映像データのランダムクロップ、サイズ変換、水平フリップなどを含むデータ増強技術によりデータの一般性を高めるように前処理されてもよい。

【0061】

機械学習サーバ１４０は、畳み込みニューラルネットワーク学習を通じて、目的ターゲットと回避ターゲットの特徴に合致する情報を取得し、記憶する。

【0062】

このような特徴情報には、超音波映像データで確認される成分が持つエコージェニティ（ｅｃｈｏｇｅｎｉｃｉｔｙ）の強度、エコージェニックな成分の分布パターン情報、映像データ内で確認される成分が分布する相対位置情報、被検者の身長、体重、性別、年齢、罹患した疾患、過去に受けたまたは現在受けている治療の情報、超音波プローブ、または他の手段によって圧迫されるときの情報、ドップラー映像を用いて分析した血流のリアルタイムフロー情報のうちの少なくともいずれかを含むことができる。

【0063】

圧迫されるとき、超音波プローブまたは他の手段で皮膚表面を押すと、動脈とは異なり、静脈は直接圧迫されてサイズが縮小したり、近位部が圧迫されてうっ血が誘発されることでサイズが膨らんだりするようになる。圧迫されるときの情報はそれに関する情報を含み得る。

【0064】

血流のリアルタイム情報によれば、回避ターゲットの一つである動脈の場合、静脈とは異なり、血流が速いためドップラー信号が強く、周期的に大きくなり小さくなりながら拍動をするため、ターゲット検知に有用である。

【0065】

畳み込みニューラルネットワーク学習では、前記特徴情報に基づいて映像データ内における目的ターゲットと回避ターゲットの位置に対応するピクセルを表示するように訓練することができる。

【0066】

前記学習（訓練）は、例えば、教師あり学習（ｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）、教師なし学習（ｕｎｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）、半教師あり学習（ｓｅｍｉ－ｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）であり得る。

【0067】

教師あり学習の場合、正解のある映像と比較しながら訓練することができるが、正解と、畳み込みニューラルネットワークが見つけた目的ターゲット及び回避ターゲットとが異なる場合は、損失関数の損失を減らす方向で学習させることができる。損失関数はバイナリクロスエントロピー損失（ＢＣＥｌｏｓｓ：Ｂｉｎａｒｙ Ｃｒｏｓｓ Ｅｎｔｒｏｐｙ ｌｏｓｓ）、クロスエントロピー（Ｃｒｏｓｓｅｎｔｒｏｐｙ）などであり得、オプティマイザ（ｏｐｔｉｍｉｚｅｒ）はａｄａｍ、ＲＭＳｐｒｏｐ、および確率的勾配降下法を使用し得る。また、評価は、ダイス係数損失（ｄｉｃｅ ｃｏｅｆｆｉｃｉｅｎｔ ｌｏｓｓ）などにより行うことができる。

【0068】

畳み込みニューラルネットワーク学習などの機械学習により目的ターゲットおよび回避ターゲットが決定されると、ステップ２３０に進んで最終目的ターゲットを決定する。ステップ２３０およびステップ２３５は、中央演算モジュール１０によって実行されてもよいが、必ずしもそれに限定されるわけではなく、例えば、前処理された第１および第２映像データを、通信網１３０を介して遠隔の第３演算サーバ等に伝送して本発明による各ステップを実行することもできる。

【0069】

図３には、ステップ２３０の具体的な過程のフローチャートが示されている。

【0070】

ステップ３００では、ステップ２２５で見つけた目的ターゲットが存在するか否かを判断する。目的ターゲットが存在する場合、ステップ３０５に進み、見つけられた目的ターゲットが１つであるか２つ以上であるかを判断する。まず、目的ターゲットが１つである場合について説明する。

【0071】

目的のターゲットが１つである場合、当該目的ターゲットの境界が映像データの境界と重なっているか否かを判断する（ステップ３３５）。重ならない場合はステップ３１０に進み、重なる場合はステップ３５５に進んで境界面座標が映像データの内側、例えば中央に位置するように超音波プローブ９０を移動させ、ステップ２１０に戻り、以降の手順を行う。超音波プローブ９０を移動させることなく被検者の身体を移動させることもできる。

【0072】

ステップ３１０では、目的ターゲットのサイズに基づく情報の１つである最大内接円直径を算出する。最大内接円とは、目的ターゲットのピクセルのみが入れられる円の中で最大サイズの内接円を意味する。目的ターゲットのサイズに基づく情報としては、最大内接円直径に加えて、目的ターゲット内に描画できる横線と縦線の最大および最小長、目的ターゲットの重心から目的ターゲットの境界線までの最大および最小距離、目的ターゲットの面積などの他の情報が挙げられる。

【0073】

そして、目的ターゲットの深さに基づく情報である深さを算出し（ステップ３１５）、第１判断基準および第２判断基準を当該目的ターゲットが満足するか否かを判断する（ステップ３２０）。「深さに基づく情報」には、単なる深さだけでなく、深さに関連する他のさまざまな情報も含まれる。

【0074】

目的ターゲットが表在静脈である場合、第１判定基準は、最大内接円直径が所定の値（第１値）以上であるか否かを判定することである。第１値は、機器の作動誤差範囲内で決定されてもよい。例えば、最大内接円直径が２ｍｍ未満の場合、当該目的ターゲットは回避ターゲットとして分類することができる（ステップ３７５）。最大内接円直径が第１値よりも大きいか等しい場合、第１判断基準を満足すると判断する。

【0075】

サイズに基づく情報が目的ターゲット内に描画できる横線と縦線の長さ情報である場合、横線と縦線の最大長および最小長がそれぞれ所定の値以上であるか否かを判断することが第１判断基準であり得る。例えば、横線と縦線の最小長が２ｍｍ未満の場合、目的ターゲットを回避ターゲットとして分類することができる。目的ターゲットが１つでない場合には、各横線と各縦線の合計、積、平均などがより大きい目的ターゲットを最終目的ターゲット候補として選択することもできる。

【0076】

サイズに基づく情報が目的ターゲットの重心から境界線までの最大距離および最小距離である実施形態では、前記最大および最小距離が所定の値以上であるか否かを判断する基準が第１判断基準であり得る。例えば、目的ターゲットの重心から目的ターゲットの境界線までの最小距離が２ｍｍ未満の場合、目的ターゲットを回避ターゲットとして分類することができる。目的ターゲットが複数個ある場合、重心から目的ターゲット境界線までの各距離の合計、積、平均などがより大きい目的ターゲットを最終目的ターゲット候補として選択することができる。

【0077】

サイズに基づく情報が面積情報である実施形態では、面積が所定の値以上であるか否かを判断する基準が第１判断基準であり得る。例えば、目的ターゲットの面積が１０ｍｍ^２未満の場合、当該目的ターゲットを回避ターゲットとして分類することができ、目的ターゲットが複数個ある場合には、面積がより大きい目的ターゲットを最終目的ターゲット候補として選択することができる。

【0078】

第２判定基準は、目的ターゲットの深さが所定の値（第２値）、例えば１ｃｍ以下であるか否かを判定する基準である。目的ターゲットの深さが第２値よりも深い場合、当該目的ターゲットを回避ターゲットとして決定する（ステップ３７５）。これは、表在静脈ではなく深部静脈の場合、表在静脈よりも止血が難しいため排除し、回避ターゲットである動脈もまた排除するためのものである。そして、第２値よりも深い場合、注射針が進入するときに深い傷を負う可能性があり、その侵襲経路内に重要な解剖学的構造物乃至神経がある可能性があるため、第２判断基準を適用する。目的ターゲットの深さが第２値以下である場合、第２判断基準を通過したと判断する。

【0079】

第１判定基準および第２判定基準を満足する場合、目的ターゲットと皮膚表面との間の直線経路に回避ターゲットが存在するか否かを判断する（ステップ３２５；第３判定基準）。直線経路に回避ターゲットが存在する場合、その回避ターゲットは腕の側面の神経であり得る。

【0080】

ステップ３２５の判断結果「ＮＯ」であれば、当該目的ターゲットを最終目的ターゲットとして決定する（ステップ３３０）。

【0081】

第１判断基準から第３判断基準のうちの全ての基準を満たす場合に最終目的ターゲットとして決定してもよいが、第１判断基準から第３判断基準のうち少なくともいずれかを満足すれば最終目的ターゲットとして決定してもよい。

【0082】

ステップ２２５で探索された目的ターゲットが複数個である場合について説明する。

【0083】

複数の目的ターゲットが検索された場合、ステップ３６０に進み、目的ターゲットのそれぞれの最大内接円サイズを算出する。次に、各最大内接円のサイズを比較し（ステップ３６５）、第４判断基準に基づいて最終目的ターゲットの候補を選択する（ステップ３７０）。

【0084】

第４判断基準は次の通りである。最大内接円のサイズが最も大きい目的ターゲットを最終目的ターゲットの候補として選択することが原則であるが、この内接円のサイズと、これに次いで大きな最大内接円を有する目的ターゲットの内接円のサイズとの差が所定の値（第３値）、例えば１０％以内である場合には、超音波プローブの接触面から近い、例えば超音波プローブの接触面の中央地点から近い目的ターゲットを最終目的ターゲットの候補として決定することができる。

【0085】

最大内接円サイズ以外の、サイズに基づく情報を第１情報とする場合であっても、比較値の差が所定の値以内であれば、超音波プローブの接触面から近い、例えば超音波プローブの接触面の中央地点から近い目的ターゲットを最終目的ターゲットの候補として決定することができる。

【0086】

ステップ３７０で最終目的ターゲットの候補が決定されると、ステップ３１５に進み、前述の後続の過程を行い、最終目的ターゲットを決定するか、または回避ターゲットとして決定する。

【0087】

ステップ３００で目的ターゲットが存在しないと判断された場合は、目的ターゲットの探索が所定回数以上であるか否かを判断する。所定の回数、例えば２回または３回以上の場合は、ステップ３８０に進み、反対側の腕に対して目的ターゲットを探索する。所定の回数未満の場合は、ステップ２１０に進み、超音波プローブ９０を移動させて第１映像データを取得する。このとき、前の映像と重ならない位置に超音波プローブ９０を移動させて第１映像データを取得する。

【0088】

上記過程を経て最終目的ターゲットが決定されると、ステップ２３５で最終目的ターゲットの中心座標を算出する。第２駆動ユニット１００は、制御モジュール２０の命令を受けて注射針ユニット１１０を前記中心座標に移動させて採血を行う（ステップ２４０）。

【0089】

中心座標は、最終目的ターゲットのピクセルのみを含む最大内接円内の任意の地点Ｘ_ｉとの距離が最大である地点Ｘの座標として決定される。

【0090】

中心座標の算出が完了した後、当該中心座標と皮膚表面との間の直線経路内で、血管の表面が所定の回数、例えば２回以上通過する場合には、当該最終目的ターゲットを排除することができる。

【0091】

一方、最終目的ターゲット内の全てのピクセルに対して所定の直径、例えば１ｍｍの直径を有する円を描き、その円内のピクセルのうち所定の割合、例えば３０～９５％、好ましくは５０～７０％以上のピクセルが最終目的ターゲットとして分類される場合は、当該ピクセルを最終目的ターゲットとし、そうでなければ当該ピクセルを削除する。

【0092】

図５に示すように、ピクセル５１０を基準として描かれた円５２０内に全てのピクセル（所定比率以上）が存在するので、当該ピクセル５１０は最終目的ターゲットのピクセルとして分類することができる。ピクセル５３０を基準として描かれた円５１１内には、最終目的ターゲットのピクセルではないピクセルが所定の比率以上存在しないので、当該ピクセル５３０を最終目的ターゲットから除去することができる。

【0093】

この過程は、最終目的ターゲットの境界面を滑らかにし、誤分類されるピクセルが存在する可能性を排除しようとする過程であるが、本発明の実施に必ずしも必要な過程ではなく付随的な過程である。

【0094】

以上、添付の図面を参照して本発明について説明したが、本発明の権利範囲は後述する特許請求の範囲によって決定され、上述した実施形態及び／又は図面に限定されるものと解釈されるべきではない。そして、特許請求の範囲に記載された発明の、当業者に自明な改良、変更および修正も本発明の権利範囲に含まれることが明らかに理解されるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】