特許 7658538 位置推定装置、自動注射装置、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-03-31

(45)【発行日】2025-04-08

(54)【発明の名称】位置推定装置、自動注射装置、及びプログラム

(51)【国際特許分類】

   A61B 34/10 20160101AFI20250401BHJP

   A61M 5/20 20060101ALI20250401BHJP

   G06T 7/00 20170101ALI20250401BHJP

【ＦＩ】

A61B34/10

A61M5/20 550

G06T7/00 612

【請求項の数】 9

(21)【出願番号】P 2021106414

(22)【出願日】2021-06-28

(65)【公開番号】P2023004601

(43)【公開日】2023-01-17

【審査請求日】2024-03-06

【新規性喪失の例外の表示】特許法第３０条第２項適用 令和３年３月８日 情報・知能・精密機器部門（ＩＩＰ部門）講演会 講演論文集にて発表

(73)【特許権者】

【識別番号】504229284

【氏名又は名称】国立大学法人弘前大学

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】佐川 貢一

【審査官】滝沢 和雄

(56)【参考文献】

【文献】特開２０１９－０３０５７０（ＪＰ，Ａ）

【文献】中国特許出願公開第１０６５１０７３０（ＣＮ，Ａ）

【文献】特開２０１４－２３９８３１（ＪＰ，Ａ）

【文献】特開２００４－３３７５３８（ＪＰ，Ａ）

【文献】特開２０１１－０２２０８４（ＪＰ，Ａ）

【文献】特開平０１－１８７４１１（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／０１８８９９０（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１５／００９４６６２（ＵＳ，Ａ１）

【文献】Nakamachi, Eiji et al.，Development of Automatic 3D Blood Vessel Search and Automatic Blood Sampling System by Using Hybrid Stereo-Autofocus Method，International Journal of Optics，英国，Hindawi Publishing Corporation，2011年07月11日，Volume 2012, No.1，p1-11，https://onlinelibrary.wiley.com/doi/epdf/10.1155/2012/258626

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ３４／１０

Ａ６１Ｍ ５／２０

Ｇ０６Ｔ ７／００

Ａ６１Ｍ ５／４２

(57)【特許請求の範囲】

【請求項1】

異なる方向から対象物を撮影した、該対象物の第１及び第２画像を取得する第１及び第２画像取得手段と、
前記第１及び第２画像取得手段により取得された第１及び第２画像に基づいて、該第１及び第２画像における前記対象物の特徴形状を表す線の第１及び第２近似式を夫々算出する近似式算出手段と、
前記対象物の位置を算出する位置算出手段と、を備え、
前記位置算出手段は、
前記第１画像取得手段の位置と、前記近似式算出手段により算出された第１近似式の線と、を通る第１面を算出し、該第１面と前記対象物を覆う表面との第１交線を算出し、該第１交線を該第１交線の延在方向に沿って分割する複数の第１分割点と前記第１画像取得手段とを通る複数の線を、前記表面内の屈折率に基づいて前記複数の第１分割点で夫々屈折させた複数の第１屈折線を夫々算出し、
前記第２画像取得手段の位置と、前記近似式算出手段により算出された第２近似式の線と、を通る第２面を算出し、該第２面と前記対象物を覆う表面との第２交線を算出し、該第２交線を該第２交線の延在方向に沿って分割する複数の第２分割点と前記第２画像取得手段とを通る複数の線を、前記表面内の屈折率に基づいて該各第２分割点で夫々屈折させた複数の第２屈折線を夫々算出し、
前記複数の第１屈折線と前記複数の第２屈折線とが交差する点を夫々算出し、該算出した各点に基づいて、前記対象物の３次元位置を算出する、
位置推定装置。

【請求項2】

請求項１記載の位置推定装置であって、
前記近似式算出手段は、前記対象物の特徴形状を表す近似式として１次の直線式又は２次以上の曲線式を算出する、
ことを特徴とする位置推定装置。

【請求項3】

請求項１又は２記載の位置推定装置であって、
前記第１及び第２画像取得手段は、赤外線カメラである、
ことを特徴とする位置推定装置。

【請求項4】

請求項１乃至３のうちいずれか１項記載の位置推定装置であって、
前記対象物は、血管である、
ことを特徴とする位置推定装置。

【請求項5】

請求項４記載の位置推定装置を備え、
前記位置推定装置により算出された血管の３次元位置に基づいて、該血管に対し穿刺針を穿刺する、
ことを特徴する自動注射装置。

【請求項6】

請求項５記載の自動注射装置であって、
前記穿刺針を移動させる移動手段と、
前記穿刺針にかかる力を検出する力検出手段と、
前記力検出手段により検出された穿刺針の力に基づいて、前記穿刺針が前記血管に到達したか否かを判定する判定手段と、
前記判定手段による判定結果に基づいて、前記移動手段を制御する制御手段と、
を備える、ことを特徴とする自動注射装置。

【請求項7】

請求項６記載の自動注射装置であって、
前記判定手段は、前記力検出手段により検出された穿刺針の力が２つ目のピークに達したときに、前記穿刺針が前記血管に到達したと判定する、
ことを特徴する自動注射装置。

【請求項8】

請求項６又は７記載の自動注射装置であって、
前記制御手段は、前記力検出手段により検出された穿刺針の力が閾値以上になると、前記穿刺針を前記血管から抜針するように前記移動手段を制御する、
ことを特徴とする自動注射装置。

【請求項9】

第１及び第２画像取得手段により異なる方向から対象物を撮影し、該対象物の第１及び第２画像を取得する処理と、
前記取得された第１及び第２画像に基づいて、該第１及び第２画像における前記対象物の特徴形状を表す線の第１及び第２近似式を夫々算出する処理と、
前記第１画像取得手段の位置と、前記算出された第１近似式の線と、を通る第１面を算出し、該第１面と前記対象物を覆う表面との第１交線を算出し、該第１交線を該第１交線の延在方向に沿って分割する複数の第１分割点と前記第１画像取得手段とを通る複数の線を、前記表面内の屈折率に基づいて該各第１分割点で夫々屈折させた複数の第１屈折線を夫々算出する処理と、
前記第２画像取得手段の位置と、前記算出された第２近似式の線と、を通る第２面を算出し、該第２面と前記対象物を覆う表面との第２交線を算出し、該第２交線を該第２交線の延在方向に沿って分割する複数の第２分割点と前記第２画像取得手段とを通る複数の線を、前記表面内の屈折率に基づいて該各第２分割点で夫々屈折させた複数の第２屈折線を夫々算出する処理と、
前記複数の第１屈折線と前記複数の第２屈折線とが交差する点を夫々算出し、該算出した各点に基づいて、前記対象物の３次元位置を算出する処理と、
をコンピュータに実行させる、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、対象物の３次元位置を推定する位置推定装置、自動注射装置、位置推定方法及びプログラムに関する。

【背景技術】

【0002】

異なる方向から対象物を撮影した、該対象物の第１及び第２画像を取得し、取得した第１及び第２画像に基づいて、対象物の３次元位置を算出する位置推定装置が知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第６５３２０４２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記位置推定装置においては、対象物を覆う表面の光学特性を考慮していないため、対象物の３次元位置の推定精度が低下していた。

【0005】

本発明は、このような問題点を解決するためになされたものであり、対象物の３次元位置をより高精度に算出できる位置推定装置、自動注射装置、位置推定方法、及びプログラムを提供することを主たる目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するための本発明の一態様は、
異なる方向から対象物を撮影した、該対象物の第１及び第２画像を取得する第１及び第２画像取得手段と、
前記第１及び第２画像取得手段により取得された第１及び第２画像に基づいて、該第１及び第２画像における前記対象物の特徴形状を表す線の第１及び第２近似式を夫々算出する近似式算出手段と、
前記対象物の位置を算出する位置算出手段と、を備え、
前記位置算出手段は、
前記第１画像取得手段の位置と、前記近似式算出手段により算出された第１近似式の線と、を通る第１面を算出し、該第１面と前記対象物を覆う表面との第１交線を算出し、該第１交線を分割した各第１分割点と前記第１画像取得手段とを通る線を、前記表面内の屈折率に基づいて該各第１分割点で屈折させた第１屈折線を夫々算出し、
前記第２画像取得手段の位置と、前記近似式算出手段により算出された第２近似式の線と、を通る第２面を算出し、該第２面と前記対象物を覆う表面との第２交線を算出し、該第２交線を分割した各第２分割点と前記第２画像取得手段とを通る線を、前記表面内の屈折率に基づいて該各第２分割点で屈折させた第２屈折線を夫々算出し、
前記第１屈折線と前記第２屈折線とが交差する点を夫々算出し、該算出した各点に基づいて、前記対象物の３次元位置を算出する、
位置推定装置
である。
この一態様において、
前記近似式算出手段は、前記対象物の特徴形状を表す近似式として１次の直線式又は２次以上の曲線式を算出してもよい。
この一態様において、
前記第１及び第２画像取得手段は、赤外線カメラであってもよい。
この一態様において、
前記対象物は、血管であってもよい。
上記目的を達成するための本発明の一態様は、
前記位置推定装置により算出された血管の３次元位置に基づいて、該血管に対し穿刺針を穿刺する、
ことを特徴する自動注射装置
であってもよい。
この一態様において、
前記穿刺針を移動させる移動手段と、
前記穿刺針にかかる力を検出する力検出手段と、
前記力検出手段により検出された穿刺針の力に基づいて、前記穿刺針が前記血管に到達したか否かを判定する判定手段と、
前記判定手段による判定結果に基づいて、前記移動手段を制御する制御手段と、
を備えていてもよい。
この一態様において、
前記判定手段は、前記力検出手段により検出された穿刺針の力が２つ目のピークに達したときに、前記穿刺針が前記血管に到達したと判定してもよい。
この一態様において、
前記制御手段は、前記力検出手段により検出された穿刺針の力が閾値以上になると、前記穿刺針を前記血管から抜針するように前記移動手段を制御してもよい。
上記目的を達成するための本発明の一態様は、
第１及び第２画像取得手段により異なる方向から対象物を撮影し、該対象物の第１及び第２画像を取得するステップと、
前記取得された第１及び第２画像に基づいて、該第１及び第２画像における前記対象物の特徴形状を表す線の第１及び第２近似式を夫々算出するステップと、
前記第１画像取得手段の位置と、前記算出された第１近似式の線と、を通る第１面を算出し、該第１面と前記対象物を覆う表面との第１交線を算出し、該第１交線を分割した各第１分割点と前記第１画像取得手段とを通る線を、前記表面内の屈折率に基づいて該各第１分割点で屈折させた第１屈折線を夫々算出するステップと、
前記第２画像取得手段の位置と、前記算出された第２近似式の線と、を通る第２面を算出し、該第２面と前記対象物を覆う表面との第２交線を算出し、該第２交線を分割した各第２分割点と前記第２画像取得手段とを通る線を、前記表面内の屈折率に基づいて該各第２分割点で屈折させた第２屈折線を夫々算出するステップと、
前記第１屈折線と前記第２屈折線とが交差する点を夫々算出し、該算出した各点に基づいて、前記対象物の３次元位置を算出するステップと、
を含む、位置推定方法
であってもよい。
上記目的を達成するための本発明の一態様は、
第１及び第２画像取得手段により異なる方向から対象物を撮影し、該対象物の第１及び第２画像を取得する処理と、
前記取得された第１及び第２画像に基づいて、該第１及び第２画像における前記対象物の特徴形状を表す線の第１及び第２近似式を夫々算出する処理と、
前記第１画像取得手段の位置と、前記算出された第１近似式の線と、を通る第１面を算出し、該第１面と前記対象物を覆う表面との第１交線を算出し、該第１交線を分割した各第１分割点と前記第１画像取得手段とを通る線を、前記表面内の屈折率に基づいて該各第１分割点で屈折させた第１屈折線を夫々算出する処理と、
前記第２画像取得手段の位置と、前記算出された第２近似式の線と、を通る第２面を算出し、該第２面と前記対象物を覆う表面との第２交線を算出し、該第２交線を分割した各第２分割点と前記第２画像取得手段とを通る線を、前記表面内の屈折率に基づいて該各第２分割点で屈折させた第２屈折線を夫々算出する処理と、
前記第１屈折線と前記第２屈折線とが交差する点を夫々算出し、該算出した各点に基づいて、前記対象物の３次元位置を算出する処理と、
をコンピュータに実行させる、プログラム
であってもよい。

【発明の効果】

【0007】

本発明によれば、対象物の３次元位置を高精度に算出できる位置推定装置、自動注射装置、位置推定方法、及びプログラムを提供することができる。

【図面の簡単な説明】

【0008】

【図1】本発明の実施形態１に係る位置推定装置の概略的構成を示すブロック図である。

【図2】第１及び第２屈折線を算出するための具体的な手法を説明する図である。

【図3】本実施形態１に係る位置推定方法のフローを示すフローチャートを示す図である。

【図4】実験による穿刺成功率を示す図である。

【図5】従来の位置推定方法及び本実施形態１に係る位置推定方法による血管断面の推定位置を示す図である。

【図6】本発明の実施形態２に係る自動注射装置の概略的なシステム構成を示すブロック図である。

【図7】移動部の概略的な構成を示す図である。

【発明を実施するための形態】

【0009】

実施形態１
以下、図面を参照して本発明の実施形態について説明する。本発明の実施形態１に係る位置推定装置は、例えば、医療現場などにおいて、人体の血管の３次元位置を高精度に推定できる。

【0010】

ところで、従来の位置推定装置においては、人体の皮膚の屈折率などの光学特性を考慮していない。このため、人体の血管の３次元位置を推定する際に、実際の血管深さよりも浅く推定されるなどの推定精度の低下が問題となっていた。

【0011】

これに対し、本実施形態１に係る位置推定装置１においては、後述の如く、人体の皮膚の光学特性を考慮して人体の血管の３次元位置を推定する。これにより、人体の血管の３次元位置を高精度に推定できる。

【0012】

図１は、本実施形態１に係る位置推定装置の概略的構成を示すブロック図である。本実施形態１に係る位置推定装置１は、血管の画像を取得する第１及び第２カメラ２、３と、血管の近似式を算出する近似式算出部４と、血管の３次元位置を算出する位置算出部５と、を備えている。

【0013】

第１及び第２カメラ２、３は、第１及び第２画像取得手段の一具体例である。第１及び第２カメラ２、３は、それぞれ、異なる方向から血管を撮影し、血管のステレオ画像として第１及び第２画像を取得する。第１及び第２カメラ２、３は、赤外線カメラであるのが好ましい。これにより、例えば、皮膚下にある血管を透視して撮影することができる。第１及び第２カメラ２、３は、取得した第１及び第２画像を近似式算出部４に出力する。

【0014】

近似式算出部４は、近似式算出手段の一具体例である。近似式算出部４は、第１及び第２カメラ２、３により取得された血管の第１及び第２画像に基づいて、該血管の特徴形状を表す近似式を夫々算出する。

【0015】

近似式算出部４は、第１及び第２カメラ２、３により取得された第１及び第２画像から血管部分を抽出する。例えば、近似式算出部４は、第１及び第２画像の中から、血管に特有の色特性を有する、明度および彩度が特定範囲内にある領域を血管部分として抽出する。

【0016】

近似式算出部４は、抽出した血管部分の特徴形状を表す近似式として、例えば、１次の直線式を算出する。通常、採血や輸血が行われる腕などの血管（静脈）は、直線状に延びているため、血管の特徴形状を１次の直線式で表すことができる。これにより、血管の特徴形状を簡易に近似式で表現することができる。

【0017】

近似式算出部４は、第１カメラ２により取得された第１画像を２値化する。近似式算出部４は、例えば、血管が占めている部位を「１」、他の部位を「０」とした２値画像データを生成する。そして、近似式算出部４は、２値化した第１画像から血管部分を抽出する。近似式算出部４は、例えば、最小二乗法などを用いて、抽出した血管部分（「１」の領域）の中心を通る中心軸線の直線方程式を、第１近似式として算出する。

【0018】

同様に、近似式算出部４は、例えば、第２カメラ３により取得された第２画像を２値化し、２値化した第２画像から血管部分を抽出する。近似式算出部４は、最小二乗法などを用いて、抽出した血管部分の中心を通る中心軸線の直線方程式を、第２近似式として算出する。

【0019】

このようにして、対象物である血管の特徴形状を示す近似式を、複雑な処理を用いることなく容易に算出できる。近似式算出部４は、算出した第１及び第２近似式を位置算出部５に出力する。

【0020】

位置算出部５は、位置算出手段の一具体例である。位置算出部５は、近似式算出部４により算出された血管の第１及び第２近似式に基づき、皮膚表面（例えば、皮膚モデル表面）内の屈折率を考慮して、血管の３次元位置を高精度に算出する。

【0021】

位置算出部５は、第１カメラ２の焦点位置と、近似式算出部４により算出された第１近似式の線と、を通る第１面の式を算出する。位置算出部５は、算出した第１面と皮膚モデル表面を表す平面との第１交線を算出する。この第１交線は、第１カメラ２から見た血管像とする。皮膚モデル表面は、対象物を覆う表面の一具体例である。

【0022】

ここで、上述の如く、皮膚表面で光が屈折するが、皮膚表面内の屈折光の光路は同一平面内に存在しない。このため、本実施形態１においては、上記算出した第１交線を細かく分割し、１点ずつ入射光から屈折角を求め、第１カメラ２からの視線を異なる角度で回転させる。このように、カメラの視線方向による屈折角の違いを考慮して、血管の３次元位置を高精度に推定する。

【0023】

具体的には、位置算出部５は、第１交線を所定間隔で分割した各点（以下、第１分割点）と、第１カメラ２の焦点位置とを通る線を、皮膚モデル表面内の屈折率に基づいて、各第１分割点で屈折させた第１屈折線を夫々算出する。

【0024】

例えば、以下のようにして、第１屈折線を算出することができる。図２は、第１及び第２屈折線を算出するための具体的な手法を説明する図である。

【0025】

第１分割点ｐ_１，ｎから、第１カメラ２の焦点位置Ｃ_１まで向かう単位ベクトルを入射光Ｖ_１，ｎとする。ｎは分割数とする。なお、分割数は、例えば、１００となっているが、これに限定されず、任意の数が設定されてもよい。分割数を増加させると推定精度が向上するが、計算量も増加する。したがって、分割数には、両者を考慮して実験的に求めた最適値が設定されるのが好ましい。また、分割点間は等間隔となっているが、不等間隔であってもよい。

【0026】

入射光Ｖ_１，ｎと、皮膚モデル表面を表す平面Ｌ_ｓの単位法線ベクトルＮ_ｓと、の内積を求めることで、第１カメラ２の焦点位置Ｃ_１から第１分割点ｐ_１，ｎに対する入射角θ_１，ｎを得ることができる。そして，スネルの法則から屈折角φ_１，ｎを導出する。入射角θ_１，ｎと屈折角φ_１，ｎは、以下の式により算出される。
θ_１，ｎ＝ｃｏｓ^－１（Ｎ_ｓ・Ｖ_１，ｎ）
φ_１，ｎ＝ｓｉｎ^－１｛（ｎ_ａｉｒ／ｎ_ｓｋｉｎ）ｓｉｎθ_１，ｎ｝

【0027】

例えば、皮膚モデル表面内の屈折率をｎ_ｓｋｉｎ＝１．５６、空気中の屈折率をｎ_ａｉｒ＝１．００とする。また、入射光を屈折させる回転軸ω_１，ｎは，入射光Ｖ_１，ｎと法線ベクトルＮ_ｓの外積をとることで得られる。入射光Ｖ_１，ｎの回転角γ_１，ｎは以下の式から算出される。
ω_１，ｎ＝Ｖ_１，ｎ×Ｎ_ｓ
γ_１，ｎ＝θ_１，ｎ－φ_１，ｎ

【0028】

入射光Ｖ_１，ｎを回転軸ω_１，ｎ回りに回転角γ_１，ｎだけ回転させると、屈折後のベクトルｖ_１，ｎは以下から算出される。
ｖ_１，ｎ＝Ｒ_１，ｎ ^{ω１，ｎγ1，ｎ}（－Ｖ_1，ｎ）

【0029】

Ｒ_ｉ，ｎ ^{ω１，ｎγ１，ｎ}は、ロドリゲスの回転行列である。血管像上の点からｖ_１，ｎ方向へのベクトルを屈折光とすると、その光路を表す第１屈折線の式は以下のようになる。
Ｌ_１，ｎ＝ｐ_１，ｎ＋ｔｖ_１，ｎ
ｔは、任意の実数とする。

【0030】

位置算出部５は、上述の第１屈折線と同様に、第２屈折線を算出する。位置算出部５は、第２交線を所定間隔で分割した各第２分割点と、第２カメラ３の焦点位置Ｃ_２とを通る線を、皮膚モデル表面内の屈折率に基づいて、各第２分割点で屈折させた第２屈折線を夫々算出する。

【0031】

具体的には、次のようにして第２屈折線は算出される。
第２分割点ｐ_２，ｎから、第２カメラ３の焦点位置Ｃ_２まで向かう単位ベクトルを入射光Ｖ_２，ｎとする。入射光Ｖ_２，ｎと、皮膚モデル表面を表す平面Ｌ_ｓの単位法線ベクトルＮ_ｓと、の内積を求めることで、第２カメラ３の焦点位置Ｃ_２から第２分割点ｐ_２，ｎに対する入射角θ_２，ｎを得ることができる。そして，スネルの法則から屈折角φ_２，ｎを導出する。入射角θ_２，ｎと屈折角φ_２，ｎは、以下の式により算出される。
θ_２，ｎ＝ｃｏｓ^－１（Ｎ_ｓ・Ｖ_２，ｎ）
φ_２，ｎ＝ｓｉｎ^－１｛（ｎ_ａｉｒ／ｎ_ｓｋｉｎ）ｓｉｎθ_２，ｎ｝

【0032】

入射光を屈折させる回転軸ω_２，ｎは，入射光Ｖ_２，ｎと法線ベクトルＮ_ｓの外積をとることで得られる。入射光Ｖ_２，ｎの回転角γ_２，ｎは以下の式から算出される。
ω_２，ｎ＝Ｖ_２，ｎ×Ｎ_ｓ
γ_２，ｎ＝θ_２，ｎ－φ_２，ｎ

【0033】

入射光Ｖ_２，ｎを回転軸ω_２，ｎ回りに回転角γ_２，ｎだけ回転させると、屈折後のベクトルｖ_２，ｎは以下から算出される。
ｖ_２，ｎ＝Ｒ_２，ｎ ^{ω２，ｎγ２，ｎ}（－Ｖ_２，ｎ）

【0034】

血管像上の点からｖ_２，ｎ方向へのベクトルを屈折光とすると、光路を表す第２屈折線の式は以下のようになる。
Ｌ_２，ｎ＝ｐ_２，ｎ＋ｔｖ_２，ｎ

【0035】

位置算出部５は、上記算出した第１屈折線と、第２屈折線とが交差する点を夫々算出する。位置算出部５は、ｎ個の分割点に関して、第１屈折線Ｌ_１，ｎ＝ｐ_１，ｎ＋ｔｖ_１，ｎと、第２屈折線Ｌ_２，ｎ＝ｐ_２，ｎ＋ｔｖ_２，ｎと、が交差する点を夫々、算出する。

【0036】

より具体的には、第１屈折線Ｌ_１，ｎ＝ｐ_１，ｎ＋ｔｖ_１，ｎと、第２屈折線Ｌ_２，ｎ＝ｐ_２，ｎ＋ｔｖ_２，ｎと、の距離が最短となるような第１及び第２屈折線上の点をそれぞれｔ_１、ｎ、ｔ_２、ｎとする。位置算出部５は、以下の式を用いて、この点ｔ_１、ｎ、ｔ_２、ｎを算出する。

【数1】

【0037】

位置算出部５は、上記最短となる点ｔ_１、ｎ、ｔ_２、ｎの中点を夫々算出する。位置算出部５は、上記算出した中点群に基づいて、血管の位置を３次元直線式として算出する。位置算出部５は、上記算出した中点群に対して、例えば、主成分分析を行うことで、血管の位置を３次元直線式として算出する。

【0038】

図３は、本実施形態１に係る位置推定方法のフローを示すフローチャートを示す図である。

【0039】

第１及び第２カメラ２、３は、それぞれ、異なる方向から血管を撮影し、血管の第１及び第２画像を取得し、取得した第１及び第２画像を近似式算出部４に出力する（ステップＳ１０１）。

【0040】

近似式算出部４は、第１及び第２カメラ２、３から出力された血管の第１及び第２画像に基づいて、血管の特徴形状を表す第１及び第２近似式を夫々算出し、算出した第１及び第２近似式を位置算出部５に出力する（ステップＳ１０２）。

【0041】

位置算出部５は、第１カメラ２の焦点位置と、近似式算出部により算出された第１近似式の線と、を通る第１面の式を算出する（ステップＳ１０３）。位置算出部５は、算出した第１面と皮膚モデル表面を表す平面との第１交線を算出する（ステップＳ１０４）。

【0042】

位置算出部５は、第１交線を所定間隔で分割した各第１分割点と、第１カメラ２の焦点位置とを通る線を、皮膚モデル表面内の屈折率に基づいて、各第１分割点で屈折させた第１屈折線を夫々算出する（ステップＳ１０５）。

【0043】

位置算出部５は、第２カメラ３の焦点位置と、近似式算出部４により算出された第２近似式の線と、を通る第２面の式を算出する（ステップＳ１０６）。位置算出部５は、算出した第２面と皮膚モデル表面を表す平面との第２交線を算出する（ステップＳ１０７）。

【0044】

位置算出部５は、第２交線を所定間隔で分割した各第２分割点と、第２カメラ３の焦点位置とを通る線を、皮膚モデル表面内の屈折率に基づいて、各第２分割点で屈折させた第２屈折線を夫々算出する（ステップＳ１０８）。

【0045】

位置算出部５は、上記算出した第１屈折線と第２屈折線とが交差する点を夫々算出する（ステップＳ１０９）。位置算出部５は、上記算出した点群に基づいて、血管の位置を３次元直線式として算出する（ステップＳ１１０）。

【0046】

続いて、本実施形態１に係る位置推定方法による推定精度を以下の実験により確認している。本実験において、位置推定方法により推定された血管の３次元位置に基づいて、ロボットアームによりその血管に対し自動穿刺を行う。コンピュータがコントローラに対して、手先Ｔの座標値(Ｘ、Ｙ、Ｚ)と、姿勢角(α、β、γ)を送信することで、コントローラは、多関節型のロボットアームをその位置に制御する。

【0047】

２台の赤外線カメラで同時に撮影した画像に基づいて、本実施形態１に係る位置推定方法及び従来の位置推定方法を用いて、血管の３次元位置を夫々推定する。なお、従来の位置推定方法では、上記のような皮膚表面での屈折を考慮せずに３次元位置を推定している。

【0048】

皮膚モデルは、アクリルボードで作成したケース内に模擬血管として外径４ｍｍ、内径３ｍｍのシリコンチューブを通した後、超軟質ウレタン造形用樹脂（人肌のゲル硬度０、エクシール）を充填して作成した。チューブ内には模擬血液として墨汁を入れ、皮膚モデル表面には皮膚平面を定義するために３つのマーカを貼り付けた。

【0049】

皮膚モデルの設置領域は、カメラから近距離と遠距離の２種類である。また、それぞれの領域で皮膚モデルを水平にした場合と、血管軸を中心に±１０°傾けた場合と、の条件で血管位置の推定を行い、自動穿刺動作を行う。皮膚モデルをそれぞれの条件で５回、サンプル毎に異なる位置、および角度で設置して穿刺成否を比較した。穿刺の成否は穿刺動作の後にシリンジを引き、逆血が確認できたものを成功とした。

【0050】

図４は、上記実験による穿刺成功率を示す図である。図４に示す如く、従来の位置推定方法では、全距離（近距離及び遠距離）の穿刺成功率が３３％であったが、本実施形態１に係る位置推定方法では、全距離の穿刺成功率が７６％になり大幅に改善されていることが分かる。特に、本実施形態に係る位置推定方法では、従来の位置推定方法が苦手としている皮膚平面を傾けた姿勢（±１０°）でも推定精度を維持し、穿刺成功率が向上している。

【0051】

また、従来の位置推定方法は、実際の血管位置より浅く推定されたため模擬血管到達前に停止し穿刺に失敗している。これに対し、本実施形態１に係る位置推定方法では血管内まで到達し穿刺に成功している。このような結果は、カメラから遠距離領域に穿刺目標がある場合に多く見られた。

【0052】

図５は、従来の位置推定方法及び本実施形態１に係る位置推定方法による血管断面の推定位置を示す図である。図５に示す如く、従来の位置推定方法に比べて本実施形態１に係る位置推定方法の方がより真の血管位置と近い場所を推定していることがわかる。

【0053】

以上、本実施形態１に係る位置推定装置１は、第１カメラ２の位置と、近似式算出部４により算出された第１近似式の線と、を通る第１面を算出し、第１面と血管を覆う皮膚表面との第１交線を算出し、第１交線を所定間隔で分割した各第１分割点と第１カメラ２とを通る線を、皮膚表面内の屈折率に基づいて各第１分割点で屈折させた第１屈折線を夫々算出し、第２カメラ３の位置と、近似式算出部４により算出された第２近似式の線と、を通る第２面を算出し、第２面と血管を覆う皮膚表面との第２交線を算出し、第２交線を所定間隔で分割した各第２分割点と第２カメラ３とを通る線を、皮膚表面内の屈折率に基づいて各第２分割点で屈折させた第２屈折線を夫々算出し、第１屈折線と第２屈折線とが交差する点を夫々算出し、算出した各点に基づいて、血管の３次元位置を算出する。

【0054】

これにより、血管を覆う皮膚表面内の屈折率を考慮して、血管の３次元位置を高精度に算出することができる。また、第１及び第２交線を分割し、第１及び第２分割点毎に入射光から屈折角を求め、第１及び第２カメラ２、３からの視線を異なる角度で回転させる。これにより、カメラの視線方向による屈折角の違いを考慮して、血管の３次元位置をより高精度に推定することができる。

【0055】

なお、上記実施形態１において、対象物として、医療現場などにおける人の血管が適用されているが、これに限定されず、任意の物体が適用されてもよい。これにより、血管の場合と同様に、簡易な手法で、任意の物体の３次元位置を高精度に算出できる。

【0056】

例えば、対象物が物体（ガラス、液体など）の表面で覆われていて、その表面で光が屈折するような場合に、本実施形態１に係る位置推定装置１により、その対象物の３次元位置を高精度に推定できる。特に、本実施形態１に係る位置推定装置１によれば、その表面が平面である場合だけなく、その表面に凹凸がある場合でも、その対象物の３次元位置を高精度に推定できる。

【0057】

上記実施形態１において、近似式算出部４は、第１及び第２近似式として１次の直線式を算出しているが、これに限定されない。近似式算出部４は、第１及び第２近似式として、例えば、２次元曲線や３次元曲線などの曲線式を算出してもよい。

【0058】

この場合、位置算出部５は、第１カメラ２の位置と、近似式算出部４により算出された第１画像上の第１曲線（第１近似式）と、を含む第１曲面の第１曲面方程式を算出する。

【0059】

位置算出部５は、算出した第１曲面と皮膚モデル表面を表す平面との第１交線を算出する。位置算出部５は、第１交線を所定間隔で分割した各第１分割点と、第１カメラ２の焦点位置とを通る線を、皮膚モデル表面内の屈折率に基づいて、各第１分割点で屈折させた第１屈折線を夫々算出する。

【0060】

同様に、位置算出部５は、第２カメラ３の位置と、近似式算出部４により算出された第２画像上の第２曲線（第２近似式）と、を含む第２曲面の第２曲面方程式を算出する。

【0061】

位置算出部５は、算出した第２曲面と皮膚モデル表面を表す平面との第２交線を算出する。位置算出部５は、第２交線を所定間隔で分割した各第２分割点と、第２カメラ３の焦点位置とを通る線を、皮膚モデル表面内の屈折率に基づいて、各第２分割点で屈折させた第２屈折線を夫々算出する。

【0062】

位置算出部５は、上記算出した第１屈折線と、第２屈折線とが交差する点を夫々算出する。位置算出部５は、上記算出した点群に基づいて、血管の３次元位置を算出する。

【0063】

実施形態２
本発明の実施形態２に係る自動注射装置は、例えば、医療現場などにおいて、自動的に、人の血管に対し穿刺針を穿刺し、採血や輸血などを行う。本実施形態２に係る自動注射装置によれば、医療現場において行われる採血や輸血などを自動化し、医療従事者の２次感染の予防、病院での待ち時間の解消、穿刺ミス等の採血や輸血などに伴う問題を解決することができる。

【0064】

図６は、本実施形態２に係る自動注射装置の概略的なシステム構成を示すブロック図である。

【0065】

本実施形態２に係る自動注射装置１０は、上記実施形態１に係る位置推定装置１により算出された血管の３次元位置に基づいて、該血管に対し穿刺針を穿刺する。血管は、例えば、人の前腕肘窩部における、表在性の静脈血管などである。

【0066】

自動注射装置１０は、位置推定装置１と、穿刺針を移動させる移動部１１と、穿刺針にかかる力を検出する力検出部１２と、穿刺針が血管に到達したか否かを判定する判定部１３と、移動部１１を制御する制御部１４と、を備えている。

【0067】

位置推定装置１は、上述の如く、血管の３次元位置を算出し、該算出した血管の３次元位置を制御部１４に出力する。位置推定装置１は、例えば、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などのプロセッサ１ａと、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などの内部メモリ１ｂと、ＨＤＤ（Hard Disk Drive）やＳＤＤ（Solid State Drive）などのストレージデバイス１ｃと、ディスプレイなどの周辺機器を接続するための入出力Ｉ／Ｆ１ｄと、装置外部の機器と通信を行う通信Ｉ／Ｆ１ｅと、を備えた通常のコンピュータのハードウェア構成を有する。
なお、位置推定装置１、判定部１３、及び制御部１４は、一体的に構成されていてもよい。

【0068】

移動部１１は、移動手段の一具体例である。移動部１１は、例えば、図７に示す如く、穿刺針を任意の位置に移動させることができるマニピュレータとして構成されている。移動部１１は、アーム部１１１と、アーム部１１１の先端に連結されたスライド機構１１２と、スライド機構１１２を駆動する直動アクチュエータ１１３と、を有している。アーム部１１１は、複数の関節部１１４及びリンク１１５で構成された多関節型アームである。各関節部１１４には、各関節部１１４を回転駆動するサーボモータ、各関節部１１４の回転情報を検出する回転センサなどが設けられている。

【0069】

スライド機構１１２には、穿刺針を有するシリンジ１１６が連結されている。直動アクチュエータ１１３は、スライド機構１１２を駆動することで、直線的に、シリンジ１１６の穿刺針を血管に接近させ、あるいは離間されることができる。

【0070】

力検出部１２は、力検出手段の一具体例である。力検出部１２は、例えば、６軸力覚センサなどで構成されている。力検出部１２は、例えば、スライド機構１１２に設けられている。力検出部１２は、スライド機構１１２がシリンジ１１６を血管に接近させ穿刺針を血管に穿刺したときの、穿刺針にかかる力を検出することができる。

【0071】

判定部１３は、判定手段の一具体例である。判定部１３は、力検出部１２により検出された穿刺針の力に基づいて、穿刺針が血管に到達（貫通）したか否かを判定する。判定部１３は、例えば、力検出部１２により検出された穿刺針の力が２つ目のピークに達したときに、穿刺針が血管に到達したと判定する。これは、１つ目のピークは、穿刺針が皮膚を貫通したことを示し、２つ目のピークは、穿刺針が血管壁を貫通したこと示すからである。このように、簡易かつ正確に穿刺針の血管への到達を判定できる。

【0072】

制御部１４は、制御手段の一具体例である。制御部１４は、アーム部１１１及び直動アクチュエータ１１３に対して、制御信号を送信することで、例えば、フィードバック制御やロバスト制御を行う。これにより、制御部１４は、血管に対しシリンジ１１６の穿刺針を接近させ、あるいは離間させるなど、シリンジ１１６の穿刺針を任意の位置に移動させることができる。

【0073】

制御部１４は、位置推定装置１から出力される血管の３次元位置に基づいて、アーム部１１１及び直動アクチュエータ１１３を制御して、シリンジ１１６の穿刺針を血管に対して穿刺する。

【0074】

例えば、制御部１４は、位置推定装置１から出力される血管の３次元位置に基づいて、アーム部１１１を制御して、シリンジ１１６を血管から所定距離まで接近させる。続いて、制御部１４は、直動アクチュエータ１１３を制御して、シリンジ１１６の穿刺針を直線移動させ、血管に穿刺する。

【0075】

このとき、制御部１４は、位置推定装置１から出力される血管の３次元位置に基づいて、例えば、血管を示す交線上において予め設定された位置を目標位置として、穿刺針を移動させる。例えば、上記交線の中心位置、所定比率の位置、ユーザによって指示された位置、などが予めメモリに設定されている。

【0076】

制御部１４は、判定部１３による判定結果に基づいて、移動部１１の直動アクチュエータ１１３を制御する。制御部１４は、例えば、判定部１３により穿刺針が血管に到達したとの判定結果に基づいて、直動アクチュエータ１１３を制御して、シリンジ１１６の穿刺針の直線移動を停止させる。そして、制御部１４は、シリンジ１１６の穿刺針から採血や輸血を行うための制御を行う。なお、採血や輸血を行うための機構及び制御は、周知であり、例えば、特開２０１４－２３９８３１号公報などに詳細に記載されているため、これを援用できるものとする。

【0077】

制御部１４は、採血が終了したと判断すると、直動アクチュエータ１１３を制御して、自動的に、シリンジ１１６の穿刺針を血管から抜針してもよい。これにより、採血や輸血を自動化し医療従事者の負荷を大幅に軽減することができる。

【0078】

ところで、シリンジ１１６の穿刺針を血管に穿刺する際に、穿刺針に異常な力が作用していないかリアルタイムで監視し、異常な力が作用している場合、直ちに、穿刺針を血管から抜針するのが、安全上好ましい。

【0079】

これに対し、本実施形態２に係る自動注射装置１０は、穿刺針にかかる力が閾値以上になると、穿刺針を血管から抜針する。すなわち、穿刺針にかかる力が閾値以上となるような穿刺針に異常な力が作用している場合に、直ちに、穿刺針を血管から抜針する。

【0080】

例えば、制御部１４は、力検出部１２により検出された穿刺針の力が閾値以上になったと判断すると、穿刺針を血管から抜針するように移動部１１の直動アクチュエータ１１３を制御する。これにより、穿刺針を血管に穿刺する際に、異常な力が作用した場合でも、直ちに穿刺針を血管から抜針し、その安全上を向上させることができる。

【0081】

なお、本実施形態２において、自動注射装置１０は、位置推定装置１により算出された血管の３次元位置に基づいて、血管に対し穿刺針を穿刺し、採血などを行う構成であるが、これに限定されない。本実施形態２において、自動注射装置１０は、位置推定装置１により算出された血管（足や手の付け根の動脈など）の３次元位置に基づいて、該血管に対し穿刺を行い、該血管内にカテーテルを挿入する構成であってもよい。

【0082】

さらに、位置推定装置１は、皮膚下の神経の３次元位置を算出し、自動注射装置１０は、位置推定装置１により算出された神経の３次元位置に基づいて、腰椎麻酔などの麻酔注射や神経ブロック注射などを行っても良い。

【0083】

本実施形態２において、位置推定装置１は、血管像全体の位置推定を行うのではなく、血管像全体のうち、穿刺を行う部分を含む小さな所定領域のみの位置推定を行ってもよい。これにより、上記計算量を低減でき、位置推定の時間を短縮できる。

【0084】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他のさまざまな形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【0085】

本発明は、例えば、図３に示す処理を、ＣＰＵにコンピュータプログラムを実行させることにより実現することも可能である。

【0086】

プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。

【0087】

プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

【符号の説明】

【0088】

１ 位置推定装置
２ 第１カメラ
３ 第２カメラ
４ 近似式算出部
５ 位置算出部
１０ 自動注射装置
１１ 移動部
１２ 力検出部
１３ 判定部
１４ 制御部
１１１ アーム部
１１２ スライド機構
１１３ 直動アクチュエータ
１１４ 関節部
１１５ リンク
１１６ シリンジ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】