IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ヴェリノジェン・リミテッドの特許一覧

<>
  • 特表-表面プロファイラ 図1
  • 特表-表面プロファイラ 図2
  • 特表-表面プロファイラ 図3-1
  • 特表-表面プロファイラ 図3-2
  • 特表-表面プロファイラ 図4
  • 特表-表面プロファイラ 図5
  • 特表-表面プロファイラ 図6
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2025-01-16
(54)【発明の名称】表面プロファイラ
(51)【国際特許分類】
   G01B 11/24 20060101AFI20250108BHJP
   G01N 21/17 20060101ALI20250108BHJP
   A61B 10/00 20060101ALI20250108BHJP
   A61B 5/107 20060101ALI20250108BHJP
   G01B 5/20 20060101ALI20250108BHJP
【FI】
G01B11/24 A
G01N21/17 A
A61B10/00 T
A61B5/107 100
G01B5/20 C
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024521751
(86)(22)【出願日】2022-09-28
(85)【翻訳文提出日】2024-06-05
(86)【国際出願番号】 EP2022077012
(87)【国際公開番号】W WO2023057283
(87)【国際公開日】2023-04-13
(31)【優先権主張番号】2114406.8
(32)【優先日】2021-10-08
(33)【優先権主張国・地域又は機関】GB
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.PHOTOSHOP
(71)【出願人】
【識別番号】524132575
【氏名又は名称】ヴェリノジェン・リミテッド
(74)【代理人】
【識別番号】100108453
【弁理士】
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100133400
【弁理士】
【氏名又は名称】阿部 達彦
(72)【発明者】
【氏名】ティモシー・アイザック・ジョンソン
(72)【発明者】
【氏名】アラン・グリーン
(72)【発明者】
【氏名】マイケル・アーヴィン
(72)【発明者】
【氏名】アンドリュー・ヘイゼル
【テーマコード(参考)】
2F062
2F065
2G059
4C038
【Fターム(参考)】
2F062AA41
2F062AA51
2F062AA90
2F062EE01
2F062FF02
2F062FF28
2F062GG15
2F062HH15
2F062NN01
2F065AA06
2F065AA21
2F065AA24
2F065AA51
2F065AA53
2F065AA59
2F065CC16
2F065DD03
2F065FF04
2F065FF63
2F065FF69
2F065GG07
2F065LL04
2F065LL28
2F065LL59
2G059AA05
2G059BB12
2G059CC16
2G059EE07
2G059FF01
2G059GG02
2G059HH02
2G059JJ11
2G059KK04
4C038VA04
4C038VB23
4C038VC05
(57)【要約】
物体のプロファイルを測定するための撮像装置を説明する。この装置は複数の可動部品を含み、各可動部品は、物体に接触する第1の端部と、蛍光または燐光材料を含む第2の端部と、を有する。この装置は、可動部品を保持する筐体をさらに含み、可動部品が筐体内で互いに平行に移動して、接触している物体のプロファイルにしたがって可動部品のそれぞれの位置を変えることができるようになっている。この装置は、材料からの発光を刺激する光源と、発光に基づいて可動部品の第2の端部の画像を得るように構成されたカメラと、をさらに含む。
【特許請求の範囲】
【請求項1】
物体のプロファイルを測定するための撮像装置であって、
複数の可動部品であって、各可動部品が、物体に接触する第1の端部と、蛍光または燐光材料を含む第2の端部と、を有する、複数の可動部品と、
前記可動部品を保持する筐体であって、前記可動部品が前記筐体内で互いに平行に移動して、前記接触している物体のプロファイルにしたがって前記可動部品のそれぞれの位置を変えることができるようになっている、筐体と、
前記材料からの発光を刺激する光源と、
前記発光に基づいて前記可動部品の前記第2の端部の画像を得るように構成されたカメラと、
を含む、撮像装置。
【請求項2】
前記可動部品と前記カメラとの間にテレセントリック系を含む、請求項1に記載の撮像装置。
【請求項3】
前記撮像装置が、前記テレセントリック系と前記可動部品との間に窓を含み、前記窓は、前記光源および前記材料によって発せられる光の波長に対して透明である、請求項2に記載の撮像装置。
【請求項4】
前記撮像装置が、前記可動部品の位置をリセットするための機構を有し、前記機構は好ましくは、ばね、および前記窓に取り付けられたスイッチを含み、前記スイッチは、作動させると、前記ばねに前記位置をリセットさせるものである、請求項1から3のいずれか一項に記載の撮像装置。
【請求項5】
前記可動部品はピンのような柱を含み、前記可動部品は好ましくは、金属、プラスチックまたは蛍光/燐光材料で形成されている、請求項1から4のいずれか一項に記載の撮像装置。
【請求項6】
前記筐体は、前記可動部品が前記筐体の軸に沿って長手方向に自由に移動することができるように、それぞれの前記可動部品に対応する穴のアレイを含む、請求項1から5のいずれか一項に記載の撮像装置。
【請求項7】
前記筐体は、前記可動部品の前記筐体の外への移動を制限する停止部を含む、請求項1から6のいずれか一項に記載の撮像装置。
【請求項8】
前記蛍光または燐光材料は、好ましくは噴霧または塗装された、均質な層またはコーティングを含む、請求項1から7のいずれか一項に記載の撮像装置。
【請求項9】
前記物体に接触する前記可動部品の前記第1の端部は、回転可能要素、好ましくはボールベアリングを含む、請求項1から8のいずれか一項に記載の撮像装置。
【請求項10】
前記物体に接触する前記可動部品の前記第1の端部は、測定されるべき前記物体の特性、好ましくは印加された圧力または温度を決定するように動作可能なセンサを含む、請求項1から9のいずれか一項に記載の撮像装置。
【請求項11】
前記撮像装置が、それぞれの前記可動部品および前記筐体に取り付けられた少なくとも1つのばねを含み、前記ばねは、前記可動部品をそのそれぞれの位置へと押すために生成された力を決定することを可能にするものである、請求項1から10のいずれか一項に記載の撮像装置。
【請求項12】
前記撮像装置が、前記可動部品と前記物体との間にバリアを提供するように構成されたキャップを含み、好ましくは、前記キャップは使い捨てである、請求項1から11のいずれか一項に記載の撮像装置。
【請求項13】
前記カメラはモノクロカメラである、請求項1から12のいずれか一項に記載の撮像装置。
【請求項14】
請求項1から13のいずれか一項に記載の撮像装置を含む撮像システムであって、可動部品ごとに、前記画像に基づいてぼけの度合いを決定し、前記決定に基づいて前記可動部品の距離または高さを決定するように構成されている、撮像システム。
【請求項15】
請求項1から14のうちの少なくとも請求項10に記載の撮像装置の使用であって、前記センサは、好ましくは人間の表面温度を測定して関節の炎症区域を特定するように動作可能な温度センサである、撮像装置の使用。
【請求項16】
検査中の組織の引張特性にアクセスするための前記組織上での請求項1から15のうちの少なくとも請求項11に記載の撮像装置の使用。
【請求項17】
物体と接触している可動部品の画像に基づいて前記物体のプロファイルをモデル化する方法であって、
(a)カメラを使用して、前記可動部品の照明された端部の画像を得るステップと、
(b)各前記可動部品について、ぼけの度合いを決定するステップと、
(c)各前記可動部品について、前記決定されたぼけの度合いに基づいて前記可動部品の高さまたは距離を決定するステップと、
を含む、方法。
【請求項18】
所定のプロファイルを有する前記物体を使用する較正手順であって、少なくとも前記ステップ(a)および(b)を含み、決定されたぼけの各度合いおよび前記所定のプロファイルに基づいてぼけの度合いと少なくとも1つの可動部品の距離または高さとの間の関係を生成する、較正手順を実行するステップと、
未知のプロファイルを有する物体を使用して前記方法を実行するステップであって、前記ステップ(c)は前記生成された関係に基づいて実行される、ステップと、
を含む、請求項17に記載の方法。
【請求項19】
皮下腫瘍の3D画像またはモデルを得るための請求項1から18のいずれか一項に記載の撮像装置の使用または方法。
【請求項20】
生体から切除された組織/腫瘍の3D画像またはモデルを得るための請求項1から19のいずれか一項に記載の撮像装置の使用または方法。
【請求項21】
好ましくは人間の皮下のしこりであって、たとえば嚢胞であり、かつ/または人間の首にある、しこりの3D画像またはモデルを得るための請求項1から20のいずれか一項に記載の撮像装置の使用または方法。
【請求項22】
3D QRコードまたは点字を含む物体を識別および処理するための請求項1から21のいずれか一項に記載の撮像装置の使用または方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は概して、物体の画像プロファイルを測定するための、特に、排他的ではないが、皮下腫瘍を測定するための撮像装置に関する。
【背景技術】
【0002】
前臨床科学者および技術者は、腫瘍体積測定に手持ち式キャリパを使用することに慣れて快適に感じている(その現時点での不正確さにもかかわらず)。撮像に基づく他のツールは一般に、たとえば対象動物を機器に連れて行くか、または移動する対象の画像を撮影するかのいずれかでワークフローの変更が要求される。両アプローチとも現時点では高価である。
【0003】
キャリパの使用は一般に、たとえば短軸および長軸に沿って2つの距離測定を行い、次いで3D体積を推定することを伴う。通常、短軸は高さに相当すること、そして腫瘍は正球体であることが想定されるため、そのための適切な方程式を適用することができる。しかしながら、腫瘍は正球体でなく、しこりおよびでこぼこがよくあり、平らなことも高いこともある。この結果、測定値が不正確になり、ばらつきが生じる。2人の異なる人が同じ腫瘍を測定するとき、たとえば加える圧力の量が異なるため、ばらつきが特に大きくなる。したがって、キャリパ測定は精度が低く、ばらつきが大きく、ユーザのトレーニングの必要性があり得る。このばらつきは科学的結果の信頼性の低下につながることがあり、統計的に有意な結果に達するために所与の調査研究においてより多くの動物(たとえばマウス)が必要になることも意味することがある。
【0004】
より詳細には、がんの前臨床研究の分野において、キャリパのようなツール(手動でもデジタルでも)を使用する複数の長さ測定を通して体積を推定することは、アクセシビリティの問題のため3次元のうちの2つに制限されることが多く、この第3の次元は、測定された最短の軸に等しいと想定される。異なるオペレータによって組織に加えられる圧力の変化と相まって、これは、前臨床腫瘍学研究において、特に異なるユーザ間で、体積推定値の大きなばらつきにつながる。3D表面の光学的再構成が試みられる場合、環境光、表面特性、髪/毛、ならびに測定中に対象が静止しないことのような、多くの外部要因が測定表面の光学的再構成に影響する可能性がある。
【0005】
表面プロファイルを測定するためにピンのアレイを備えたツールを使用することが考えられ、各ピンは物理的にマイクロプロセッサに接続されて、z次元での相対的な変化を決定する。しかしながら、これによりピン密度が物理的に制限される可能性があり、大きな経済的コストがかかることがある。このようなツールは、ユーザが下向きに圧力を提供するだけでなく、ピンを所定の位置にロックすることにも依存することがある。
【0006】
この点において、アレイ内で自由に移動するピンは一般に伸長時に横方向の変位を受けるため、一般にプロファイルされるべき表面に側面からまたは底面から接触する必要があることが留意される。しかしながら、実験用マウスの皮下腫瘍には上からの方が接触しやすい。加えて、対象が小さな生体であるため、測定中、一定レベルの圧力しか安全に加えることができない。
【0007】
本発明の理解に使用するため、
- 3次元プロファイルゲージに関する特許文献1(Crewら)
- 3次元形状、特に足底アーチをプロットすること、および整形外科用の靴または靴底を製造するためのシステムを動作させる方法に関する特許文献2(Rebiereら)
-胸のような組織構造の測定および評価に関する特許文献3(Bengtsonら)
- 3次元物体を特徴付けるデータを得ることに関する特許文献4(Larkinsら)
- 非特許文献1
の開示を参照する。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】国際公開第9423605号
【特許文献2】米国特許第6160264号明細書
【特許文献3】米国特許出願公開第20090112130号明細書
【特許文献4】国際公開第2018/109453号
【非特許文献】
【0009】
【非特許文献1】A pin-array method for capturing tissue deformation under defined pressure distributions and its application to prosthetic socket design、Prince、 Kenney & Howard. Medical Engineering and Physics、84 (2020) 136-143頁
【発明の概要】
【発明が解決しようとする課題】
【0010】
したがって、表面プロファイラの分野において、プロファイルされた表面特徴(たとえばマウスの、たとえば皮下腫瘍)の体積推定の速度、一貫性、快適さ、コスト、利便性、精度、解像度および/または信頼性、表面特徴のプロファイルのより大きな部分の捕捉、測定を実行するためのユーザトレーニングの必要性の低減、統計的に異なる研究結果を達成するための対象(たとえばマウスおよび/または腫瘍)の数の低減などを改善する必要性が残っている。
【課題を解決するための手段】
【0011】
本発明の第1の態様によれば、物体のプロファイルを測定するための撮像装置が提供される。この装置は複数の可動部品を含み、各可動部品は、物体に接触する第1の端部と、蛍光または燐光材料を含む第2の端部と、を有する。この装置はまた、可動部品を保持する筐体を含み、可動部品が筐体内で互いに平行に移動して、接触している物体のプロファイルにしたがって可動部品のそれぞれの位置を変えることができるようになっている。この装置は、材料からの発光を刺激する光源と、発光に基づいて可動部品の第2の端部の画像を得るように構成されたカメラと、をさらに含む。
【0012】
この装置により、対象をしっかりと拘束または麻酔しなければならない従来の超音波スキャナまたはマイクロCT(マイクロコンピュータ断層撮影)スキャナを使用する代わりに、マウスの皮下腫瘍の撮像を容易にすることができる。従来の技術は時間がかかって高価である。
【0013】
可動部品は、柱、たとえばピンとすることができる。いずれにせよ、これらの部品は好ましくは互いに平行に摺動する。
【0014】
好ましい一実施形態において、この装置は、テレセントリック系を作成するために可動部品とカメラとの間に対物レンズをさらに含む。(実施形態において、このような対物レンズは、適切な距離で配置されると、カメラの対物レンズとテレセントリック系を形成することができる)。テレセントリック系は一般に正射投影を提供し、すべての距離で同じ倍率を提供するため、実施形態において、可動部品、たとえばピンのような柱の画像から、高さ依存の変化を除去することができる。これは、物理的に互いに妨害している隣接するたとえばピンに導入され得るクロストークが減少するため、性能の向上につながる。
【0015】
いくつかの実装形態において、この装置はテレセントリック系と可動部品との間に窓をさらに含み、窓は、光源および材料によって発せられる光の波長に対して透明である。このような窓は、可動部品のためのリセット機構、たとえばピンリセット機構とともに使用するのに有利であり得る。
【0016】
いくつかの実装形態において、この装置は、可動部品の位置をリセットするための機構をさらに含み、この機構は好ましくは、ばね、および窓に取り付けられたスイッチを含む。スイッチは、作動させると、ばねに可動部品の位置をベースラインにリセットさせることができる。他のピン(または他のタイプの可動部品)のリセット機構は、筐体内へ圧縮空気を吹き込んで/送り込んでピンの位置をベースラインに設定すること、またはピンの端部に取り付けられた磁性材料を使用し、次いで磁場を印加してピンをベースラインに戻すことを含むが、これらに限定されない。
【0017】
いくつかの実装形態において、可動部品はピンのような柱を含み、これらの部品は好ましくは、金属、プラスチックまたは蛍光/燐光材料で形成されている。金属、プラスチックまたは蛍光/燐光材料自体の使用は、撮像装置を製造することのコストおよび/または容易さに基づき得る。これらの部品は好ましくは、測定されるべき対象にユーザがそれほど大きな圧力をかけないように十分に緩いが、筐体から落ちるほど緩くはない。部品、たとえばピンの横方向移動は好ましくは、互いに衝突することを防止するように回避することができる。
【0018】
いくつかの実装形態において、筐体は、部品が前記筐体の軸に沿って長手方向に自由に移動することができるように、それぞれの前記部品(たとえばピン)に対応する穴のアレイを含む。いくつかの実施形態において、部品に対する摩擦を低減するため、筐体は中実でなくてもよく、たとえば中空であってもよいことが留意される。これは、たとえば急な側面を持つ物体の上に置かれたとき、たとえばピンが曲がる、または横に傾く場合に有利であり得る。
【0019】
いくつかの実装形態において、筐体は、可動部品の筐体の外への移動を制限する停止部を含む。
【0020】
いくつかの実装形態において、蛍光または燐光材料は、好ましくは噴霧または塗装された、均質な層またはコーティングを含む。しかしながら、蛍光または燐光材料は、たとえば、同心円状のリングまたは十字を含むようにパターニングすることもできる。
【0021】
いくつかの実装形態において、物体に接触する可動部品の第1の端部は、回転可能要素、好ましくはボールベアリングを含む。この技術を使用することにより、装置と物体のより良好な表面接触が可能になる。
【0022】
いくつかの実装形態において、物体に接触する撮像装置の可動部品の第1の端部は、測定されるべき物体の特性、好ましくは印加された圧力または温度を決定するように動作可能なセンサを含む。一実施形態において、すべてのユーザが同等の力でプロファイラを対象動物に確実に係合するようにセンサ/機構を取り付け、これによってオペレータ間のばらつきを低減することが可能である。一実施形態において、サーミスタ、熱電対または測温抵抗体(RTD)が各可動部品に取り付けられ、これによりアレイ内の各点についての表面温度の測定が可能になり得る。この情報を使用して表面にわたる温度の変動を評価することができ、関節の炎症区域の特定が可能になる。
【0023】
いくつかの実装形態において、撮像装置は、それぞれの前記可動部品および筐体に取り付けられた少なくとも1つのばねをさらに含み、ばねは、部品をそのそれぞれの位置へと押すために生成された力を決定することを可能にするものである。このように撮像装置を使用することにより検査中の組織の引張特性にアクセスすることが可能になる。
【0024】
いくつかの実装形態において、撮像装置は、可動部品と物体との間にバリアを提供するように構成されたキャップをさらに含み、好ましくは、キャップは使い捨てである。
【0025】
いくつかの実装形態において、撮像装置はモノクロカメラを使用する。しかしながら、画像を改善することができる複数のチャネルを備えたカラーカメラを使用することが可能である。たとえば、一実施形態の蛍光または燐光材料(たとえば塗料)が緑色の範囲で発光すれば、画像から緑色のチャネルのみを抽出することにより、背景/ノイズ比を改善することができ、かつ/または特定の波長の光の焦点に影響し得る色収差を低減、たとえば防止することができる。
【0026】
本発明の第2の態様によれば、物体と接触している可動部品の画像に基づいて物体のプロファイルをモデル化する方法が提供され、この方法は、(a)カメラを使用して、可動部品の照明された端部の画像を得るステップと、(b)各前記可動部品について、ぼけの度合い(a measure of blur)を決定するステップと、(c)各前記可動部品について、決定されたぼけの度合いに基づいて可動部品の高さまたは距離を決定するステップと、を含む。
【0027】
好ましくは、この方法は、所定のプロファイルを有する前記物体を使用する較正手順であって、少なくともステップ(a)および(b)を含み、決定されたぼけの各度合いおよび所定のプロファイルに基づいてぼけの度合いと少なくとも1つの可動部品の距離または高さとの間の関係を生成する、較正手順を実行するステップと、未知のプロファイルを有する物体を使用して方法を実行するステップと、を含み、ステップ(c)は生成された関係に基づいて実行される。
【0028】
この撮像装置または方法を使用して、生体から切除された組織/腫瘍の3D画像またはモデルを得ることをさらに説明する。
【0029】
さらに、好ましくは人間の皮下のしこり、たとえば、しこりが嚢胞である、かつ/または人間の首にある場合の3D画像またはモデルを得る撮像装置または方法の使用を説明する。
【0030】
さらに、3D QRコード(登録商標)または点字を含む物体を識別および処理する撮像装置または方法の使用を説明する。
【0031】
さらに、センサが、好ましくは人間の表面温度を測定して関節の炎症区域を特定するように動作可能な温度センサである撮像装置および方法の使用を説明する。
【0032】
さらに、組織上で撮像装置を使用して、検査中の組織の引張特性にアクセスすることを説明する。
【0033】
しかしながら、上の態様の実施形態の使用は上の用途に限定されない。
【0034】
本発明はさらに、たとえば汎用コンピュータシステム上またはデジタル信号プロセッサ(DSP)上で、上述の態様のいずれかを実装するためのプロセッサ制御コードを提供する。コードは、ディスク、マイクロプロセッサ、CDまたはDVD-ROM、不揮発性メモリ(たとえばフラッシュ)または読み取り専用メモリ(ファームウェア)のようなプログラムされたメモリのようなキャリア上に提供することができる。本発明の実施形態を実装するためのコード(および/またはデータ)は、Cのような従来のプログラミング言語(インタプリタ型またはコンパイル型)におけるソース、物体もしくは実行可能コード、またはアセンブリコードを含むことができる。当業者には理解されるように、このようなコードおよび/またはデータは、互いに通信する複数の結合されたコンポーネント間で分散させることができる。
【0035】
本発明の関連する態様によれば、プロセッサ上で実行されると、プロセッサに上述の方法を実装させるプロセッサ制御コードを担持する非一時的データキャリアが提供される。
【0036】
本発明のよりよい理解のため、そしてこれをどのように実施することができるかを示すため、例として、添付の図面を次に参照する。
【図面の簡単な説明】
【0037】
図1】同等の可変ピン密度および可変測定値をテストするインシリコメカニズムの一例である。
図2】さまざまな規則的および不規則な形状を使用したインシリコ体積推定の例である。
図3-1】3次元空間内のピンの相対位置を決定するための光学プロセスを備えたピンベースの機械的プロファイラの一例の設計である。図3Bのはめ込み図は、0mmと12mmとの両方の画像についてズームインした燐光球を示しており、ぼやけをはっきりと観察することができる。
図3-2】3次元空間内のピンの相対位置を決定するための光学プロセスを備えたピンベースの機械的プロファイラの一例の設計である。図3Bのはめ込み図は、0mmと12mmとの両方の画像についてズームインした燐光球を示しており、ぼやけをはっきりと観察することができる。
図4】一例の特徴抽出アルゴリズムについての、合成腫瘍の画像についてのパイプラインにおける各段階での単一行のピクセルについての結果である。
図5】例の特徴抽出アルゴリズムについての、平らな較正表面の画像についてのパイプラインにおける各段階での単一行のピクセルについての結果である。
図6】定義された3D物体を使用した測定精度の一例の評価である。
【発明を実施するための形態】
【0038】
全般的に、物体の上に可動部品、たとえば柱のアレイを、物体のプロファイルが部品のプロファイルに捕捉されるように配置することを通して、表面の3次元モデルがどのように生成されるかを説明する。実施形態において、これらのたとえば柱または「ピン」の頂部の画像が撮影され、これを使用して、たとえば所定の位置に対して、各柱/ピンが移動した距離を推定する。これを次いで使用して、さまざまな高さ(たとえば所定の位置に対する)、またはアレイにわたるピンの端部からカメラまでの距離、およびしたがって3次元空間内の測定されている物体を再構成する。
【0039】
実施形態により、好ましくは(すなわち任意選択で)腫瘍表面の全体(または実質的に全体)のプロファイルを捕捉することによって、ピンのアレイを介して表面の物理的表現を測定および定量化することが可能になる。非テレセントリック系とは対照的に、カメラからの距離に関係なく物体が通常同じサイズのままであるテレセントリック系を通してピンアレイの上方から撮影されている画像に基づいてピンの高さまたは距離を推測することができる。一般に、ピンの端部の画像は高さに応じて変化しないが、焦点の相対的な損失は変化する。したがって、テレセントリック系の使用は、ピンがカメラに向かって移動するにつれて、ピンの端部が「ぼやけて」見えることを意味し得る。「ぼやけ」の度合いは、ベースラインまたは背景レベル(これは「信号なし」レベルとみなされ得る)から特徴強度レベル(これは、ピンの中心に対応して、「信号」レベルとみなされ得る)への画像強度の遷移の勾配を表し得る。したがって、ぼやけの決定のためのエッジ強調は、画像強度プロファイルの導関数、ラプラシアン(すなわち二次導関数)、またはエッジ強調に一般に使用される他のフィルタを採用して、各ピンのエッジがある場所へ、各ピンでどれくらい急峻に強度が減衰するか、およびその画像がどれくらいぼやけているかを決定する。ぼやけた画像は、焦点の合った鮮明な画像と比較して、より緩やかな遷移を有することになる。この点において、両方向、すなわち、ピンがカメラに近づいたときとカメラから離れたときの両方で、たとえば凸または凹面の変化に応じて、ぼやけが起こることが留意される。既知であるが可変の高さの一組の物体を使用することにより、観察された「ぼやけ」の程度に基づいて各ピンを較正することが可能になる。次いで、測定されるべき対象の上にアレイを配置し、画像を捕捉し、較正データを使用して高さ/距離を推測することができる。各ピンは物理アレイの一部であるため、各ピンのおおよその高さを次いで使用して物体の3次元表面を再構成することができる。
【0040】
(本願では全般的に「ぼやけ」という用語を使用することを特記する。しかしながら、これは、たとえば「ぼけの度合い」、「ぼけの程度」、または逆に「焦点」の「程度」または「度合い」に置き換えることができる)。
【0041】
一般に、このツールは、単一方向のピンの移動のためにのみ画像のぼやけが発生するように、ピンのベースライン位置を有するように構成されている。これは、少なくとも焦点距離(たとえば78mm)を含む光学系の幾何学的形状に基づいて達成することができる。ベースライン位置は、たとえば1mmの所望のオフセットに基づいて設定することができるため、一般に焦点の「間違った」側に向かって移動することはできない。ベース位置はたとえば最も鮮明な画像の位置から約1mm離れ得るため、ピンがカメラに近づくにつれて画像が徐々にぼやけて変化することになり、機械的にピンはさらに遠くに行くことができない。画像捕捉前の較正ステップは、表面に対する1つまたは複数の測定値の各セットについての基準、たとえば、100枚の画像のセットに使用される単一の較正画像を提供することができる。較正曲線を各ピンに提供することができ、各ピンはわずかに異なる曲線を有することができる。したがって、較正ステップは各ピンについての較正曲線を生成することができる。
【0042】
実施形態はたとえば1mmの増分に基づいて較正することができる。これは装置の高さ/距離測定の解像度に対応し得る。
【0043】
テレセントリック系の使用は、1つのピンが別のピンの撮像を妨げないことを意味し得るということがさらに留意される。非テレセントリック系では、1つのピンが高く、したがってより大きな画像を有すれば、隣接するピンの撮像が物理的に妨げられる可能性がある。テレセントリック系では、実際の物体は距離に基づいて大きくも小さくも見えないが、多かれ少なかれ焦点から外れる。したがってアルゴリズムで、各ピン位置は相対的に固定されるが、完全に平らな表面(0mm)および既知の高さ(12mm)の平らな物体の上に装置を置いた後、図3Bの例のようにぼやけが見られ、レンズに近づくと、画像はより焦点が合っている状態からよりぼやけた状態に変化する。
【0044】
インシリコテストでは、ピンの好ましい密度を特定し、たとえば、異なるユーザをシミュレートして、物体の中心がピンアレイに対して変更されても、このアプローチが再現可能であり得ること、およびこのアプローチが光干渉を回避することができるということも確認した。実施形態により皮下腫瘍の迅速かつ/または信頼できる体積推定が可能になり得る。
【0045】
テレセントリック系の使用に加えて、またはこれに代えて、他の実施形態では、形状、サイズおよび/または強度のようなピンアレイ画像の他の特徴を使用することができる。
【0046】
画像の捕捉を支援するため、照明および/または他のエネルギー源、検出、光路および/または位置決めに関して、多くの方策を採用することができる。本発明者らは、ピンの端部に取り付けられた粒子(たとえば直径1mmのたとえば球体またはビーズ、より好ましくは平坦粒子)を覆う燐光および/または蛍光分子の特性を利用することによって、良好な結果を達成した。(粒子の任意選択の使用により、好ましくは平らなピン端部に塗料を直接塗布することと比較して、燐光/蛍光塗料のコーティングの一貫性を強化することができる。あるいは、しかしながら、塗料が要求されないように、ピンを燐光または蛍光材料で形成することができる)。光源による分子の活性化に続く画像の後続の捕捉は、他の照明/検出方法で見られた内部反射による光学収差のない低背景画像につながった。(光源でピンの端部を照らし、ピンからの反射光を測定する代わりに、燐光または蛍光を使用することにより、一般に、画像に影響する、ツールの内部特徴から、たとえばレンズからの反射が減少する)。分子は、接着剤と混合して(たとえばブラシによって)塗装することによって、または分子を有するエアロゾルタイプの塗料を噴霧することによって、ピンの端部に塗布することができる。分子は、塗装の前または後にピンの端部に取り付けられる(たとえば接着される)、球のような要素に適用することができる。
【0047】
この点において、一実施形態によって得られる画像およびしたがって測定値は、燐光材料の装填(たとえば濃度および/または表面積)およびその分子を励起するために使用する光の強度に依存し得ることが留意される。材料の複数のコーティングを適用して、濃度およびしたがってピンの端部からの発光を増加させることができる。
【0048】
実施形態において、容器が好ましくは、大きな横方向移動なく、かつ/または装置自体内のばね仕掛けのプラットフォームを使用してピンを物理的に押し戻すような戻り機構を使用してベースラインに戻ることが困難になることなく、ピンを所定の位置に保持するのに十分な抵抗を提供する。これは、プロファイルされるべき表面、たとえば実験用マウスの皮下腫瘍に、上からおよび/またはより低い圧力を表面に加えて接触することに関して望まれ得る。
【0049】
この点において、ピンが軸から外れることおよび他のピンと干渉することを回避するため、その移動は可能な限り直線であることが望ましい。好ましくは、測定されるべき表面、すなわち物体が潰れないように、ピンの移動に対する抵抗が小さい。しかしながら、ピンは好ましくは、過度の移動が生じてブロックから脱落するほど緩くはない。適切な摩擦係数を備えたピン材料を選択することができる。ホーム位置では次の測定が行われる前にピンは可能な限り突き出ている。好ましい一実施形態では、ピンが容易に落ちる、たとえば打撃補助で(たとえばツールを軽くたたけば)、ピンがすべてそのホーム位置に落ちるような摺動ピン配置を許容する公差を有する。好ましくは、各ピンの重量に抵抗するのに十分な摩擦がある。しかしながら、時間が経っても破片がある可能性、および磨耗がある可能性がある。加えて、装置が水平を超えて回転する場合の可能性を考慮して、ピンがカメラに向かって滑り戻ることを防止する機構を設けることができる。この点において、図3は平坦要素12を示しており、この機構はばね13によってばね懸架されている。ユーザがボタン14を押すと、内部アセンブリの少なくとも一部を前方に押してピンをそのホーム位置に戻すことができる。平坦要素12は好ましくは透明であり、たとえばガラス窓である。ピンをその元の位置に押し戻すために設けられている、このような透明要素はそれにもかかわらず実施形態において、燐光の撮像を可能にする、すなわち、測定を光学的に妨げることなくピンをその元の位置に押し戻すことを可能にするのに役立ち得る。
【0050】
有利には、たとえば実施形態において自由に動くピンの端部がカメラを使用して撮像されるため、ピンの高さの変化を測定するために各ピンへの直接の電気的または他の接続が必要とされることがない。これを、既知の引張特性を持つピン上の表面温度および/またはばね(または下層組織の他の生化学的/生理学的特性を測定するピンにおける他のセンサ)を含むような追加のメトリクスの任意選択の測定と組み合わせることにより、推測される3Dプロファイルに加えて情報を提供することができる。
【0051】
ピンの外端部は、プロファイルされるべき表面との良好な接触を可能にするような形状にすることができる。端部は平らであっても丸くてもよい。ボールベアリングのような回転可能要素を端部のそれぞれに設けることができ、ツールが表面の上を移動するとき、たとえば皮膚に引っかかる可能性なく、滑ることができるようになっている。これにより、ツールが大きな表面を継続的にカバーすること、および/または表面の輪郭をより良好に捕捉することが可能になり得る。このような実施形態をジャイロスコープおよび/または位置監視システムと結合して、表面画像の捕捉中に装置の配向および/または位置を決定することを可能にすることができる。このような情報により大きな表面の再構成を可能にすることができる。
【0052】
好ましい一実施形態において、前臨床科学者/技術者が対象動物とプロファイラの配向を安定かつ安全な構成に維持することが可能になるよう、測定値の取得は非手動手段(たとえばフットスイッチまたは音声)によって開始される。
【0053】
好ましい一実施形態において、このシステムは、一連の画像が迅速に(好ましくは可能な限りリアルタイムに近く)捕捉される「ライブモード」を統合して下層組織の上へのプロファイラの配置の改善を可能にしている。
【0054】
図3Aは、柱または「ピン」(1)のアレイを有する一実施形態を示す。この点において、本発明者らは、一定の区域にわたって最小数の接触点が良好な測定精度のために好ましく、製造がより容易であることを見いだした。実施形態において、これはたとえば2cm四方の区域にわたって約50本~100本のピンであり得る。
【0055】
次は概して機械設計および全体的なプロセス設計に関する。以下に説明する「インシリコ」データから、本発明者らは、およそ90本~100本のピンのアレイであれば3次元物体の正確な再構成が可能になると結論付けた。これらの仕様に基づいて構築されたシステムを以下に説明する。
【0056】
図3Aは、たとえば直径1.5mmの柱または「ピン」(1)のアレイを含む一実施形態を記載しており、これら柱または「ピン」は適切には金属またはプラスチックで作製されている(ポリマーが、たとえば形状、形態および/またはコストに関して利点を提供することができる)。ピンは、上下に移動するのに十分な自由があるように、対応する穴のアレイを含むブロック(2)を通して配置されている。ピンの形状および/または固定ストッパの追加により両側からの抜け落ちを阻止または防止する。現在の実施形態において、緑色(たとえば約550nm)で発光する燐光材料(たとえばおよそ25ミクロン~30ミクロンの厚さ)を3層噴霧塗装したプラスチック球(3)が、ピンのそれぞれのカメラ側端部に固定されている。現在の実施形態においてこれは球にわたる燐光材料の均一な分布を含むが、他の形状にわたっていてもさまざまなパターン(たとえば十字または同心円)にあってもよい。燐光材料は光源にさらされた後に緑色光を発し、画像取得のタイミングを適切に遅らせることができるようになっており、アセンブリの望ましくない側面の内部照明/反射を排除することができるようになっている。
【0057】
ブロック(2)は外部ハウジングチューブ(4)に取り付けられ、ピンアレイの一端が測定されるべき表面に接触することができ、他端がハウジングによって囲まれるようになっている。シュラウド(5)がピンアレイを覆ってピンアセンブリを保護しており、要求されれば、異なる長さのピンアレイを露出するように異なる長さとなるように設計することができる。可撓性膜(7)を含む追加のキャップ(6)が装置の端部に押し付けられるかロックされ、物体と装置との間に保護バリアならびにピンアレイと相互作用するためにより適切な表面を提示している。ハウジングの端部には、従来の8mmレンズを備えたカメラ(8)と、その最も低い位置にあるときにピンアレイから特定の距離にある関連するマイクロエレクトロニクスを備えた青色(445nm波長)LED光源(9)と、が含まれている。現在の実施形態において、カメラ(8)はCMOSモノクロの5メガピクセルのカメラである。しかしながら、将来の実施形態においてカラーおよび/または高解像度カメラを使用すれば、たとえば、特に、それぞれ、緑チャネルを使用して、そしてぼやけをより確実に検出して、画像分析の改善を可能にすることができる。ケーブル(10)がカメラをコンピュータシステム(図示せず)に接続する。測定を実行するとき、光源(たとえばLED)をオンおよびオフにして撮像の直前に分子を励起させる。
【0058】
キャップ(実施形態において使い捨て)は、外部の、取り外し可能な(たとえばクリップオン/オフ)部品とすることができる。これは、好ましくは取り付けられて測定後に取り外される、表面にわたる膜を提供することができる。これにより表面とピンとの間のバリアとして可撓性膜材料を提供することができる。キャップは、機構内への毛およびほこりの侵入を減らすこと、対象と装置との間に無菌の保護バリアを提供して病原体の移動(たとえばマウス間の)を減らすこと、および/またはピンの表面の粘着性の動きの影響を減らすことのような複数の目的に役立ち得る。したがって、キャップが取り付けられているとき、ピンは動きが改善され得る。
【0059】
カメラとピンアレイとの間には対物レンズ(11)があり、対物レンズ(11)は、対物レンズ(11)の焦点距離だけ離間させた、カメラレンズ(8)と組み合わせられ、これによってテレセントリック系を形成しており、カメラに近づくまたはカメラから遠ざかるように移動すると物体が大きくまたは小さく見える従来のレンズではなく、軸方向にカメラ(8)に向かう/カメラ(8)から遠ざかるように移動すると物体の捕捉画像を鮮明にまたはぼやけて見せる。非テレセントリック系を使用すると、ピンがその最も高い位置にあるときに隣接するピンを妨害する可能性があるが、テレセントリックレンズは一般にこの問題を回避することができる。現在の実施形態において、対物レンズ(11)は、直径35mm、焦点距離53mmのプラスチック非球面レンズである。別の一実施形態では、ピンの端部が撮像され、カメラからの距離に相対的である、各ピン端部の相対的なサイズによってピンの高さが推測され得るように、対物レンズおよび/または燐光塗料を省略する。レンズとピンとの間には、大きなばね(13)を介してハウジングの端部にあるボタンまたはレバー(14)に接続された透明なディスク(12)があり、ボタンまたはレバー(14)は、ボタンまたはレバーが押し下げられるとピンを最も低い位置に押し戻す。
【0060】
ピンをカメラに向かって近づけるように移動させるときの「ぼやけ」の変化を示すため、たとえば完全に平らな表面(0mm)および既知の高さ(12mm)の平らな物体の上に装置を配置することができ、ピンの高さおよびしたがって「ぼやけ」の個別変化につながる(図3B、上の2つのパネル)。装置を一連の較正物体の上に増分高さ(たとえば1mmステップ)で配置し、「ぼやけ」についての数値を得ると、これを数値特徴と距離との間の各ピンについての相関関係を示す折れ線グラフとして表示することができる。各ピンについて距離を個別に計算すると、その既知のxおよびy座標ならびにその補間されたz座標を使用してアレイ全体を再構成することができる(図3B、下の2つのパネル)。提案される好ましいシーケンスを図3Cに示しており、これは、一連の較正ピースの上に装置を配置してぼやけおよび距離に関して各ピンについて標準曲線を生成する較正ステップと、測定されるべき物体の上に装置を配置する後続の取得ステップと、を含む。
【0061】
しかしながら、実施形態の設計はたとえば次の1つまたは複数に関して変更することができる。
- ピン(たとえばピンの数、配置、形状および/または材料)。
- ピンの高さを測定するための方法:たとえば標準的撮像(物体のサイズ=カメラまでの距離)、任意の次元(x、y、z)における複数の点で撮影された複数の画像、物理的または投影された画像の歪み。
- アセンブリ:たとえば1つの固まりのユニット内に、またはピンが所定の位置にロックされ、押し出しまたはカバーされたピンを有する別個のユニットとして含まれる。
- 光学系:たとえばミラーまたはフィルタを含む、追加の光/エネルギー源、追加の検出器を含む。および/または
- 処理:たとえば「ぼやけ」の代わりに異なるピンの特徴またはその変形を使用する、特定のチャネルを使用する、クロッピングする、または処理前に画像を変更する、機械学習/AIを使用して特徴を識別する。
【0062】
カメラ出力画像の処理に関して、好ましい方法は、「ぼやけ」測定値をパラメータとして使用して高さまたは距離の推定を行うことを伴う。一実施形態では、たとえば既知の「ぼやけ」値および既知の高さ/距離の範囲を含む較正メトリクスを最初に作成することができる。これらを使用して、ピンの後端部の画像に基づいて各ピンが実空間においてどこに配置されているかを決定することができる。この決定により、ピンの中心が物理アレイ内のどこにあるかを正確に決定することができる。これから高さ/距離(z)ならびにxy位置が計算され、次いで補間からたとえば腫瘍の再構成された3D体積または3D画像を最終的なメトリックとして計算することができる。補間では実際に、xy値およびぼやけの計算に基づく3Dグラフを使用することができ、このグラフは、体積を計算することが可能になるように空間における点を相互接続するように適合された線を含む。
【0063】
ぼやけベースの方法は、燐光/蛍光分子が使用されるかどうかに関係なく使用することができ、たとえばピンの端部による光源からの光の反射率が使用される場合に適用することができる。しかしながら、テレセントリック系は好ましくは存在する。しかしながら分子は、ノイズを低減するために有利である可能性があり、実施形態において放出された光だけを捕捉することを可能にし、すなわち装置の内側の周囲で内部反射する光を含まない。したがって、画像の信号対ノイズ比を改善することができ、アルゴリズムへの入力としてより鮮明な画像につながる。
【0064】
次に、ピンの距離または高さを決定するアルゴリズムをより詳細に説明する。アルゴリズムは一般に、ぼやけの度合いを生成して距離または高さと相関させることを目的としている。実施形態において、各ピンについてのぼやけの度合いは、ピンと関連し得る画像領域内の強度の変化の高程度または割合(たとえば勾配または曲率)の任意の区域を検出する(たとえばエッジ検出処理を使用する)ことによって決定することができる。実施形態において、測定された局所領域にわたる程度/割合の合計により、各ピンについての最大ぼやけならびにその中心位置を特定することができる。
【0065】
したがって、いくつかの実施形態では、各ピクセルについてそのピクセルの周囲の局所領域(たとえば10ピクセルまたは16ピクセル)で測定された強度変化値(たとえば曲率)が合計され、その局所領域が、1本のピンから来るピクセルのすべてを含むとき、値がその最大になるようになっている。これはたとえば図4および図5内の第6のパネルに見られるピークに対応し、「ぼやけ」の度合い(実施形態において、度合いの最終報告バージョン)である。グラフにおいて、ピクセルの周囲のすべての局所領域が合計された結果として合計ステップの後ピークがy軸上で約0.0007から0.2になることがわかる。
【0066】
合計をさらに理解するため、実施形態において、合計に先立つ広範なステップが、各ピクセルでの強度変化の程度または割合(好ましくは、強度曲率)の度合いを定量化することができ、各ピクセルについての輝度値の代わりに、たとえばラプラシアンステップに基づく各ピクセルについてのたとえば「変化の程度または割合」値を有することが留意される。これらの値を正の値にクリップした後、合計ステップは、ピクセルごとに、所定の数、たとえば16のピクセルの半径を有する好ましくはディスク状の領域にわたってこのクリップされた値を合計することを伴うことができ、計算されているピクセルが画像におけるピンの中心に近づくように移動すると、この合計区域がピンに関連付けられたピクセルのほとんど/すべてをカバーするときに最高値を得ることができるようになっている。好ましくは、合計ステップにおいていかなる低程度/割合(たとえば曲率)ピクセルの選択または除去もなく、画像領域は全体として評価される。(あらゆるこのようなクリッピングに関して、すべての正の値を合計することが好まれる。好ましくは、一実施形態が二次導関数を使用すれば絶対値が合計され、そうでなければ合計演算においてすべてが相殺される危険性があり得る(図4のサブプロット3におけるほぼ同じサイズの正および負のピークに留意されたい)。一般に、エッジはラプラシアンにおいて常に正と負の両方のスパイクを生成する。)
【0067】
「高い」たとえば曲率の検出はしきい値に相対し得る。上で示唆したように、好ましい一実施形態では、ラプラシアンフィルタを使用することによって高曲率のサブ領域の検出を実行することができる。合計は、たとえばトップハットフィルタを使用して実行することができる。測定画像に対して任意の較正画像においてピンがわずかに異なる場所にあっても問題にならないように、膨張プロセスを実行することができる。
【0068】
この点において、ぼやけた画像は一般に強度をあまり急速に変えることができないということが留意される。一実施形態ではしたがって最初に画像をフィルタリングして、強度が急速に変化している領域を強調することができる。これを行うためのさまざまな選択肢、たとえばラプラシアンがあり、二次導関数を見ることにより、はっきりしたエッジとぼやけたエッジとの間でより異なる応答が与えられ得ることを留め置かれたい。しかしながら、他の演算、たとえば絶対勾配、高次導関数、または他の一般的なエッジ検出フィルタもちょうど同様に働くことができる。
【0069】
はっきりしたエッジを検出するための方法が二次導関数である場合、たとえば上述したようなラプラシアンを使用すると、これにより画像におけるあらゆるランダムノイズも強調されることがある。したがって、たとえばラプラシアンを行う前にいかなるノイズをも滑らかにする最初のステップとして、たとえばガウシアンフィルタを使用する、ノイズフィルタリングを画像に適用することができる。しかしながら、均一なピン画像がカメラによって捕捉されれば、このようなノイズフィルタリングはあまり有利ではないことがある。したがって、ガウシアンフィルタリングの程度を低減してもまったく使用しなくてもよく、これにより次には、特に合焦点の近くで、より高感度のエッジ検出を与えることができる。
【0070】
上のコメントと一致して、「変化の大きい領域」を強調した画像を作成した後、実施形態では次いで、特定のピンに関連付けられた変化の大きい領域をすべて合計することができる。しかしながらこれを行うたくさんの方法があることが留意される。たとえば、アルゴリズムはブロブ検出アルゴリズムを実行し、次いでブロブの中心をピンの中心として使用し、そして推定されたピンの中心の周囲のすべてのピクセルを合計することもできる。アルゴリズムは次いで、測定画像からのピンの中心を較正画像におけるピンの中心と相関させて、最も可能性の高い一致を見つけて最も適切な較正曲線を選択する。しかしながら、計算が速いアプローチは、トップハットフィルタを使用してすべてのピクセルの周囲のピクセルを合計することであり得る。あらゆる点で、トップハットフィルタ処理された画像は、エッジ強調画像における周囲のピクセルの合計を含むことができる。この画像において最高強度の点は一般に、ピンの中心近くにあるものになるが、これは、これらの点で、トップハットフィルタは変化の大きい最も多くの点と重なり、したがってこれらを合計することになるためである。
【0071】
さらなる、時には最後のステップは、膨張を実行することであり、これにより、本質的に、合計ステップからのピークが塗りつぶされる。したがって、較正画像からのピン位置を測定画像におけるピン位置に明示的に一致させる代わりに、アルゴリズムは単純に較正データからピン位置を取得し、膨張した測定画像におけるその正確な位置を見ることができる。膨張ステップが実行されているため、アルゴリズムが完全に正しい場所を見ていなくても問題ない。
【0072】
次は一般に、上で言及した「インシリコ」データに関するものである。
【0073】
物体の体積を推定するための測定値のアレイの可能性をテストするため、アレイの解像度をシミュレートするための反復的なリサイズ:スケール方法を利用するImageJを使用してパイプラインを生成した。
【0074】
3D物体からのグレースケール形状を使用し、強度勾配を物体の高さ(z次元)に相関させた。(実施形態において、強度勾配(たとえば微分)ではなく、絶対強度が(たとえば線形に)高さに相関している。このインシリコモデリングの例において、テストピクセルの輝度がしたがって、ぼやけによって決定される高さの代用として使用される)。2cm掛ける2cmのアレイ区域を200ピクセル掛ける200ピクセルのアレイにおいて使用し、10ピクセル/mmを得た。Photoshopにおいて形状を構築し、tiff画像として保存してImageJ内で処理した。画像を平均化または補間なしで20×20、10×10および5×5ピクセルアレイにリサイズし、次いで(ここでも補間なしで)200×200ピクセル画像までスケールバックしてピンの低解像度を模倣した(すなわち1ピクセル=1ピン、図1A)。平均強度、面積、既知の高さおよび最大強度を使用すれば、以下の方程式を使用してインシリコ体積を推定することができる。
体積(mm)=(面積×平均強度)×(既知の高さ/最大強度)
【0075】
標準面積400mm、物体の高さ=1cmおよびグレースケールピクセルの最大強度=255が与えられれば、体積を推定することができる。画像における物体の中心点を元の中心点の周囲に放射状に並進させて、異なる位置(すなわちオペレータ間/内の変動、図1Bに示す中心位置)での測定アレイの配置を模倣し、物体の強度を測定した。これを、「短い」および「長い」距離が測定されたキャリパと同等の長さ測定値と比較して、以下の方程式を使用して体積を推定するために使用した。
- 体積(mm)=π/(6ab)-ここでa=「短」軸およびb=「長」軸であり、現在のキャリパ測定と同様に、物体の高さはaに等しいと想定される。または
- 体積(mm)=π/(6abc)-ここでa=「短」軸およびb=「長」軸であり、cは1に設定された高さであり、物体の高さは上の方程式との比較として手動で入力される。
【0076】
合理的な測定点と考えられるところの周囲で複数の「短い」および「長い」測定を行った。
【0077】
このテストにおけるベースライン比較では、物体の高さが測定されないキャリパ測定と同様に2つの距離測定を使用した。200×200アレイは同一の繰り返し測定値を与え、最も正確な測定方法であった。しかしながら、実際には、40,000本のピンのアレイは可能でない。興味深いことに、アレイサイズを20×20または10×10に縮小しても、精度が高く、ばらつきは最小であった。5×5アレイは最も高いばらつきであったが、それでも既知の高さの距離測定と同様であり、それでも高さが推定される距離測定より優れていた。全体的に、測定アレイは複数の形状タイプにわたって優れており、図2に示すように精度および再現性を維持するには10×10アレイで十分であった。キャリパで使用されるような、体積の距離ベースの評価により、高さが分かっているとき、規則的楕円の腫瘍体積を正確に推定することができるときがあるが、第3の次元が想定されていれば一般に体積を過大評価する(図2、左上のパネル、最初の2列)。しかしながら、高さが既知であるか想定されているかに関係なく、距離ベースの方法を使用すると、ギャップ、追加のしこりまたは葉を含む不規則な形状を正確に推定する能力は損なわれる(図2、残りの4つのパネル)。しかしながら、測定アレイは、テストされたすべての形状にわたって最小限の誤差で体積を推定することができた。
【0078】
次は一般に腫瘍3Dプロファイル再構成アルゴリズムに関するものである。一例の概要(ステップのいずれか1つまたは複数を省略することができる)において、
1.各ピンについて「ぼやけ」の度合いを計算する。「ぼやけ」を距離にマッピングする較正曲線を作成する。
2.各ピンについてピクセル空間から「実」空間への変換を算出する。
3.各ピンについて較正曲線およびピクセル空間から実空間への変換を使用して、それぞれzおよびx、y座標を計算する。
4.ピンのx、y、z座標間で補間、たとえば線形補間を実行し、次いで積分して最終的な体積を得る。
【0079】
さらに、高強度曲率の領域を検出してこれらをピンの領域にわたって合計することによる「ぼやけ」測定の一例の計算の概要を提供する(より好ましく省略することができるステップの1つまたは複数がアスタリスクによって示される)。
1.ガウシアンぼかし(ノイズに対する感度を下げる)*
2.エッジが強い画像の領域を強調表示するラプラシアンフィルタ
3.正の値にクリップして、強度曲率が正であるピンの外側エッジに焦点を当てる。
4.円形トップハットフィルタでの畳み込みを介する局所和。本質的にピンの周囲の正の曲率の領域をすべて合計する。
5.膨張-モルフォロジー膨張を実行する(ピンがどこにあるかが正確に分からなくても問題ないようにピークを塗りつぶす)-ステップ1~5の結果を画像Aと呼ぶ。(https://en.wikipedia.org/wiki/Dilation_(morphology)上に記載されているように、膨張は、通常○+によって表され、数理形態学における基本演算の1つである。膨張演算では通常、入力画像に含まれる形状を調査および膨張するための構造要素を使用する。)*
6.ラプラシアンフィルタなしで生画像を合計する。元の画像に戻り、そしてステップ1と同じガウシアンぼかし、続いてステップ4におけるフィルタ、次いでステップ5における膨張を実行する。結果の画像をBと呼ぶ。*
7.正規化-画像Aを画像Bで除算し、この画像をCと呼ぶ。このステップは、照明レベルの変化について正規化するように意図されている。*
8.ぼやけの度合いのルックアップ-ピンの予想される位置での画像Cにおけるピクセル値をルックアップする。これらの位置でのピクセル値が各ピンについての「ぼやけの度合い」である。
【0080】
図4は、アルゴリズムにおける各段階でのアレイの中心を横切る単一線のピクセルについての結果を示す。メトリックの最終値は、ピンの予想される位置での画像を見ることによって見つけられる。予想される位置は較正画像から決定され、最後のサブプロットに点線によって示されている。ぼやけの度合いの値は一番下のサブプロットにおける点線と実線の交点である。このプロットにおける平坦領域は、較正シーケンスに対するピン位置の変化に対する実質的な許容範囲があることを保証するのに役立ち得る。
【0081】
図5は、平らな較正面の画像についてのパイプラインにおける各段階での単一行のピクセルについての結果、たとえば特徴抽出アルゴリズムを示す。
【0082】
上のアルゴリズムにおけるステップ8を実行するため、どこでピンの中心を見つけるかを知ることが望ましい。これのための一例のアルゴリズムは次のとおりである。
1.平らな表面を有する較正ピースからN個の較正画像を収集する。
2.N個の較正画像を合計して平均画像を形成する。
3.「ガウシアンのラプラシアン」法を使用してブロブ検出を実行する。(https://scikit-image.org/docs/dev/api/skimage.feature.html#skimage.feature.blob_log)
4.ブロブの中心をピンの中心として使用する。
【0083】
3D体積を再構成することができるよう、ピクセル空間ではなく「実」空間においてピンがどこにあるかを知ることが望ましい。次はピクセル空間から実空間への一例の変換の概要である。
1.上のように画像のピンの中心位置を計算する。
2.CADデータから「実空間」において予想されるピンの位置をロードする。
3.グローバルオプティマイザを実行して、画像空間を実空間に最適にマッピングすることを目的とする回転、スケーリングおよび並進を計算する。
4.回転および並進を破棄するが、3D再構成で使用するためにスケーリングを保持する。
【0084】
あるいは、部品間の機械的変動が小さければ、この変換を省略することができ、代わりにスケーリングについての固定値が使用される。
【0085】
3Dピン位置を再構成するため、3D再構成のためのポイントを次の例のアプローチによって計算することができる。
1.上述のぼやけの度合いを計算し、次いで較正曲線と比較することによってz値を計算する。
2.ピクセル空間を実空間変換に適用することによって、各ピンについてのx、y値を計算する。
【0086】
最後に各ピンについての各x、y、z座標間の線形補間を介して、3D体積を計算することができる。
【0087】
本発明者らは精度および再現性のテストをさらに検討してきた。3次元形状の測定および再構成におけるシステムの精度をテストするため、本発明者らは、寸法が分かっている異なる形状の上に装置を配置した。第1の物体は10個の「ステップ」を含み、それぞれおよそ1.2mmの高さ、1.2mmから12mmの高さの範囲であった(図6A)。物体の上に装置を配置する前に較正画像セットを捕捉し、画像を捕捉して各ピンの高さを計算した。各「ステップ」について検出された平均高さを各「ステップ」の既知の高さに対してxyグラフにプロットした(図6A)。第2の物体は、3D印刷されたプラスチックを使用して生成された、二葉状の、半球体であり、体積が1059.6mmと分かっていた。装置を使用して繰り返し測定(8つの独立したオフ/オン相互作用)および回転測定(画像間の連続する45°の角度移動の反復での8つの独立した相互作用)で物体を測定し、結果を記載した(図6B)。Table 1(表1)において統計をさらに記載する。
【0088】
【表1】
【0089】
使用事例に関して、実施形態は一般に、生体表面および材料の臨床評価のため、および/またはデータを格納するように設計された3次元ジオメトリを分析するために使用することができる。本明細書では、皮下腫瘍(一般に皮膚ベースのプロファイル測定を伴う)または切除された腫瘍のような腫瘍に関連してのみ実施形態を議論している。しかしながら、実施形態は、他の人間/動物の組織の測定に、および/または植物もしくは他の無生物の表面のような非動物/人間の表面に適用可能であり得る。
【0090】
より具体的には、前臨床腫瘍学以外の用途は、リウマチ学的評価の一部としての関節炎症を測定すること、ならびに触知できる皮膚のしこり(たとえば首のしこり)などのような一般的な外表面の評価のような他の医療用途を含むことができる。実施形態は、QRコードと同様の方法で、しかし変数を定義するためにz軸に沿った複数の点を使用して、3Dジオメトリに格納された情報をデコードする方法として有用であり得ることも留意されるべきである。たとえば、標準的なQRコードでは、バイナリシーケンスのような情報に対応するパターンで配置された黒または白のボックスを使用する。しかしながら3D QRコードを検討することができる。各ボックスが複数のZ位置を有することによって、各「ボックス」に格納することができる情報の量が大きくなる。
【0091】
生体表面および材料の臨床評価の例の技術的詳細を以下に説明する。
【0092】
皮膚、皮膚ベースのできものもしくは腫瘍、骨、関節および骨突起または病変のような、外部からアクセス可能なヒト組織の表面プロファイル、または手術後に除去された組織(すなわち生体外)のプロファイルを、記載された方法を使用する技術の現在の実施形態を使用して生成することができる。これを使用して、組織の臨床評価を支援し得る測定された組織の形状およびサイズに関する基本情報を文書化することができる。生体外組織に関して、複数のピンアレイを使用して組織表面の全体を評価することもできる。
【0093】
既存の技術をこの装置に統合することによってさらなる情報を取得することができる。検査中の組織の引張特性を評価するため、印加された力にピン移動の程度が正比例するように、ばね力が分かっているばねをピン(1)とブロック(2)との間に取り付けることができる。印加中にピン高さの連続画像が得られると、印加された外挿力を各段階で測定することができる。さらに、サーミスタ、熱電対、または測温抵抗体(RTD)を各ピン(1)に追加することによりアレイ内の各点についての表面温度の測定が可能になる。この情報を使用して表面にわたる温度の変動を評価し、主要な関心区域(たとえば関節の炎症区域)の特定を支援することができる。
【0094】
したがって、たとえば、関節炎モニタリングに関連する関節炎症の測定を実施形態によって達成することができる。
【0095】
データエンコードされた3D構造を分析する方法の例の技術的詳細を次に説明する。視覚フォーマット内にコード化情報を埋め込むことは、バーコードおよび「クイックレスポンス」(QR)コードでの利用が成功している。典型的なQRコードは黒と白のブロックを使用して、特定の文字をコード化する8ブロックのバイナリコードを表す。2次元画像センサによって検出される物理コードの以前の反復とは対照的に、以前に実証したように3次元プロファイルを捕捉し、次いでプログラムされたプロセッサを使用してデジタル的に分析することができる。現在の実施形態において、各ピンを使用して、たとえば、ピン当たり128の別個の位置を区別し、続いて各ピン内の情報をエンコードするために使用することもできる。たとえば、汎用の7ビットエンコード方式を使用すれば、URLのようなデータをカラムの3次元アレイ内でエンコードすることが可能になる。ピンの物理的レイアウト、形状または色を使用することによって、配向、エラー修正およびエンコード形式のようなさらなる情報を含めることもできる。データのカスタムストレージおよびエンコーディングも含めることができる。たとえば、40の別個の位置を使用すれば、各位置が40個の数字に対応する「40進数」システムを使用して情報を捕捉することができ、1つのシーケンスにおいて読み取られる3つのピンの一群が65,640までの数字を表すことができる。カスタマイズされたエンコード形式を使用すると、これらの数字を使用して、単語全体、単語ファミリー、一意の文字またはシーケンスをエンコードすることができる。用途は、製造された「3D」QRコードを有する機器または製品の識別/監視ならびに博物館または展示品のような物理的にインタラクティブな関心ポイント内での情報の転送を含むこともでき、点字技術とインターフェースする可能性がある。
【0096】
ぼけの使用は、上述したように多くの実施形態の特徴であることが留意される。これらの実施形態のいずれにおいても、ぼけは一般に、可動部品(たとえば、ピン)の端部を検出し、好ましくは画像アーティファクト/ノイズを除去し、極値、勾配および/または強度などのような、関心のある特徴を抽出および測定する一連の連鎖画像処理技術を使用して計算することができる。これらの特徴または測定値を次いで、ぼけについての測定値として、またはこれを決定するため、単独または任意の組み合わせで使用することができる。
【0097】
当業者は他の多くの効果的な代替案を思いつくであろうことは疑いがない。本発明は記載された実施形態に限定されず、ここに添付の請求項の精神および範囲内にある当業者に明らかな修正を包含することが理解されるであろう。
【符号の説明】
【0098】
1 ピン
2 ブロック
3 プラスチック球
4 外部ハウジングチューブ
5 シュラウド
6 キャップ
7 可撓性膜
8 カメラ
9 LED光源
10 ケーブル
11 対物レンズ
12 ディスク、平坦要素
13 ばね
14 レバー、ボタン
図1
図2
図3-1】
図3-2】
図4
図5
図6
【国際調査報告】