特表2024-532388マイクロ流体ベースの繊維形成方法及び繊維形成システム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-09-05
(54)【発明の名称】マイクロ流体ベースの繊維形成方法及び繊維形成システム
(51)【国際特許分類】
C12M 1/34 20060101AFI20240829BHJP
C12Q 1/02 20060101ALI20240829BHJP
【ＦＩ】
C12M1/34 D
C12Q1/02
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024513237
(86)(22)【出願日】2022-08-26
(85)【翻訳文提出日】2024-04-15
(86)【国際出願番号】 IB2022000493
(87)【国際公開番号】W WO2023026099
(87)【国際公開日】2023-03-02
(31)【優先権主張番号】63/238,028
(32)【優先日】2021-08-27
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】517440553
【氏名又は名称】アスペクト バイオシステムズ リミティド
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100092624
【弁理士】
【氏名又は名称】鶴田 準一
(74)【代理人】
【識別番号】100114018
【弁理士】
【氏名又は名称】南山 知広
(74)【代理人】
【識別番号】100153729
【弁理士】
【氏名又は名称】森本 有一
(74)【代理人】
【識別番号】100202740
【弁理士】
【氏名又は名称】増山 樹
(72)【発明者】
【氏名】サイモン ベイヤー
(72)【発明者】
【氏名】サミュエル ワッズワース
(72)【発明者】
【氏名】ジャクソン ヒー
(72)【発明者】
【氏名】チェンソン シュイ
(72)【発明者】
【氏名】ウサマ カン
(72)【発明者】
【氏名】コンラッド ワラス
(72)【発明者】
【氏名】アノーシュ セペリ
(72)【発明者】
【氏名】マリタ ロドリゲス
【テーマコード（参考）】
4B029
4B063
【Ｆターム（参考）】
4B029AA07
4B029AA21
4B029BB11
4B029CC02
4B029DF05
4B029FA02
4B029FA10
4B029GB06
4B063QA01
4B063QQ02
4B063QS39
(57)【要約】
マイクロ流体ベースの繊維形成方法及びシステムは、３Ｄバイオプリンタ上のマイクロ流体架橋プリントヘッド内の重要な動作パラメータの非接触検知、分析、及び監視を可能にするためにコンピュータビジョン及び深層学習システム及び方法を用いる。実施形態は、検知、分析、及び監視を容易にするために物体検出及び／またはセマンティックセグメンテーションを用い得る。深層学習は、マイクロチャネル内の異なる生物学的材料の流れを局所化及び分析するために、ならびにプリントされた組織の最終品質に影響を及ぼす可能性がある、様々なマイクロ流体プリントヘッドオンチップ構成要素の動作を識別するために畳み込みニューラルネットワークを用いることができる。プリントされた組織は、中空繊維及びより複雑な同軸層状繊維を含む単一材料繊維を含むことができる。
【選択図】図２Ａ
【選択図】図２Ａ
【特許請求の範囲】
【請求項1】
マイクロ流体架橋プリントヘッド材料流検知システムであって、マイクロ流体架橋プリントヘッドと、
前記マイクロ流体架橋プリントヘッドを通る材料流を監視し、前記材料流のストリーミング画像を提供するためのカメラシステムであって、前記材料流が、少なくとも１つの架橋可能な材料を含み、好ましくは、前記少なくとも１つの架橋可能な材料がヒドロゲルを含む、前記カメラシステムと、
前記ストリーミング画像内に表される前記材料流を分析することによって、前記材料流によって生成される架橋から生じる、プリントされた繊維の物理的特性を決定するためのコンピュータシステムと
を備え、
前記コンピュータシステムが、前記材料流の前記ストリーミング画像を、プリントされた繊維の前記物理的特性に対応するユーザーによって確立された材料流パラメータに所定の許容範囲内で比較し、前記材料流の前記材料流パラメータ及び前記比較の結果を記録する機械学習ベースのシステムを備える、
前記マイクロ流体架橋プリントヘッド材料流検知システム。
【請求項2】
前記マイクロ流体架橋プリントヘッドが、１つ以上の透明なチャネルを備え、前記カメラシステムが、前記１つ以上の透明なチャネルの少なくとも１つを通る材料流を監視し、好ましくは、前記マイクロ流体架橋プリントヘッドが、透明なノズルまたは計量配分チャネルを備える、請求項１に記載のシステム。
【請求項3】
前記カメラシステムが、前記１つ以上の透明なチャネルの前記少なくとも１つに対して第１の角度に配置された第１のカメラと、前記１つ以上の透明なチャネルの前記少なくとも１つに対して第２の異なる角度に配置された第２のカメラとを備える、請求項１または２に記載のシステム。
【請求項4】
前記第１のカメラ及び前記第２のカメラが、互いに対して直角である、請求項３に記載のシステム。
【請求項5】
前記カメラシステムが、カメラと、複数のミラーとを備え、前記ミラーが、前記１つ以上の透明なチャネルの前記少なくとも１つに対して第１のビュー及び第２の異なるビューを提供するために配置され、前記カメラが、前記第１及び前記第２のビューの画像を受け取る、請求項１または２に記載のシステム。
【請求項6】
前記第２のビューが、前記第１のビューに対して直交する、請求項５に記載のシステム。
【請求項7】
前記複数のミラーが、前記第１及び前記第２のビューを提供するために配置された３つのミラーを備える、請求項５または６に記載のシステム。
【請求項8】
前記マイクロ流体システムが、複数の透明なチャネルを備え、前記カメラシステムが、第１及び第２のカメラの等しい複数の対を備え、各対におけるそれぞれの第１及び第２のカメラが、互いに対して直角に配置されており、前記第１及び第２のカメラの複数の対のそれぞれが、前記複数の透明なチャネルの異なるそれぞれのチャネルを通る材料流を監視する、請求項３または４に記載のシステム。
【請求項9】
前記機械学習ベースのシステムが、前記ユーザーによって確立された材料流パラメータから、前記材料流の１つ以上の偏差を特定する、請求項１～８のいずれか１項に記載のシステム。
【請求項10】
前記１つ以上の特定された偏差に応えて、前記機械学習ベースのシステムが、前記材料流パラメータを調整することが必要であるかどうかを特定する、請求項９に記載のシステム。
【請求項11】
前記機械学習ベースのシステムが、所定の量を超える累積偏差に応えて前記材料流パラメータを調整する、請求項９または１０に記載のシステム。
【請求項12】
前記所定の許容範囲内に前記プリントされた繊維の物理的特性を維持するために、前記材料流パラメータを調整することをさらに含む、請求項１～１１のいずれか１項に記載のシステム。
【請求項13】
前記機械学習ベースのシステムが、前記材料流の前記ストリーミング画像の物体検出及び／またはセマンティックセグメンテーションを実行する、請求項１～１２のいずれか１項に記載のシステム。
【請求項14】
前記物体検出及び／または前記セマンティックセグメンテーションが、前記材料流内での１つ以上の物体の位置の検出を可能にする、請求項１３に記載のシステム。
【請求項15】
前記物体検出及び／または前記セマンティックセグメンテーションが、前記材料流内での前記１つ以上の物体の形状、サイズ、及び／または量の視覚的な推定を可能にする、請求項１４に記載のシステム。
【請求項16】
前記マイクロ流体架橋プリントヘッドが、三次元（３Ｄ）バイオプリンティングプリントヘッドを備え、前記システムが、バイオプリントされた繊維を製造するために３Ｄバイオプリンティングシステムを備える、請求項１～１５のいずれか１項に記載のシステム。
【請求項17】
前記３Ｄバイオプリンティングプリントヘッドが、前記材料流にそれぞれの複数の材料を選択的に提供するために複数のチャネルを備える、請求項１６に記載のシステム。
【請求項18】
前記物理的特性が、前記バイオプリントされた繊維の直径を含む、請求項１６または１７に記載のシステム。
【請求項19】
前記物理的特性が、前記バイオプリントされた繊維の同心性を含む、請求項１６～１８のいずれか１項に記載のシステム。
【請求項20】
前記材料流が、少なくとも１つの生物学的材料をさらに含み、好ましくは前記少なくとも１つの生物学的材料が細胞集団を含む、請求項１～１９のいずれか１項に記載のシステム。
【請求項21】
前記細胞集団が、単個細胞浮遊液、細胞集合体、細胞スフェロイド、細胞オルガノイド、またはそれらの組み合わせを含むか、または単個細胞浮遊液、細胞集合体、細胞スフェロイド、細胞オルガノイド、またはそれらの組み合わせから成る群から選択される、請求項２０に記載のシステム。
【請求項22】
前記材料流が微粒子をさらに含む、請求項２０または２１に記載のシステム。
【請求項23】
前記材料流が、染料、顔料、またはコロイドをさらに含む、請求項２０～２２のいずれか１項に記載のシステム。
【請求項24】
前記細胞を含む生体材料が、前記バイオプリントされた繊維を製造するために前記それぞれのチャネルを通って流れる、請求項２０～２３のいずれか１項に記載のシステム。
【請求項25】
前記バイオプリントされた繊維が、同軸層状ヒドロゲル繊維である、請求項１６～２４のいずれか１項に記載のシステム。
【請求項26】
前記バイオプリントされた繊維が、コアヒドロゲル材料と、前記コアヒドロゲル材料の周りのシェルヒドロゲル材料とを含み、前記コアヒドロゲル材料が、所定の許容範囲内で前記シェルヒドロゲル材料内に同心円状に配置される、請求項１６～２５のいずれか１項に記載のシステム。
【請求項27】
前記材料流内の細胞の存在が、前記バイオプリントされた繊維の物理的特性の測定を容易にするための造影剤として機能する、請求項１６～２６のいずれか１項に記載のシステム。
【請求項28】
前記コンピュータシステムが、前記マイクロ流体架橋プリントヘッド内の材料の変位を調整することによって前記材料流を制御するために、前記比較の前記結果を使用する、請求項１～２７のいずれか１項に記載のシステム。
【請求項29】
前記プリントされた繊維のプリント中の前記マイクロ流体架橋プリントヘッドを通る前記材料流及び材料の変位を制御するために、前記比較の前記結果に対応する変位コントローラをさらに備える、請求項１～２８のいずれか１項に記載のシステム。
【請求項30】
前記コンピュータシステムが、前記マイクロ流体架橋プリントヘッド内での材料流の圧力を調整することによって前記材料流を制御するために、前記比較の前記結果を使用する、請求項１～２９のいずれか１項に記載のシステム。
【請求項31】
前記プリントされた繊維のプリント中の前記マイクロ流体架橋プリントヘッドを通る前記材料流及び圧力を制御するために、前記比較の前記結果に対応する圧力コントローラをさらに備える、請求項１～３０のいずれか１項に記載のシステム。
【請求項32】
前記機械学習ベースのシステムが、畳み込みニューラルネットワーク（ＣＮＮ）、長期短期メモリ（ＬＳＴＭ）ネットワーク、再帰型ニューラルネットワーク（ＲＮＮ）、再帰型畳み込みニューラルネットワーク（ＲＣＮＮ）、またはＲＮＮとＣＮＮとの組み合わせから成る群から選択される、請求項１～３１のいずれか１項に記載のシステム。
【請求項33】
前記機械学習ベースのシステムが、グラフィックスプロセッシングユニット（ＧＰＵ）を備える、請求項１～３２のいずれか１項に記載のシステム。
【請求項34】
前記透明なチャネルの１つ以上を照明するために、発光ダイオード（ＬＥＤ）またはＬＥＤアレイをさらに備える、請求項３～５のいずれか１項に記載のシステム。
【請求項35】
前記カメラのそれぞれに、１つのＬＥＤまたはＬＥＤアレイをそれぞれ備える、請求項３４に記載のシステム。
【請求項36】
各ＬＥＤまたはＬＥＤアレイが、それぞれのカメラの背後に配置される、請求項３４または３５に記載のシステム。
【請求項37】
各ＬＥＤまたはＬＥＤアレイが、前記それぞれのカメラから透明なチャネルの反対側に配置される、請求項３４または３５に記載のシステム。
【請求項38】
前記複数のミラーが２つのミラーを含み、前記ミラーの１つが、前記カメラに前記第１及び前記第２のビューを交互に提供するために回転可能である、請求項５または６に記載のシステム。
【請求項39】
マイクロ流体架橋プリントヘッドを通る材料流を監視するための方法であって、カメラシステムを使用して、マイクロ流体架橋プリントヘッドを通る材料流のストリーミング画像を取得することであって、前記材料流が少なくとも１つの架橋可能な材料を含み、前記少なくとも１つの架橋可能な材料がヒドロゲルを含む、前記取得することと、
前記ストリーミング画像内に表される前記材料流を分析することによって、前記材料流によって生成される架橋から生じる、プリントされた繊維の物理的特性を決定することであって、前記決定することが、機械学習ベースのシステムを使用して、前記材料流のストリーミング画像を、プリントされた繊維の前記物理的特性に対応するユーザーによって確立された材料流パラメータに所定の許容範囲内で比較することを含む、前記決定することと
を含む、前記方法。
【請求項40】
前記取得することが、前記マイクロ流体架橋プリントヘッドの１つ以上の透明なチャネルを通る前記ストリーミング画像を取得することを含む、請求項３９に記載の方法。
【請求項41】
前記取得することが、前記１つ以上の透明なチャネルの前記少なくとも１つに対して第１の角度で前記カメラシステム内に第１のカメラを配置し、前記１つ以上の透明なチャネルの前記少なくとも１つに対して第２の異なる角度で前記カメラシステム内に第２のカメラを配置することを含む、請求項３９または４０に記載の方法。
【請求項42】
前記配置することが、前記第１のカメラ及び前記第２のカメラを、互いに対して直角に配置することを含む、請求項４１に記載の方法。
【請求項43】
前記取得することが、前記１つ以上の透明なチャネルの前記少なくとも１つに対して第１のビューを提供するために前記カメラシステム内にカメラを配置することと、前記１つ以上の透明なチャネルの前記少なくとも１つに対して第２の異なるビューを提供するために複数のミラーを配置することとを含む、請求項３９または４０に記載の方法。
【請求項44】
前記第２のビューが、前記第１のビューに対して直交する、請求項４３に記載の方法。
【請求項45】
前記配置することが、前記第２のビューを提供するために３つのミラーを配置することを含む、請求項４３または４４に記載の方法。
【請求項46】
前記比較することが、前記ユーザーによって確立された材料流パラメータから前記材料流の１つ以上の偏差を特定することを含む、請求項３９～４５のいずれか１項に記載の方法。
【請求項47】
前記材料流の前記１つ以上の偏差が所定の量を超えるかどうかを判断することと、前記判断することに応えて前記ユーザーによって確立された材料流パラメータの１つ以上を調整して、前記プリントされた繊維の前記物理的特性を前記所定の許容範囲内に維持することをさらに含む、請求項４６に記載の方法。
【請求項48】
前記判断することが、前記機械学習ベースのシステムを使用して、前記材料流の前記ストリーミング画像の物体検出及び／またはセマンティックセグメンテーションを実行することをさらに含む、請求項３９～４７のいずれか１項に記載の方法。
【請求項49】
前記物体検出及び／または前記セマンティックセグメンテーションが、前記材料流内での１つ以上の物体の位置の検出を可能にする、請求項４８に記載の方法。
【請求項50】
前記物体検出及び／または前記セマンティックセグメンテーションが、前記材料流内での前記１つ以上の物体の形状、サイズ、及び／または量の視覚的な推定を可能にする、請求項４８または４９に記載の方法。
【請求項51】
前記マイクロ流体架橋プリントヘッドが、三次元（３Ｄ）バイオプリンティングプリントヘッドを備え、前記取得することが、前記３Ｄバイオプリンティングプリントヘッド内の１つ以上の透明なチャネルを通してストリーミング画像を取得することを含み、前記３Ｄバイオプリンティングプリントヘッドがバイオプリントされた繊維を製造する、請求項３９～５０のいずれか１項に記載の方法。
【請求項52】
前記監視することが、前記３Ｄバイオプリンティングプリントヘッド内の複数のチャネルを監視することを含み、前記複数のチャネルが、前記材料流にそれぞれの複数の材料を選択的に提供する、請求項５１に記載の方法。
【請求項53】
前記物理的特性が、バイオプリントされた繊維の同心性を含む、請求項３９～５２のいずれか１項に記載の方法。
【請求項54】
前記材料流が、少なくとも１つの生物学的材料をさらに含み、好ましくは前記少なくとも１つの生物学的材料が細胞集団を含む、請求項３９～５３のいずれか１項に記載の方法。
【請求項55】
前記細胞集団が、単個細胞浮遊液、細胞集合体、細胞スフェロイド、細胞オルガノイド、及び／または微粒子を含むか、または単個細胞浮遊液、細胞集合体、細胞スフェロイド、細胞オルガノイド、及び／または微粒子から成る群から選択される、請求項５４に記載の方法。
【請求項56】
前記材料流内の材料が、染料、顔料、またはコロイドをさらに含む、請求項５４または５５に記載の方法。
【請求項57】
前記バイオプリントされた繊維が、同軸層状ヒドロゲル繊維である、請求項５４～５６のいずれか１項に記載の方法。
【請求項58】
前記バイオプリントされた繊維が、コアヒドロゲル材料と、前記コアヒドロゲル材料の周りのシェルヒドロゲル材料とを含み、前記コアヒドロゲル材料が、所定の許容範囲内で前記シェルヒドロゲル材料内に同心円状に配置される、請求項５４～５７のいずれか１項に記載の方法。
【請求項59】
前記材料流内の細胞の存在が、前記バイオプリントされた繊維の物理的特性の測定を容易にするための造影剤として機能する、請求項５２～５８のいずれか１項に記載の方法。
【請求項60】
前記判断することに応えて、前記所定の許容範囲内に前記プリントされた繊維の前記物理的特性を維持するために、前記材料流を制御することをさらに含む、請求項３９に記載のシステム。
【請求項61】
前記材料流を制御することが、前記マイクロ流体デバイス内の材料の変位を制御することを含む、請求項６０に記載の方法。
【請求項62】
前記材料流を制御することが、前記マイクロ流体デバイス内で前記材料流の圧力を制御することを含む、請求項６０に記載の方法。
【請求項63】
前記機械学習ベースのシステムが、畳み込みニューラルネットワーク（ＣＮＮ）、長期短期メモリ（ＬＳＴＭ）ネットワーク、再帰型ニューラルネットワーク（ＲＮＮ）、再帰型畳み込みニューラルネットワーク（ＲＣＮＮ）、またはＲＮＮとＣＮＮとの組み合わせから成る群から選択される、請求項３９～６２のいずれか１項に記載の方法。
【請求項64】
前記機械学習ベースのシステムが、グラフィックスプロセッシングユニット（ＧＰＵ）を備える、請求項３９～６３のいずれか１項に記載の方法。
【請求項65】
前記透明なチャネルの１つ以上を照明するために、発光ダイオード（ＬＥＤ）またはＬＥＤアレイを配置することさらに含む、請求項４０～４３のいずれか１項に記載の方法。
【請求項66】
前記カメラのそれぞれに、１つのＬＥＤまたはＬＥＤアレイをそれぞれ配置することを含む、請求項６５に記載の方法。
【請求項67】
それぞれのカメラの背後に、各ＬＥＤまたはＬＥＤアレイを配置することをさらに含む、請求項６５または６６に記載の方法。
【請求項68】
前記それぞれのカメラからの透明チャネルの反対側に、各ＬＥＤまたはＬＥＤアレイを配置することをさらに含む、請求項６５または６６に記載の方法。
【請求項69】
前記配置することが、前記カメラに前記第１及び前記第２のビューを交互に提供するために２つのミラーを配置することを含み、前記ミラーの１つが、前記カメラに前記第１及び前記第２のビューを交互に提供するために回転可能である、請求項４３または４４に記載の方法。
【請求項70】
前記ストリーミング画像に対して物体検出及び／またはセマンティックセグメンテーションを実行するために、前記機械学習ベースのシステムを使用して、前記ストリーミング画像に表される前記材料流を分析することによって、前記材料流内の１つ以上の欠陥を特定することをさらに含む、請求項３９～６９のいずれか１項に記載の方法。
【請求項71】
前記１つ以上の欠陥が詰まり及び／または気泡である、請求項７０に記載の方法。
【請求項72】
前記材料流内の１つ以上の物体の一般的な量及び／または分布を提供することをさらに含み、好ましくは、前記１つ以上の物体が、生物学的材料を含む、請求項３９～６９のいずれか１項に記載の方法。
【請求項73】
前記コアヒドロゲル材料が前記シェルヒドロゲル材料内で同心円状に配置されるかどうかを分析することをさらに含む、請求項３９～７２のいずれか１項に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、２０２１年９月７日に出願された米国仮出願第６３／２３８，０２８号の利益を主張し、参照によりその仮出願の内容全体を本明細書に組み込む。
本出願は、２０２１年９月７日に出願された米国仮出願第６３／２３８，０２８号の利益を主張し、参照によりその仮出願の内容全体を本明細書に組み込む。
【0002】
本発明の態様は、マイクロ流体架橋プリントヘッド性能を監視するための品質管理方法及び品質管理装置に関する。より具体的な態様は、三次元（３Ｄ）バイオプリンティングプラットフォームにおいてマイクロ流体架橋性能を監視するための方法及び装置に関する。そのようなプラットフォームは、使用されるプリントヘッドに応じて、単繊維、または別個の繊維コア及びシェル構成要素を有する同軸の多層ヒドロゲル繊維のどちらかを生成することができる。さらにより具体的な態様は、繊維径及び繊維コアとシェルの同心性など、繊維の幾何学的特徴を数値化するために、プリントヘッドノズルのリアルタイムの視覚画像、及びノズル内で形成されている繊維のリアルタイムの視覚画像を提供するコンピュータビジョン及び機械学習システムに関する。
【背景技術】
【0003】
細胞が添加された繊維（通常は、コア及びシェルを含む）は、３Ｄバイオプリントされた組織の構成要素である。特定の一貫した繊維構造は、治療用細胞の生存能力、組織機能、及び組織が移植される宿主の免疫系からの保護を維持するために必要とされる。
【0004】
繊維構造の一態様は、繊維の内部細胞含有領域内への酸素及び栄養素の拡散を考慮に入れる。そのような拡散は、繊維のシェルの材料の厚さの関数であり得る。シェルがより厚いと、酸素及び栄養素の著しい低下、ならびに治療用細胞の餓死、細胞死、及び最終的には機能の喪失が生じる可能性がある。したがって、細胞の生存能力及び機能を確実にするためには、一定の厚さ未満にシェル寸法を維持することは重要である。一方、宿主免疫攻撃からセルペイロードを保護するためには、一定の厚さを超えてシェル寸法を維持することが重要である場合もある。これらの２つの矛盾する寸法は、免疫保護を提供するのみならず、細胞機能の維持を確実にするシェル厚さ窓も形成する。窓は、非常に狭い場合がある。
【0005】
繊維のコア及びシェルの同心性に加え、全体的な繊維全径は、繊維を受け入れる宿主の能力に関連する場合がある。１ｍｍ未満の直径を有する繊維は、より強力な線維化反応を引き起こし得、不必要な線維症を低減するために、１ｍｍを超える繊維径の維持を望ましいものとする。組織製造中の一貫した繊維全径もまた重要である。バイオプリントされた組織は複数の層から成る。繊維径を十分に制御しない場合、結果として得られる組織の各層は不均一となる可能性がある。さらに、不均一が繰り返されると、繊維厚の誤差が悪化する可能性がある。結果的に、バイオプリントされた組織の全体的なマクロ構造は、忠実度を失う可能性があり、機械的完全性及び機械機能の低減を被る可能性がある。したがって、バイオプリントされた組織が臨床使用に十分に信頼できるためには、コア及びシェルの同心性、ならびに繊維全径が一貫している必要があることが理解できる。
【0006】
しかしながら、残念なことに、様々な理由から同軸繊維のバイオプリント中には不同心性（ｍｉｓｃｏｎｃｅｎｔｒｉｃｉｔｙ）が生じる可能性があり、そのような繊維を製造するためのプリントヘッドの製造が問題の１つの原因である。特に、そのようなプリントヘッドの従来の製造では、例えば透明なポリジメチルシロキサン（ＰＤＭＳ）層またはガラス層など、層の複数のスタックを結合することが必要になる。結合中に層の整列が不良であると、チャネル及び弁の整列も不良となる可能性があり、チャネル及び／または弁の不良整列は、次に繊維形成中の材料流に悪影響を及ぼす可能性があり、同心性の欠如につながる可能性がある。別の考慮事項は、プリント中に変化する圧力下での粘度など、生体材料の特性が、繊維径のみならず、繊維のコア（中央）及びシェル（外側）の中心軸の整列にも影響を及ぼす可能性があることである。
【0007】
なおさらに、気泡、及び細胞が添加された繊維の場合の細胞のクラスタなどの材料の異常も、不同心性につながる可能性がある。図１Ａ～図１Ｆは、繊維のシェルの内側のコアの位置がそれぞれの異なる、繊維の表現の長さ及び直径に沿ってとられたそれぞれの断面図を示す。図１Ａでは、繊維１００は、中止軸１１０と、コア１２０と、コア外縁１３０と、シェル１４０と、シェル外縁１５０とを有する。対応する番号付けは、図１Ｂ～図１Ｆにも当てはまる。図１Ａは、コア１２０とシェル１４０との間に同心性を有する繊維の例である。図１Ｂ～図１Ｆは、不同心性の異なる例である。
【0008】
繊維製造を監視するだけではなく、マクロ流体架橋中に特定された不同心性を補正するためのフィードバック機構も提供するシステムを提供することが望ましいであろう。さらに、許容される３Ｄ組織の生成を容易にするために、コア及びシェルの一貫した直径を有する一貫して同心の繊維を製造するように３Ｄバイオプリントシステムに教示するシステムを提供することが望ましいであろう。
【発明の概要】
【0009】
本発明は、コンピュータビジョン及び深層学習を三次元（３Ｄ）バイオプリンティングプラットフォームに統合し、それによって、例えば、細胞を含んだヒドロゲル及び他の架橋可能な材料を含むマイクロ流体架橋プリントヘッド内での複数の異なる材料の動作及び流れの直接的な監視を可能にすることによって、当該技術の上述の問題に対処する。実施形態では、本発明は、マイクロ流体架橋プリントヘッド内の複数の異なる材料の同時流を撮像するために、コンピュータビジョンシステム及びコンピュータビジョン方法の一部として、１つ以上のカメラを含む。さらなる実施形態は、カメラのそれぞれがマイクロ流体プリントヘッドの透明な特徴及び内部の繊維を照明するために、発光ダイオード（ＬＥＤ）またはＬＥＤアレイを含む。実施形態では、１つ以上のミラーをカメラの１つの代わりにしてもよい。
【0010】
本発明の実施形態は、生体材料がマイクロ流体架橋から流出して、３Ｄバイプリンティング用に繊維を形成するときに、生体材料の特徴の非接触検知を可能にする。実施形態はまた、次に、プリントされた繊維特性の定量的測度の導出を可能にする自動分析も可能にする。これらの測度は、品質制御及び／または品質保証のパラメータとしての機能を果たすことができる。
【0011】
本発明の態様は、マイクロ流体架橋デバイス内での１つ以上のヒドロゲル材料を含む異なる材料の動作及び同時流を直接的に監視するために、コンピュータビジョン及び知能学習／深層学習／機械学習を３Ｄバイオプリンティングプラットフォームに統合する。実施形態では、本発明のシステムは、繊維形成の非接触検知を可能にする。本発明のシステムの実施形態は、品質管理及び／品質保証のパラメータとしてプリントされた繊維特性の定量的測度を導出するために自動分析を提供する。いくつかの実施形態では、そのような定量的測度は、プリントされた繊維全体にわたる生物学的材料の一貫性に関して繊維品質の定性的評価のために、生物材料のプリント中の繊維全体にわたる生物学的材料（例えば、細胞）のリアルタイムの高レベルの数値化を含む。いくつかの実施形態では、そのような定量的測度は、例えば、微粒子など、材料流内の他の物体のリアルタイムの高レベル数値化を含む。
【0012】
実施形態では、異なる機械学習ツールが用いられ得る。例えば、畳み込みニューラルネットワーク（ＣＮＮ）は、物体検出に使用することができる。別の例として、セマンティックセグメンテーションは、プリント中に、プリントヘッド及び結果として得られる繊維の異なる特性を監視及び分析するために使用することができる。
【0013】
実施形態では、プリントヘッドのマイクロ流体チャネル内での材料の圧力及び／または変位及び後続の流れを調整して、直径及び／または不同心性を補正し、したがって質の高い繊維の一貫した製造、及び高価な生体材料の損失及びバイオプリントされた繊維の細胞の流入量を最小限にするために、３Ｄバイオプリンティングプラットフォームに、様々な機械学習ツールの出力をリアルタイムでフィードバックすることができる。
【0014】
実施形態では、材料流は、少なくとも１つの架橋可能な材料、及び例えば、好ましくは、少なくとも１つのヒドロゲルを含み、任意選択で、例えば生体適合性材料における細胞集団など、少なくとも１つの生物学的材料をさらに含む。実施形態では、細胞集団は、単個細胞浮遊液、細胞集合体、細胞スフェロイド、細胞オルガノイド、またはそれらの組み合わせを含むか、または単個細胞浮遊液、細胞集合体、細胞スフェロイド、細胞オルガノイド、またはそれらの組み合わせから成る群から選択される。実施形態では、材料流は微粒子を含む。
【0015】
実施形態では、細胞集団は、膵臓、肝臓、甲状腺、副甲状腺、松果体、下垂体、胸腺、副腎、卵巣、精巣、腸内分泌細胞、幹細胞、幹細胞由来細胞、または対象の生物活性剤を分泌するように操作された細胞から成る群から選択された内分泌線及び外分泌線からの細胞を含む。実施形態では、細胞集団は、治療用タンパク質または核酸を含有するエキソソームの形態で細胞由来細胞外小胞を放出する。実施形態では、生体適合性材料は、アルギネート、コラーゲン、脱細胞化された細胞外基質、ヒアルロン酸、ＰＥＧ、フィブリン、ゼラチン、ＧＥＬ－ＭＡ、絹、キトサン、セルロース、ＰＣＬ、ＰＬＡ、ＰＯＥＧＭＡ、及びこれらの組み合わせから選択される。
【0016】
いくつかの実施形態では、マイクロ流体プリントヘッドは、繊維製造において材料流を制御するために圧力を用い得る。他の実施形態では、マイクロ流体プリントヘッドは、繊維製造において材料流を制御するために材料変位を用い得る。
【0017】
とりわけ、本発明の実施形態は、製造されている多層繊維の様々な幾何学的特徴のリアルタイム検査を可能にする。結果として得られる効果の中には、弁及びチャネルの圧力を監視するために、及びプロセス及びプリントされた繊維における欠陥、異常、及び／または不良を検出するために、高価な及び／または複雑な圧力センサまたは他の微小電気機械システム（ＭＥＭＳ）をベースにした技術をプリントヘッドに組み込む必要性を回避することがある。
【0018】
一態様では、本発明は、マイクロ流体架橋プリントヘッドと、少なくとも１つの架橋可能な材料を含む材料流と、マイクロ流体架橋プリントヘッドを通る材料流を監視し、材料流のストリーミング画像を提供するためのカメラシステムと、ストリーミング画像内に表される材料流を分析することによって、材料流によって生成される架橋から生じる、プリントされた繊維の物理的特性を決定するためのコンピュータシステムとを含む、マイクロ流体架橋プリントヘッド材料流検知システムを提供し、コンピュータシステムは、材料流のストリーミング画像を、プリントされた繊維の物理的特性に対応するユーザーによって確立された材料流パラメータに所定の許容範囲内で比較し、材料流の材料流パラメータ及び比較の結果を記録する機械学習ベースのシステムを含む。
【0019】
実施形態では、マイクロ流体架橋プリントヘッドは、１つ以上の透明なチャネルを含み、カメラシステムは、１つ以上の透明なチャネルの少なくとも１つを通る材料流を監視し、好ましくは、マイクロ流体架橋プリントヘッドは、透明なノズルまたは計量配分チャネルを含む。
【0020】
実施形態では、カメラシステムは、１つ以上の透明なチャネルの少なくとも１つに対して第１の角度に配置された第１のカメラと、１つ以上の透明なチャネルの少なくとも１つに対して第２の異なる角度に配置された第２のカメラとを含む。実施形態では、第１のカメラ及び第２のカメラは、互いに対して直角である。
【0021】
代替実施形態では、カメラシステムは、カメラと、複数のミラーとを含み、ミラーは、１つ以上の透明なチャネルの少なくとも１つに対して第１のビューと、第２の異なるビューとを提供するために配置され、カメラは、第１及び第２のビューの画像を受け取る。実施形態では、第２のビューは第１のビューに直交する。実施形態では、複数のミラーは、第１及び第２のビューを提供するために配置された３つのミラーを含む。実施形態では、複数のミラーは２つのミラーを含み、ミラーの１つは、該カメラに第１及び第２のビューを交互に提供するために回転可能である。
【0022】
例示的な実施形態では、マイクロ流体システムは、複数の透明なチャネルを含み、カメラシステムは、第１及び第２のカメラの等しい複数の対を含み、各対におけるそれぞれの第１及び第２のカメラは、互いに対して直角に配置されており、第１及び第２のカメラの複数の対のそれぞれは、複数の透明なチャネルの異なるそれぞれのチャネルを通る材料流を監視する。
【0023】
実施形態では、機械学習ベースのシステムは、ユーザーによって確立された材料流パラメータから、材料流の１つ以上の偏差を特定する。実施形態では、及び１つ以上の特定された偏差に応えて、機械学習ベースのシステムは、材料流パラメータを調整することが必要であるかどうかを特定する。実施形態では、機械学習ベースのシステムは、所定の量を超える累積偏差に応えて材料流パラメータを調整する。実施形態では、機械学習ベースのシステムは、プリントされた繊維の物理的特性を所定の許容範囲内に維持するために、材料流パラメータを調整する。実施形態では、物理的特性は、バイオプリントされた繊維の直径を含む。実施形態では、物理的特性は、バイオプリントされた繊維内の層の同心性を含む。
【0024】
実施形態では、機械学習ベースのシステムは、材料流のストリーミング画像の物体検出及び／またはセマンティックセグメンテーションを実行する。実施形態では、物体検出及び／またはセマンティックセグメンテーションは、材料流内での１つ以上の物体の位置の検出を可能にする。実施形態では、物体検出及び／またはセマンティックセグメンテーションは、材料流内での１つ以上の物体の形状及び／またはサイズの視覚的な推定を可能にする。実施形態では、物体検出及び／またはセマンティックセグメンテーションは、材料流内の生物学的材料（例えば、細胞集団）の一般的な量及び／または分布の視覚的な推定を可能にする。
【0025】
実施形態では、マイクロ流体デバイスは、三次元（３Ｄ）バイオプリンティングプリントヘッドを含み、システムは、バイオプリントされた繊維を製造するために３Ｄバイオプリンティングシステムを含む。実施形態では、３Ｄバイオプリンティングプリントヘッドは、材料流にそれぞれの複数の材料を選択的に提供するために複数のチャネルを含む。
【0026】
実施形態では、少なくとも１つの架橋可能な材料はヒドロゲルを含む。実施形態では、材料流は、少なくとも１つの生物学的材料を含み、好ましくは該少なくとも１つの生物学的材料は細胞集団を含む。実施形態では、細胞集団は、単個細胞浮遊液、細胞集合体、細胞スフェロイド、細胞オルガノイド、またはそれらの組み合わせを含むか、または単個細胞浮遊液、細胞集合体、細胞スフェロイド、細胞オルガノイド、またはそれらの組み合わせから成る群から選択される。実施形態では、材料流は微粒子をさらに含む。実施形態では、材料流は、染料、顔料、またはコロイドをさらに含む。実施形態では、材料流内の細胞の存在は、バイオプリントされた繊維の物理的特性の測定を容易にするための造影剤として機能する。
【0027】
例示的な実施形態では、細胞を含む生体材料は、バイオプリントされた繊維を製造するためにそれぞれのチャネルを通って流れる。実施形態では、バイオプリントされた繊維は、同軸層状ヒドロゲル繊維である。実施形態では、バイオプリントされた繊維は、コアヒドロゲル材料と、コアヒドロゲル材料の周りのシェルヒドロゲル材料とを含み、コアヒドロゲル材料は、所定の許容範囲内でシェルヒドロゲル材料内に同心円状に配置される。
【0028】
一実施形態では、コンピュータシステムは、マイクロ流体デバイス内の材料の変位を調整することによって、材料流を制御するために比較の結果を使用する。実施形態では、システムは、プリントされた繊維のプリント中のマイクロ流体デバイスを通る材料流及び材料の変位を制御するために、比較の結果に対応する変位コントローラをさらに含む。
【0029】
別の実施形態では、コンピュータシステムは、マイクロ流体デバイス内の材料流の圧力を調整することによって、材料流を制御するために比較の結果を使用する。実施形態では、システムは、プリントされた繊維のプリント中にマイクロ流体デバイスを通る材料流及び圧力を制御するために、比較の結果に対応する圧力コントローラをさらに含む。
【0030】
実施形態では、機械学習ベースのシステムは、畳み込みニューラルネットワーク（ＣＮＮ）、長期短期メモリ（ＬＳＴＭ）ネットワーク、再帰型ニューラルネットワーク（ＲＮＮ）、再帰型畳み込みニューラルネットワーク（ＲＣＮＮ）、またはＲＮＮとＣＮＮとの組み合わせから成る群から選択される。実施形態では、機械学習ベースのシステムは、グラフィックスプロセッシングユニット（ＧＰＵ）を含む。
【0031】
実施形態では、システムは、透明なチャネルの１つ以上を照明するために、発光ダイオード（ＬＥＤ）またはＬＥＤアレイをさらに含む。いくつかの実施形態では、システムは、カメラのそれぞれに、１つのＬＥＤまたはＬＥＤアレイをそれぞれ含む。いくつかの実施形態では、各ＬＥＤまたはＬＥＤアレイは、それぞれのカメラの背後に配置される。代替実施形態では、各ＬＥＤまたはＬＥＤアレイは、それぞれのカメラから透明なチャネルの反対側に配置される。
【0032】
別の態様では、本発明は、マイクロ流体架橋プリントヘッドを通る材料流を監視するための方法を提供し、該方法は、カメラシステムを使用して、マイクロ流体架橋プリントヘッドを通る材料流のストリーミング画像を取得することと、ストリーミング画像内に表される材料流を分析することによって、材料流によって生成される架橋から生じる、プリントされた繊維の物理的特性を決定することであって、決定することが、機械学習ベースのシステムを使用して、材料流のストリーミング画像を、プリントされた繊維の物理的特性に対応するユーザーによって確立された材料流パラメータに所定の許容範囲内で比較することと、決定することに応えて、プリントされた繊維の物理的特性を所定の許容範囲内に維持するために材料流を制御することとを含む、決定することとを含む。好ましくは、取得することは、マイクロ流体架橋プリントヘッドの１つ以上の透明なチャネルを通るストリーミング画像を取得することを含む。
【0033】
実施形態では、取得することは、１つ以上の透明なチャネルの少なくとも１つに対して第１の角度でカメラシステム内に第１のカメラを配置し、１つ以上の透明なチャネルの少なくとも１つに対して第２の異なる角度でカメラシステム内に第２のカメラを配置することを含む。実施形態では、配置することは、第１のカメラ及び第２のカメラを、互いに対して直角に配置することを含む。
【0034】
代替実施形態では、取得することは、１つ以上の透明なチャネルの少なくとも１つに対して第１のビューを提供するためにカメラシステム内にカメラを配置することと、１つ以上の透明なチャネルの少なくとも１つに対して第２の異なるビューを提供するために複数のミラーを配置することとを含む。実施形態では、第２のビューは第１のビューに直交する。実施形態では、配置することは、第２のビューを提供するために３つのミラーを配置することを含む。実施形態では、配置することは、該カメラに第１及び第２のビューを交互に提供するために２つのミラーを配置することを含み、ミラーの１つは、該カメラに第１及び第２のビューを交互に提供するために回転可能である。
【0035】
実施形態では、比較することは、ユーザーによって確立された材料流パラメータから材料流の１つ以上の偏差を特定することを含む。実施形態では、方法は、材料流の１つ以上の偏差が所定の量を超えるかどうかを判断することと、判断することに応えてユーザーによって確立された材料流パラメータの１つ以上を調整して、プリントされた繊維の物理的特性を所定の許容範囲内に維持することをさらに含む。実施形態では、物理的特性は、バイオプリントされた繊維の直径を含む。実施形態では、物理的特性は、バイオプリントされた繊維の同心性を含む。
【0036】
実施形態では、判断することは、機械学習ベースのシステムを使用して、材料流のストリーミング画像の物体検出及び／またはセマンティックセグメンテーションを実行することをさらに含む。実施形態では、物体検出及び／またはセマンティックセグメンテーションは、材料流内での１つ以上の物体の位置の検出を可能にする。実施形態では、物体検出及び／またはセマンティックセグメンテーションは、材料流内での１つ以上の物体の形状及び／またはサイズの視覚的な推定を可能にする。実施形態では、物体検出及び／またはセマンティックセグメンテーションは、材料流内の生物学的材料（例えば、細胞集団）の一般的な量及び／または分布の視覚的な推定を可能にする。
【0037】
実施形態では、取得することは、マイクロ流体デバイス内の三次元（３Ｄ）バイオプリンティングプリントヘッド内の１つ以上の透明なチャネルを通してストリーミング画像を取得することを含み、３Ｄバイオプリンティングプリントヘッドはバイオプリントされた繊維を製造する。実施形態では、監視することは、３Ｄバイオプリンティングプリントヘッド内の複数のチャネルを監視することを含み、複数のチャネルは、材料流にそれぞれの複数の材料を選択的に提供する。
【0038】
実施形態では、少なくとも１つの架橋可能な材料はヒドロゲルを含む。実施形態では、材料流は、少なくとも１つの生物学的材料をさらに含み、好ましくは該少なくとも１つの生物学的材料は細胞集団を含む。実施形態では、細胞集団は、単個細胞浮遊液、細胞集合体、細胞スフェロイド、細胞オルガノイド、またはそれらの組み合わせを含むか、または単個細胞浮遊液、細胞集合体、細胞スフェロイド、細胞オルガノイド、またはそれらの組み合わせから成る群から選択される。実施形態では、材料流は微粒子をさらに含む。実施形態では、材料流は、染料、顔料、またはコロイドをさらに含む。実施形態では、材料流内の細胞の存在は、バイオプリントされた繊維の物理的特性の測定を容易にするための造影剤として機能する。
【0039】
例示的な実施形態では、細胞を含む生体材料は、バイオプリントされた繊維を製造するためにそれぞれのチャネルを通って流れる。実施形態では、バイオプリントされた繊維は、同軸層状ヒドロゲル繊維である。実施形態では、バイオプリントされた繊維は、コアヒドロゲル材料と、コアヒドロゲル材料の周りのシェルヒドロゲル材料とを含み、コアヒドロゲル材料は、所定の許容範囲内でシェルヒドロゲル材料内に同心円状に配置される。
【0040】
一実施形態では、材料流を制御することは、マイクロ流体デバイス内の材料の変位を制御することを含む。別の実施形態では、材料流を制御することは、マイクロ流体デバイス内で材料流の圧力を制御することを含む。
【0041】
実施形態では、機械学習ベースのシステムは、畳み込みニューラルネットワーク（ＣＮＮ）、長期短期メモリ（ＬＳＴＭ）ネットワーク、再帰型ニューラルネットワーク（ＲＮＮ）、再帰型畳み込みニューラルネットワーク（ＲＣＮＮ）、またはＲＮＮとＣＮＮとの組み合わせから成る群から選択される。実施形態では、機械学習ベースのシステムは、グラフィックスプロセッシングユニット（ＧＰＵ）を含む。
【0042】
実施形態では、方法は、透明なチャネルの１つ以上を照明するために、発光ダイオード（ＬＥＤ）またはＬＥＤアレイを配置することをさらに含む。いくつかの実施形態では、方法は、カメラのそれぞれに、１つのＬＥＤまたはＬＥＤアレイをそれぞれ配置することを含む。いくつかの実施形態では、方法は、それぞれのカメラの背後に各ＬＥＤまたはＬＥＤアレイを配置することを含む。代替実施形態では、方法は、それぞれのカメラから透明なチャネルの反対側に、各ＬＥＤまたはＬＥＤアレイを配置することを含む。
【0043】
実施形態では、方法は、ストリーミング画像に対して物体検出及び／またはセマンティックセグメンテーションを実行するために、機械学習ベースのシステムを使用して、ストリーミング画像に表される材料流を分析することによって、例えば詰まり及び／または気泡など、材料の１つ以上の欠陥を特定することをさらに含む。
【0044】
実施形態では、方法は、ストリーミング画像に対して物体検出及び／またはセマンティックセグメンテーションを実行するために、機械学習ベースのシステムを使用して、材料流内の１つ以上の物体の一般的な量及び／または分布を提供することをさらに含み、好ましくは、１つ以上の物体は、例えば細胞など、生物学的材料を含む。
【0045】
実施形態では、方法は、コアヒドロゲル材料がシェルヒドロゲル材料内で同心円状に配置されるかどうかを分析することをさらに含む。
【0046】
本明細書に組み込まれ、明細書の一部を形成する添付の図面は、本開示の実施形態を例証しており、説明とともに、本開示の原理を説明し、当業者が本開示を為し、かつ利用することを可能にするためにさらに役立つ。
【図面の簡単な説明】
【0047】
【図1】Ａ～Ｆは、異なる繊維の断面図を示す。
【0048】
【図2A】１つ以上の実施形態によるシステムの高レベルブロック図である。
【図2B】１つ以上の実施形態によるカメラビジョンシステムのより詳細な図である。
【図2C】１つ以上の実施形態によるカメラビジョンシステムのより詳細な図である。
【図2D】１つ以上の実施形態によるカメラビジョンシステムのより詳細な図である。
【0049】
【0050】
【図4】Ａ及びＢは、１つ以上の実施形態による繊維を製造する際に使用される材料の提供のための弁配置を示す。
【0051】
【図5】１つ以上の実施形態の動作の高レベルフローチャートである。
【0052】
【図6】Ａ～Ｄは、事例研究を実行するためのニューラルネットワークの訓練に関する写真及びグラフを示す。
【0053】
【図7】Ａ及びＢは、訓練結果を示す。
【0054】
【図8A】事例研究に関する写真及びプロットを示す。
【図8B】事例研究に関する写真及びプロットを示す。
【図8C】事例研究に関する写真及びプロットを示す。
【図8D】事例研究に関する写真及びプロットを示す。
【図8E】事例研究に関する写真及びプロットを示す。
【図8F】事例研究に関する写真及びプロットを示す。
【図8G】事例研究に関する写真及びプロットを示す。
【図8H】事例研究に関する写真及びプロットを示す。
【0055】
【図8I】繊維生成を妨害する詰まりの例示的な画像を示す。
【0056】
【図8J】繊維生成を妨害する気泡の例示的な画像を示す。
【0057】
【0058】
【図10A】さらなる事例研究に関する写真及びプロットを示す。
【図10B】さらなる事例研究に関する写真及びプロットを示す。
【図10C】さらなる事例研究に関する写真及びプロットを示す。
【図10D】さらなる事例研究に関する写真及びプロットを示す。
【図10E】さらなる事例研究に関する写真及びプロットを示す。
【図10F】さらなる事例研究に関する写真及びプロットを示す。
【図10G】さらなる事例研究に関する写真及びプロットを示す。
【図10H】さらなる事例研究に関する写真及びプロットを示す。
【図10I】さらなる事例研究に関する写真及びプロットを示す。
【0059】
【0060】
【0061】
【図13】バイオプリントされた繊維の、そのプリント中のビデオ録画の３つの時点（０秒、３０秒、９０秒）からのスクリーンショット（左）及び生物学的材料（右）の対応する高レベル数値化を示す。
【0062】
【0063】
【図15】Ａは、コア及びシェルの画像を示す。Ｂ～Ｅは、シェル内の異なるコア位置の画像を示す。
【発明を実施するための形態】
【0064】
本発明によるシステム、装置、及び方法の特定の例示的な態様は、以下の説明及び添付の図に関連して本明細書に説明される。しかしながら、これらの態様は、本発明の原理を用い得る様々な方法のうちのいくつかを示しており、本発明は、すべてのそのような態様及びその均等物を含むことを意図している。本発明の他の優位点及び新規の特徴は、図と併せて考慮したときに以下の詳細な説明から明らかになり得る。
【0065】
以下の詳細な説明では、本発明の完全な理解を提供するために、多くの具体的な詳細が述べられている。他の例では、本発明を不必要に不明瞭にしないために、構造、インターフェース、及びプロセスを詳細には説明していない。しかしながら、本明細書に開示されるそれらの具体的な詳細は、本発明を実施するために使用される必要はなく、特許請求の範囲に記載される場合を除き、本発明の範囲に対する制限を表さないことは、当業者には明らかであろう。本明細書のどの部分も、本発明の全範囲の任意の部分の否定をもたらすと解釈されないことが意図される。本開示の特定の実施形態が説明されているが、これらの実施形態は、同様に、本発明の全範囲を限定することを意図していない。
【0066】
図２Ａは、本発明の実施形態に統合することができる要素の高レベルブロック図を示す。図２の要素は、３Ｄバイオプリンタプラットフォームに統合され得る。一例は、Ａｓｐｅｃｔ Ｂｉｏｓｙｓｔｅｍｓ製のＲＸ１（商標）バイオプリンタである。図２Ａをより詳細に見ると、ストリーミングビデオ画像を提供することによって繊維の３Ｄプリンティングのリアルタイム観察を可能にするために、コンピュータビジョンシステムの一部を形成する２つのカメラ２１０、２１５は、それぞれ、透明なプリントヘッドノズル２２０の背面及び片側に、ノズルを垂直に通る軸２２５（図２Ａでは、見やすくするために軸２２５は拡大されている）に垂直に配置され得る。
【0067】
本願では、「透明な」は、光がマイクロチャネル及び／またはノズルの構造を通過することを可能にし、マイクロチャネル及び／またはノズル内の材料の観察を可能にするほど十分に半透明であることを意味する。コア及び１つ以上のシェルを含む多層繊維の場合、ノズルは、コアと１つ以上のシェルを視覚的に区別することを可能にするほど十分に透明である。
【0068】
一実施形態では、カメラ２１０、２１５は、互いに対して９０度の角度に配置される。ノズルの配置及び構成に応じて、単独でまたはバイオプリンティングシステム内でのどちらかで、異なる角度が許容可能であるか、または好ましい場合もある。さらに、異なる実施形態によれば、カメラ２１０、２１５の解像度は変化する可能性がある。いくつかの実施態様では、４８０ｐの解像度で十分である場合がある。他の実施態様では、より高い解像度が望ましい場合がある。より高い解像度は、将来予想されるであろう。インターレース方式のビデオは、いくつかの実施態様では許容可能なビデオ品質を提供し得る。
【0069】
一実施形態では、カメラ２１０、２１５は、３０ＦＰＳで４Ｋ（２１６０×３８４０ピクセル）の解像度をサポートし得る。他の解像度及びフレーム速度が適切である場合がある。実施形態は、８ＭＰ構造で焦点距離が１１．９ｍｍのＭ２レンズを用い得る（名称「Ｍ１２」は、レンズ上のマウントのサイズを指す）。Ｍ１２は、異なる焦点距離を有し、異なるＦストップ値を有する可能性があるレンズのタイプである。異なるマウントサイズ（例えば、Ｍ４～Ｍ１０）を有する他のレンズが好適な場合がある。また、ＣマウントまたはＣＳマウントなど、他のタイプのマウントが好適な場合がある。８ＭＰ以外の他の構造が適切な場合もある。
【0070】
【0071】
いくつかの実施形態では、カメラは、視野内での焦点及び倍率を最適化するために、各レンズがプリントヘッドのノズルの中心から約２６ｍｍとなり得るように配置される。異なるＦストップ及び異なる視野を有する異なる焦点距離のレンズは、異なる位置決めを可能にし得る。１つの構成では、２つのカメラは、ノズルの２つの直交するビューを生じさせるためにノズルの２つの側面上で互いに直角に配置される。一実施形態では、各カメラの背後からもしくは各カメラの反対側からのどちらか、または両方から、ノズルを照明するために追加の照明が提供され得る。照明は、フロントカメラ２１０用の発光ダイオード（ＬＥＤ）もしくはＬＥＤアレイ２３０、またはサイドカメラ２１５用のＬＥＤもしくはＬＥＤアレイ２３５を含み得る。ＬＥＤまたはＬＥＤアレイ２３０は、ノズルを照明するために光（一実施形態では、白色光）を投射するためにカメラレンズと軸上に配置され得る。光は、撮像が行われる場所により明確に光を集束させるのを助けるために、狭い円形もしくは多角形の穴、またはスリット（図示せず）を通過し得る。これらの種類の光学機器の配置により、内側ノズルの端縁（繊維が中に形成される内径）及び製造されている繊維（同心繊維の場合、シェル及びコア）は、カメラビューで可視であり得る。
【0072】
一実施形態では、１つ以上のミラーは、本明細書に説明される例示的なカメラ２１０のいずれかであってよいカメラに所望のビューを提供するように配置され得る。図２Ｄでは、ＬＥＤ光源であってよい光源２７０、２７５は、光にノズル２２０を通過させる。光源２７０は、ミラー２５２に当たり、さらなるミラー２５６に反射され、次に、カメラ構造２６２及びレンズ２６４を含むカメラ２６０に反射される光（点線）を提供する。光源２７５は、別のミラー２５４に当たり、（ダイクロイックミラーであってよい）を通して反射されてカメラ２６０に到達する光（実線）を提供する。一実施形態では、ミラー及び光源は、ノズル２２０を通して直角に光を通過させるように配置される。
【0073】
プリントヘッドノズル２２０及びノズル内側で製造されている繊維の２つの直交画像により、以下の３つの値を取得することが可能である。
１）既知のノズル内径、及び既知のレンズ及びノズル中心からの距離により、ノズル内径内のピクセル数を測定し、したがって各ピクセルが表す水平距離を決定することが可能である。
２）繊維の断面が楕円形であると仮定すると、２つの直交するビューから繊維径及び／または繊維コア直径のベクトル和を取り、繊維及びコアの真の直径の上限及び下限を決定することが可能である。
３）繊維及びコアの左端縁及び右端縁の位置についての情報を用いて、全体的な繊維径に対するコアの中心の比率をとることによって、全体的な繊維径に対するコアの同心性の程度を連続的に計算することが可能である。同じ原理を使用すると、内側ノズルに対する繊維またはコアの同心性を連続的に計算することが可能である。
１）既知のノズル内径、及び既知のレンズ及びノズル中心からの距離により、ノズル内径内のピクセル数を測定し、したがって各ピクセルが表す水平距離を決定することが可能である。
２）繊維の断面が楕円形であると仮定すると、２つの直交するビューから繊維径及び／または繊維コア直径のベクトル和を取り、繊維及びコアの真の直径の上限及び下限を決定することが可能である。
３）繊維及びコアの左端縁及び右端縁の位置についての情報を用いて、全体的な繊維径に対するコアの中心の比率をとることによって、全体的な繊維径に対するコアの同心性の程度を連続的に計算することが可能である。同じ原理を使用すると、内側ノズルに対する繊維またはコアの同心性を連続的に計算することが可能である。
【0074】
さらに、定められた流量及び測定された繊維径により、プリント速度を最適化するためのもう１つの重要なフィードバックである繊維速度を計算することも可能である。ノズルの段に対する移動が速すぎるまたは遅すぎる場合、繊維及びプリントされた構造の忠実度は悪影響を受ける。
【0075】
機械学習モジュール２４０は、フロントカメラ２１０及びサイドカメラ２１５からデータストリームまたは取り込まれた画像を受信する。実施形態では、モジュール３４０は、機械学習システムがデータストリームまたは取り込まれた画像の高速の計算分析を実行するために必要な計算、及びバイオプリンティングシステム内の材料流を制御するためのフィードバックを提供するモデルの訓練を容易にするために、複数のコアを有する１つまたは複数のＧＰＵプロセッサを用い得る。実施形態では、モデル訓練は、訓練されているモデルによる最適化及び推論を容易にするために試験及び検証を含む場合がある。
【0076】
機械学習モジュール２４０は、いくつかのユーザー対話機能及びシステム対話機能も実行し得るコンピュータシステム（メインコンピュータ）２５０と対話し得る。ユーザー対話のために、コンピュータシステム２５０は、カメラ２１０、２１５、機械学習モジュール、及び（プリントヘッドノズル２５０が当然その一部である）バイオプリンティングシステム自体など、様々な他の構成要素との対話のための適切なグラフィックディスプレイ及びグラフィックユーザーインターフェースを提供し得る。
【0077】
コンピュータシステム２５０が実行する制御の一部は、以下に説明される様々なマイクロ流体プリントヘッドチャネル内での圧力の制御によるのか、それともチャネルを通る材料の変位の制御によるのかに関わりなく、繊維同心性、及び材料流を調整するためのバイオプリンティングシステムにおける制御システムへのアクセスの監視を含む。実施形態では、制御は、プリントヘッド上の空気圧弁の開閉をオンもしくはオフに切り替えること、またはそれ以外の場合、プリントヘッド上の空気圧弁の開閉を調整することを含み得る。実施形態では、コンピュータシステム２５０が実行する制御の一部は、物体検出及びまたはセマンティックセグメンテーションを含む。実施形態では、物体検出及び／またはセマンティックセグメンテーションによって、材料流内の生物学的材料（例えば、細胞集団）の一般的な量及び／または分布の視覚的な推定が可能になる。
【0078】
コンピュータシステム２５０はまた、カメラ２１０、２１５からのそれぞれのフィードのプリントヘッド固有の情報ビューの読み取りを可能にして、フィードの一方または両方の記録及び／またはロードを可能にし得、とりわけコントラスト、色合い、輝度、及び鮮明さなど、カメラ／ビデオのパラメータを調整し得る。
【0079】
図３は、同心性監視を可能にし、制御システムがマイクロ流体チャネル弁及び圧力を調整することを可能にするためのソフトウェア及び付属のユーザーインターフェースの一実施形態によるディスプレイの代表的な画像を示す。実施形態では、ディスプレイは、ビデオカメラ画像のライブストリーミング、自動化されたセグメント化の結果、繊維特性及び同心性の試験測定値、及び／または認識された物体（例えば、生物学的材料）に関する測定されたパラメータを示し得る。他の実施形態では、詰まりもしくは気泡、または不安定性などのチャネル状態が表示される可能性がある。いくつかの状態は、凝集を低減するためにバイオインクを攪拌すること、または気泡を取り除くためにチャネルをパージすることなど、ユーザーに対する是正措置を示唆する可能性がある。他のディスプレイの可能性は、繊維特性についての量に関する情報を含み得る。一実施形態では、特定の画像のセグメント化または分類における確実度の程度を示す、機械学習システムからの信頼区間評価を表示することができる。
【0080】
図４Ａは、異なる生体材料または細胞を含む別個のヒドロゲルに対する制御を提供し得、したがってバイオプリンティング中の異なる単一材料の繊維の生成を可能にする１つの種類のプリントヘッド４００の例示的な構成を示す。Ａｓｐｅｃｔ Ｂｉｏｓｙｓｔｅｍｓ ＤＵＯ（商標）プリントヘッドは、図４Ａが示す構造に対応する構造を有する。図４Ａでは、異なる材料は、それぞれ、（弁４１２が接続される）ライン４１０及び（弁４２２が接続される）ライン４２０を通して提供される。バッファは、（バルブ４２２が接続される）ライン４３０を通して提供され得る。架橋材料は、（弁４４２が接続される）ライン４４０を通して提供され得る。バイオプリントされた繊維は、出口４４５で製造される。
【0081】
図４Ｂは、同軸層状ヒドロゲル繊維の形成に対する制御を提供し得る、別の種類のプリントヘッド４５０の例示的な構成を示し、繊維は、細胞を有するまたは細胞を有さない異なるヒドロゲル材料によってそれぞれ構成されるコア及びシェルから成る。Ａｓｐｅｃｔ Ｂｉｏｓｙｓｔｅｍｓ ＣＥＮＴＲＡ（商標）プリントヘッドは、図４Ｂが示す構造に対応する構造を有する。図４Ｂでは、コア材料は、（それぞれの弁４６２、４６７が接続される）ライン４６０、４６５を通して提供され得る。シェル材料は、（弁４７２、４７７が接続される）ライン４７０、４７５を通して提供され得る。バッファ材料は、（弁４８２が接続される）ライン４８０を通して提供され得る。架橋材料は、（弁４９２が接続される）ライン４９０を通して提供され得る。バイオプリントされた同軸繊維は、出口４９５で製造される。
【0082】
【0083】
使用されている材料流制御のタイプに応じて、圧力コントローラまたは変位コントローラのどちらかが、３Ｄプリンティング中にプリントヘッドを通る生体材料の流れ及び圧力または変位の制御を可能にすることができる。図４Ａ及び図４Ｂを参照すると、ライン４１０、４２０、４６０、４６５、４７０、及び４７５を通る生体材料の圧力は、ラインと関連する弁４１２、４２２、４６２、４６７、４７２、及び４７７の制御を通してを含む様々な方法で制御され得る。
【0084】
図５は、自動フィードバック制御を提供するためのコンピュータビジョン及び機械学習ツールの実装及び使用の高レベルフローチャートである。５１０で、コンピュータビジョンシステムのカメラは、プリントヘッドノズルを通過する材料のビデオ画像を録画するために制御される。これらの画像は、３Ｄバイプリンティングシステムの様々なタイプの動作を通して取得される。機械学習モデルのための訓練セット用のデータを生成するために、例えば、システムは、既知の材料及びパラメータで操作されて、既知の結果を取得し得る。訓練されたシステムの試験及び評価で使用される他のデータセットも、生成され得る。
【0085】
５２０で、収集されたデータは、上述の訓練セット及び試験／評価セットにおいて分離されてよい。５３０で、訓練セットに重点を置く場合、対象の特徴は、訓練中にそれらに重点を置くことを容易にするためにラベルを付けられ得る。５４０で、適切にラベルを付けられた訓練セットは、深層学習モデルを訓練するために深層学習モデルに適用され得、モデルに訓練データから正しい結果を生成させるためにモデルを発展させる。いくつかの深層学習モデルでは、結果の順方向伝搬が使用され得る。他のモデルでは、逆伝搬が使用され得る。
【0086】
一実施形態では、例えば、ＵＮＥＴネットワークアーキテクチャを有する畳み込みニューラルネットワーク（ＣＮＮ）が利用され得る。この種のネットワークは、（例えば、医療用撮像の分野での）不十分に画定された境界を有する非常に複雑な構造の画像を取り扱うときに好ましい結果を提供することが知られている。バイオプリンタのノズルにより、カメラビジョンシステムがノズルを通して良好に見て、異なる生体材料に到達するための能力がより制限される場合がある。当業者は、例えば、長期短期メモリ（ＬＳＴＭ）ネットワークまたは再帰型ＣＮＮ（ＲＣＮＮ）などの異なる様々なＣＮＮは、効果的に用いられ得ることを理解する。一実施形態では、再帰型ニューラルネットワーク（ＲＮＮ）は、単独で、またはＣＮＮと組み合わせて使用され得る。
【0087】
５５０で、訓練結果は例えば、弁の位置、繊維の寸法、繊維コア及び繊維シェルの同心性など、対象の様々な特徴を特定するために分析され得る。結果は、次に、対象の特徴、精度のレベルなどに従って分類され得る。５６０で、試験／検証セットは、訓練されたネットワークの性能を評価するために使用され得る。５７０で、モデルに満足がいく場合、次に、５８０で、完成した訓練済みのモデルを展開し得る。モデルに満足がいかない場合、次に、５７５で、訓練セットは修正され得、制御はさらなる訓練のために５３０に戻され得る。訓練セットの修正は、以前の訓練セットで取得された結果の性質によって通知される。
【0088】
材料流：
【0089】
本発明の態様は、生体材料としての有利な使用のために繊維構造をプリントするために使用できる材料流を含む。本明細書で使用される場合、「生体材料」は、生体細胞を有するまたは有さないヒトの組織など、組織を構築または置換するために役立つ天然物質または合成物質を指す。バイオプリンティングの分野では、用語「生体材料」は、多くの場合、用語「バイオインク」と同義である。
【0090】
材料流は、一般に、例えば、アルギン酸塩、キトサン、ＰＥＧＤＡ、ＰＥＧＴＡ、ヒアルロン酸（ＨＡ）、ＨＡＭＡ、コラーゲン、ＣｏｌｌＭＡ、ゼラチン、ｇｅｌＭＡ、アガロース、ジェラン、フィブリン（フィブリノゲン）、ＰＶＡなど、または任意のそれらの組み合わせを含むが、これらに限定されないヒドロゲル、及びＰＣＬ、ＰＬＧＡ、ＰＬＡなど、または任意のそれらの組み合わせを含むが、これらに限定されない非ヒドロゲルなど、少なくとも１つの架橋可能な材料を含む。好ましい実施形態では、材料流は、少なくとも１つのヒドロゲルを含む。ヒドロゲルの非限定的な例は、アルギン酸塩、アガロース、コラーゲン、フィブリノゲン、ゼラチン、キトサン、ヒアルロン酸系ゲル、またはこれらの任意の組み合わせを含む。様々な合成ヒドロゲルが知られており、本明細書で提供されるシステム及び方法の実施形態で使用できる。例えば、いくつかの実施形態では、１つ以上のヒドロゲルは、プリントされる三次元構造の構造的基礎の少なくとも一部を形成する。いくつかの実施形態では、ヒドロゲルは、１つ以上の細胞型の成長及び／または増殖を支援する能力を有し、１つ以上の細胞型は、ヒドロゲル内に分散され得るか、または三次元構成でプリントされた後にヒドロゲルに添加され得る。
【0091】
実施形態では、ヒドロゲルは、化学架橋剤により架橋可能である。例えば、アルギン酸塩を含むヒドロゲルは、塩化カルシウム（ＣａＣｌ２）などの二価カチオンの存在下で架橋可能であり得、キトサンを含むヒドロゲルは、トリポリリン酸ナトリウム（ＳＴＰ）などの多価アニオンを使用して架橋され得、フィブリノゲンを含むヒドロゲルは、トロンビンなどの酵素の存在下で架橋可能であり得、コラーゲン、ゼラチン、アガロース、またはキトサンを含むヒドロゲルは、熱または塩基性溶液の存在下で架橋可能であり得る。
【0092】
実施形態では、ヒドロゲル繊維は、投入材料と混和性のある架橋剤材料に投入材料に曝露すると、投入材料からの溶剤の抽出を介して達成される沈殿反応により、生成され得る。沈殿反応を介して繊維を形成する投入材料の非限定的な例は、コラーゲン及びポリ乳酸（ＰＬＡ）を含む。沈殿媒介ヒドロゲル繊維形成を可能にする架橋材料の非限定的な例は、ポリエチレングリコール（ＰＥＧ）及びアルギン酸塩を含む。ヒドロゲルの架橋は、ヒドロゲルの硬度を高め、いくつかの実施形態では、固化したヒドロゲルの形成を可能にする。
【0093】
いくつかの実施形態では、ヒドロゲルはアルギン酸塩を含む。アルギン酸塩は、二価カチオンと接触すると、固化したコロイドゲル（高含水ゲルまたはヒドロゲル）を形成する。アルギン酸塩を含む投入材料により、固化したヒドロゲルを形成するために、任意の好適な二価カチオンが使用され得る。アルギン酸イオン親和性系列Ｃｄ２＋＞Ｂａ２＋＞Ｃｕ２＋＞Ｃａ２＋＞Ｎｉ２＋＞Ｃｏ２＋＞Ｍｎ２＋では、アルギン酸ゲルを形成するのに、Ｃａ２＋が最適な特徴を有し、最もよく使用される（Ｏｕｗｅｒｘ，Ｃ．ｅｔ ａｌ．，Ｐｏｌｙｍｅｒ Ｇｅｌｓ ａｎｄ Ｎｅｔｗｏｒｋｓ，１９９８，６（５）：３９３－４０８）。研究により、隣接するポリマー鎖上のポリＧブロックによるＣａ２＋イオンの協働的結合を介して、アルギン酸カルシウムゲル、いわゆる「エッグボックス」モデルが形成されることが示されている（ＩＳＰ Ａｌｇｉｎａｔｅｓ，Ｓｅｃｔｉｏｎ ３：Ａｌｇｉｎ－Ｍａｎｕｆａｃｔｕｒｅ ａｎｄ Ｓｔｒｕｃｔｕｒｅ，ｉｎ Ａｌｇｉｎａｔｅｓ：Ｐｒｏｄｕｃｔｓ ｆｏｒ Ｓｃｉｅｎｔｉｆｉｃ Ｗａｔｅｒ Ｃｏｎｔｒｏｌ， ２０００，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｐｅｃｉａｌｔｙ Ｐｒｏｄｕｃｔｓ：Ｓａｎ Ｄｉｅｇｏ，ｐｐ．４－７）。Ｇリッチアルギン酸塩は、熱的に安定性があり、強いが脆いＣａゲルを形成する傾向があり、一方、Ｍリッチアルギン酸塩は、熱的安定性が低く、より弱いがより弾性のあるゲルを形成する傾向がある。いくつかの実施形態では、ヒドロゲルは、脱重合化アルギン酸塩を含む。
【0094】
いくつかの実施形態では、ヒドロゲルは、フリーラジカル重合反応を使用して架橋可能であり、分子間に共有結合が生成される。フリーラジカルは、光重合開始剤を光（多くの場合紫外線）にさらすことにより生成され得るか、または、それぞれ開始剤及び触媒としてＮ，Ｎ，Ｎ，Ｎ－テトラメチルエチレンジアミン（ＴＥＭＥＤ）と組み合わせた過硫酸アンモニウム（ＡＰＳ）またはペルオキソ二硫酸カリウム（ＫＰＳ）などのフリーラジカルの化学源に、ヒドロゲル前駆体をさらすことにより生成され得る。光架橋可能なヒドロゲルの非限定的な例は、細胞に対して不活性であるため、細胞生物学に使用される、ヒアルロン酸メタクリレート（ＨＡＭＡ）、ゼラチンメタクリレート（ＧＥＬ－ＭＡ）、またはポリエチレン（グリコール）アクリレート系（ＰＥＧ－アクリレート）ヒドロゲルなどのメタクリレート化ヒドロゲルを含む。ポリエチレングリコールジアクリレート（ＰＥＧ－ＤＡ）は、重合が室温で急速に発生し、必要なエネルギー投入が少なく、含水率が高く、弾性があり、様々な生体分子を含むようにカスタマイズできるため、組織工学においてスキャフォールドとして通常使用される。
【0095】
実施形態では、材料流は、生物分解が不可能なポリマーを含む。実施例では、投入材料は、合成ポリマー、例えばポリ酢酸ビニル（ＰＶＡ）であってよい。実施形態では、材料流 は、ヒアルロン酸（ＨＡ）を含み得る。
【0096】
実施形態では、材料流は微粒子を含み、本明細書で使用される場合「微粒子」は、通常、ポリマー、金属、または他の無機材料から成る、約０．１μｍ～約１００μｍの範囲の不混和性粒子を指す。微粒子は対称的（例えば、球形、立方体など）であり得るが、これは要件ではない。２：１以上のアスペクト比を有する微粒子は、マイクロロッドまたはマイクロファイバーと見なし得る。
【0097】
追加の成分：
【0098】
本発明の実施形態による材料流は、例えば、アルギン酸塩、ラミニン、フィブリン、ヒアルロン酸、ポリ（エチレン）グリコール系ゲル、ゼラチン、キトサン、アガロース、またはこれらの組み合わせを含む生体細胞の生存能力を支持する多種多様の天然ポリマーまたは合成ポリマーのいずれかを含み得る。実施形態では、主題の組成物は、生理学的に適合性があり、すなわち細胞の成長、細胞の分化、及び細胞通信を促進する。特定の実施形態では、投入材料は、１つ以上の生理学的マトリックス材料、またはこれらの組み合わせを含む。「生理学的マトリックス材料」は、天然の哺乳動物組織に見られる生物学的材料を意味する。このような生理学的マトリックス材料の非限定的な例は、フィブロネクチン、トロンボスポンジン、グリコサミノグリカン（ＧＡＧ）（例えばヒアルロン酸、コンドロイチン－６－硫酸、デルマタン硫酸、コンドロイチン－４－硫酸、またはケラチン硫酸）、デオキシリボ核酸（ＤＮＡ）、接着糖タンパク質、及びコラーゲン（例えばコラーゲンＩ、コラーゲンＩＩ、コラーゲンＩＩＩ、コラーゲンＩＶ、コラーゲンＶ、コラーゲンＶＩ、またはコラーゲンＸＶＩＩＩ）を含む。
【0099】
コラーゲンは、ほとんどの組織に引張強度を与え、直径約１００ｎｍの複数のコラーゲン原線維は結合して、直径約１０μｍの強力な多重コイル繊維が生成される。特定の組織構築物の生体力学的機能は、コラーゲン繊維の整列を介して、配向される様式で与えられる。いくつかの実施形態では、投入材料は、コラーゲン原線維を含む。コラーゲン原線維を含む投入材料を使用して、組織構築物へと形成される繊維構造が作成され得る。繊維構造の直径を調節することにより、コラーゲン原線維の配向を制御して、所望の様式でのコラーゲン原線維の重合を指示することができる。
【0100】
例えば、以前の研究では、異なる直径のマイクロ流体チャネルは、コラーゲン原線維の重合を指示して、チャネルの長さに沿って配向された繊維を形成できるが、チャネルの直径は１００μｍ以下のみであることが示された（Ｌｅｅ ｅｔ ａｌ．， ２００６）。これらの配向されたマトリックスで成長した一次内皮細胞は、コラーゲン繊維の方向に整列することが示された。別の研究では、Ｍａｒｔｉｎｅｚ ｅｔ ａｌ．は、セルローズビーズスキャフォールド内の５００μｍチャネルが、コラーゲン及び細胞の整列を指示できることを実証した（Ｍａｒｔｉｎｅｚ ｅｔ ａｌ．、２０１２）。繊維の直径を調節することにより、繊維構造内のコラーゲン繊維の配向を制御できる。よって、繊維構造及びその中のコラーゲン繊維は、３Ｄプリントされる構造に対し所望の生体力学的特性を与えるために不可欠なコラーゲン繊維の所望の構成を有する組織構築物を作製するように、パターン化され得る。
【0101】
細胞集団：
【0102】
実施形態では、細胞集団は、単個細胞浮遊液、細胞集合体、細胞スフェロイド、細胞オルガノイド、またはそれらの組み合わせを含むか、または単個細胞浮遊液、細胞集合体、細胞スフェロイド、細胞オルガノイド、またはそれらの組み合わせから成る群から選択される。本発明の実施形態による流動材は、幹細胞（例えば胚性幹細胞、成体幹細胞、誘導多能性幹細胞）、胚細胞、内胚葉細胞（例えば肺細胞、肝臓細胞、膵臓細胞、胃腸管細胞、もしくは尿生殖路細胞）、中胚葉細胞（例えば腎臓細胞、骨細胞、筋肉細胞、内皮細胞、もしくは心臓細胞）、外胚葉細胞（皮膚細胞、神経系細胞、脳下垂体細胞、もしくは眼細胞）、幹細胞由来細胞、またはこれらの任意の組み合わせを含むがこれらに限定されない任意の哺乳類細胞型を組み込み得る。
【0103】
例えば、流動材は、膵臓（α、β、δ、ε、γ）、肝臓（肝細胞、Ｋｕｐｐｆｅｒ細胞、星細胞、類洞内皮細胞、胆管細胞）、甲状腺（濾胞細胞）、松果体（松果体細胞）、下垂体腺（成長ホルモン産生細胞、乳腺刺激ホルモン分泌細胞、性腺刺激ホルモン分泌細胞、副腎皮質刺激ホルモン分泌細胞、及び甲状腺刺激ホルモン産生細胞）、胸腺（胸腺細胞、胸腺上皮細胞、胸腺間質細胞）、副腎（皮質細胞、クロム親和細胞）、卵巣（顆粒膜細胞）、精巣（ライディッヒ細胞）、胃腸管（腸内分泌細胞－腸、胃、膵臓）を含む内分泌腺及び外分泌腺由来の細胞、繊維芽細胞、軟骨細胞、半月板繊維軟骨細胞、骨髄間質（幹）細胞、胚性幹細胞、間葉系幹細胞、人工多能性幹細胞、分化幹細胞、組織由来細胞、平滑筋細胞、骨格筋細胞、心筋細胞、上皮細胞、内皮細胞、筋芽細胞、軟骨芽細胞、骨芽細胞、破骨細胞、ならびにそれらの任意の組み合わせを含み得る。
【0104】
細胞は、レシピエントと同じ種（同種異系）から、レシピエントとは異なる種（異種）から、またはレシピエント（自家組織）からのドナーから取得することができる。具体的には、実施形態では、細胞を、ヒトまたは動物などの好適なドナーから、または細胞を移植する被験者から取得することができる。哺乳類動物種には、ヒト、サル、イヌ、ウシ、ウマ、ブタ、ヒツジ、ヤギ、ネコ、マウス、ウサギ、及びラットが含まれるが、これらに限定されない。一実施形態では、細胞はヒト細胞である。他の実施形態では、細胞は、イヌ、ネコ、ウマ、サル、または任意の他の哺乳類などに由来する、異種であり得る。
【0105】
いくつかの実施形態では、少なくとも１つの生体材料は、例えば、インスリン、グルカゴン、グレリン、膵臓ポリペプチド、第ＶＩＩ因子、第ＶＩＩＩ因子、第ＩＸ因子、α１－アンチトリプシン、血管新生因子、成長因子、ホルモン、抗体、酵素、タンパク質、エキソソームなど、１つ以上の内在性の生物活性剤（複数可）を発現／分泌する、細胞集団を含む。本明細書で説明されるように、内在性の生物活性剤は、細胞が生物学的な状況下で天然に産生する物質（例えば、グルコース濃度上昇に応じたインスリン放出）を含む。内在性の生物活性剤は、本開示に関して治療薬を構成することができる。
【0106】
いくつかの実施形態では、流動材は、特定の因子を分泌する遺伝子操作された細胞を含み得る。実施形態では、上述の細胞集団が、特定の因子を分泌する操作された細胞（例えば、遺伝子操作された細胞）を含み得ることは、本開示の範囲内である。細胞はまた、樹立細胞培養株からのものであり得る、または所望の遺伝子型または表現型を得るために遺伝子操作及び／または遺伝子組み換えを受けた細胞であり得る。いくつかの実施形態では、組織片を使用することもでき、これは、同じ構造内にいくつかの異なる細胞型を提供し得る。
【0107】
本開示に適用可能な遺伝子改変技術は、組換えＤＮＡ（ｒＤＮＡ）技術（Ｓｔｒｙｊｅｗｓｋａ ｅｔ ａｌ．，Ｐｈａｒｍａｃｏｌｏｇｉａｌ Ｒｅｐｏｒｔｓ．２０１３；６５：１０７５）、標的化ヌクレアーゼ（例えば、メガヌクレアーゼ、ジンクフィンガーヌクレアーゼ（ＺＦＮ）、転写活性化因子様エフェクターヌクレアーゼ（ＴＡＬＥＮ）、クリスパー関連ヌクレアーゼＣａｓ９（ＣＲＩＳＰＥＲ－Ｃａｓ９）などの使用に基づく細胞改変（Ｌｉｍ ｅｔ ａｌ．，Ｎａｔｕｒｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ．２０２０；１１：４０４３；Ｓｔｏｄｄａｒｄ ＢＬ，Ｓｔｒｕｃｔｕｒｅ．２０１１；１９（１）：７－１５；Ｇａｊ ｅｔ ａｌ．，Ｔｒｅｎｄｓ Ｂｉｏｔｅｃｈｎｏｌ．２０１３；３１（７）：３９７－４０５；Ｈｓｕ ｅｔ ａｌ．，Ｃｅｌｌ．２０１４；１５７（６）：１２６２；Ｍｉｌｌｅｒ ｅｔ ａｌ．，Ｎａｔ Ｂｉｏｔｅｃｈｎｏｌ．２０１０；２９（２）：１４３－１４８）、リコンビナーゼ系（例えば、Ｃｒｅ－Ｌｏｘ）を使用した部位特異的組換えの使用に基づく細胞改変（Ｏｓｂｏｒｎ ｅｔ ａｌ．，Ｍｏｌ Ｔｈｅｒ．２０１３；２１（６）：１１５１－１１５９；Ｈｏｃｋｅｍｅｙｅｒ ｅｔ ａｌ．，Ｎａｔ Ｂｉｏｔｅｃｈｎｏｌ．２００９；２７（９）：８５１－８５７；Ｕｈｄｅ－Ｓｔｏｎｅ ｅｔ ａｌ．，ＲＮＡ．２０１４；２０（６）：９４８－９５５；Ｈｏ ｅｔ ａｌ．，Ｎｕｃｌｅｉｃ Ａｃｉｄｓ Ｒｅｓ．２０１５；４３（３）：ｅ１７；Ｓｅｎｇｕｐｔａ ｅｔ ａｌ．，Ｊｏｕｒｎａｌ ｏｆ Ｂｉｏｌｏｇｉｃａｌ Ｅｎｇｉｎｅｅｒｉｎｇ．２０１７；１１（４５）：１－９）などを含み得るが、これらに限定されない。いくつかの実施形態では、細胞改変のために上述の技術のいくつかの組み合わせを用いてもよい。
【0108】
本開示には、タンパク質、ペプチド、核酸（例えば、ＤＮＡ、ＲＮＡ、ｍＲＮＡ、ｓｉＲＮＡ、ｍｉＲＮＡ、核酸類似体）、ペプチド核酸、アプタマー、抗体またはその断片もしくは部分、抗原またはエピトープ、ホルモン、ホルモンアンタゴニスト、成長因子または組換え成長因子及びその断片及びバリアント、サイトカイン、酵素、抗生物質または抗菌化合物、抗炎症剤、抗真菌剤、抗ウイルス剤、毒素、プロドラッグ、小分子、薬物（例えば、薬物、色素、アミノ酸、ビタミン、抗酸化剤）、あるいはこれらの任意の組み合わせを含むがこれらに限定されない、１つ以上の治療薬を産生可能な改変された細胞が包含される。
【0109】
実施例
以下の実施例では、物体検出とセマンティックセグメンテーションの両方のために、畳み込みニューラルネットワークが、ゲル化プロセス及び押し出しプロセス中のプリントヘッド及び生体材料の異なる特性を監視及び分析するように訓練された。いくつかの事例研究が、Ａｓｐｅｃｔ Ｂｉｏｓｙｓｔｅｍｓ ＲＸ１（商標）バイオプリンティングプラットフォームを使用して実施された。実施例は、動作中の検出及び弁の局所化及び状態検出、マイクロチャネル内の異常及び気泡のセグメント化、及び単一材料繊維特性の分析、ならびにより複雑な同軸層状ヒドロゲル繊維の分析のためのコンピュータビジョンの使用を実証する。
以下の実施例では、物体検出とセマンティックセグメンテーションの両方のために、畳み込みニューラルネットワークが、ゲル化プロセス及び押し出しプロセス中のプリントヘッド及び生体材料の異なる特性を監視及び分析するように訓練された。いくつかの事例研究が、Ａｓｐｅｃｔ Ｂｉｏｓｙｓｔｅｍｓ ＲＸ１（商標）バイオプリンティングプラットフォームを使用して実施された。実施例は、動作中の検出及び弁の局所化及び状態検出、マイクロチャネル内の異常及び気泡のセグメント化、及び単一材料繊維特性の分析、ならびにより複雑な同軸層状ヒドロゲル繊維の分析のためのコンピュータビジョンの使用を実証する。
【0110】
マイクロ流体プリントヘッドを通る生体材料の流れをセグメント化し、特定するのを支援するために、食品染料が、以下の事例研究の実施例の目的に使用され、材料境界の視覚的な識別を可能にするためにバイオプリンタ内のバイオインクに添加された。細胞及び生体材料を用いたバイオプリンティング及びマイクロ流体の実験を容易にするために、周囲の照明状態で目に見える細胞に適したバイオインク材料も開発されてきた。この材料は、実際の細胞を含んだバイオインクを用いたプリンティング実験を実行するために連続的に使用された。
【0111】
追加の実施形態では、材料が透明であるときにも材料流をセグメント化し、特定することが可能である。架橋を通じて繊維がプリントヘッドに形成されるにつれ、その端縁は、周囲の材料との屈折率の差に起因してより区別しやすくなる。繊維の端縁は、インラインで直接的に、ノズルの反対側からカメラに向かって光源で照明している間に撮像される。区別しやすい端縁は、セグメント化を通して繊維の寸法を特定するように機械学習アルゴリズムを訓練するために使用できる関連する特徴である。
【0112】
これらの実施例及び添付の説明から、３Ｄバイオプリンタにおけるマイクロ流体プリントヘッドの性能及び動作を正確に監視するためのコンピュータビジョン及び深層学習の利点を理解することができる。特に、３Ｄバイプリンタとともに用いられるコンピュータビジョンシステムが、正確なフィードバック及び非接触検知を可能にし、したがって、そうでなければ不可能であろう性能最適化を閉ループ制御が達成する将来の機会を可能にすることが理解される。
【0113】
事例研究を作成するために、予備作業が行われて、事例研究における使用の可能性を特定し、使用の可能性についてニューラルネットワークを訓練した。
【0114】
マイクロ流体ベースの３Ｄプリンティングとの関連では、一実施形態で、弁は、マイクロ流体プリントヘッドのマイクロチャネル内の異なる生体材料または細胞から成る流体の流れを制御するために使用され得る。これによって、単一のマイクロ流体デバイスから複雑な繊維及び組織構造を生成するために、単独でまたは組み合わせて異なる流体を使用することが可能になる。弁が空気圧で加圧されると、すべての流れはマイクロチャネルを通して制限される。これが閉鎖状態に相当する。弁が空気圧で弛緩されると、すべての流れがマイクロチャネルを通して可能にされる。これが開放状態に相当する。一実施形態では、弁が空気圧で弛緩されると、弁が閉じ、空気圧で加圧されると、弁が開くように、弁は構成され得る。
【0115】
マイクロ流体デバイスは、通常透明な材料から作られるため、壁が開閉する際に壁の膨張に起因して、弁の外観に目に見える変化がある。この目に見える変化のため、コンピュータビジョンは、動作中の弁の物理的な外観の監視によって弁の動作状態を検出することができる。
【0116】
物体検出ネットワークは、異なる物体を分類するためにだけではなく、より大きい画像内で物体を局所化するためにも使用することができる。以下の実施例は、マイクロ流体プリントヘッド内での各弁の動作状態を検出及び監視するためのコンピュータビジョン及び深層学習システムの一実施形態の評価の結果を示す。以下の実施例の目的のために、すでに確立された畳み込みニューラルネットワークが選択された。
【0117】
リアルタイム検出の場合、推論速度が重要である。したがって、以下の実施例の目的のために、単発検出器（ＳＳＤ）が選択されたメタアーキテクチャであった。単発検出器ネットワークを実装すると、特徴抽出器は、検出する必要がある物体の用途及びタイプに応じて変わる可能性がある。最も好適な特徴検出器を選択することは、多くの場合、その性能について異なるネットワークを評価することに至る。
【0118】
弁の局所化及び状態検出は、物体検出畳み込みニューラルネットワークを使用して達成された。Ａｓｐｅｃｔ Ｂｉｏｓｙｓｔｅｍｓ ＤＵＯ（商標）マイクロ流体プリントヘッドのビデオは、訓練及び評価用にデータセットを生成するために内蔵カメラを使用して、動作中にＡｓｐｅｃｔ Ｂｉｏｓｙｓｔｅｍｓ ＲＸ１（商標）バイオプリンタ上で収集された。ビデオは４８０ｐで録画され、フレームはラベル付けのために抽出された。弁は、その位置、及び弁が開いているのか、それとも閉じているのかに基づいて個別にラベルを付けられた。ラベルが付けられた画像の一例は、図６Ａ及び図６Ｂに見ることができる。図６Ａは、プリントヘッド内の弁の周りの境界ボックスを示す。図６Ｂは、弁の開放状態及び閉鎖状態がさらに特定された同じ境界ボックスを示す。図６Ｃ及び図６Ｄは、プリントセッション中のそれぞれ弁１及び弁２の動作状態の現行の推定値を示す。本実施例では、弁１は、繊維を生成するために約３秒間、開放されていた。弁２は、閉鎖したままであった。
【0119】
データ拡大は、訓練に使用される画像のサイズ及び種類を増やすために、無作為化されたコントラスト、輝度、及び反射を導入することによって実施された。結果として生じた画像は２つのデータセットに分割された。約１５００の画像を有する第１の訓練データセットは、物体検出ネットワークを訓練するために使用された。約２５０の画像を有する第２の訓練セットは、展開前に、訓練されたネットワークの性能を評価するために使用される検証データセットであった。
【0120】
３つの単発検出器（ＳＳＤ）ニューラルネットワーク、つまり、ＳＳＤ－ＭｏｂｉｌｅｎｅｔＶ２、ＳＳＤ－ＩｎｃｅｐｔｉｏｎＶ２、及びＳＳＤ－ＲｅｓＮｅｔ５０は、展開のために最も好適な１つを決定するように訓練された。訓練を支援するために、コンテキスト（ＣＯＣＯ）データセット内の共通の物体に対する事前に訓練されたパラメータ重みが、初期訓練ポイントとして使用された。訓練損失関数は、２つの成分から成っていた。第１の成分は、予測公開ボックスとグラウンドトゥルース境界ブックスとの間の局所化誤差を数値化するためのＳｍｏｏｔｈ Ｌ１局所化損失であった。これは、方程式（１）及び方程式（２）で見ることができる。
【数1】
【0121】
これらの方程式では、ｘｔは、特定の物体のためのグラウンドトゥルース境界ボックス最小／最大座標に対応し、ｘｐは、ＳＳＤネットワークから予測された境界ボックスの最小／最大座標に対応する。
【0122】
第２の成分は、提案された境界ボックスに対応するクラス予測に関する誤差を数値化するための重み付けされた焦点損失であった。重み付けされた焦点損失の方程式は、方程式（３）に見ることができる。
【数2】
【0123】
方程式（３）では、ｐｔは、正しいクラスのＳＳＤネットワーク出力に対応する。γは、変調係数（１－ｐｔ）を制御するために使用される。αｔは、特定のクラスの検出を強調するためにユーザーによって定義されたクラス重み付けスケールである。訓練の場合、γは２に設定され、αｔは正のクラス（つまり、開放弁状態及び閉鎖弁状態）のために０．７５に設定され、負のクラス（つまり、背景クラス予測）のために０．２５に設定された。局所化損失関数と分類損失関数の両方を利用する最終的な損失は、方程式（４）に見ることができる。
【数3】
【0124】
ネットワークの訓練は、参照により本明細書に組み込まれた、Ｋｉｎｇｍａ， Ｄｉｅｄｅｒｉｋ ＆ Ｂａ， Ｊｉｍｍｙ，Ａｄａｍ：ａｄａｍ：Ａ Ｍｅｔｈｏｄ ｆｏｒ Ｓｔｏｃｈａｓｔｉｃ Ｏｐｔｉｍｉｚａｔｉｏｎ， Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｌｅａｒｎｉｎｇ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ（２０１４）に説明されるように、Ａｄａｍオプティマイザを使用して行われた。上記のニューラルネットワークの３つすべてが、検証データベースに対するその分類及び局所化の精度を決定することによって評価された。分類精度は、方程式（５）を使用して決定された。
【数4】
【0125】
精度は、クラスごとに、真陽性（ＴＰ）、真陰性（ＴＮ）、偽陽性（ＦＰ）、及び偽陰性（ＦＮ）に基づく。局所化精度は、正しい予測のためにユニオン公差（ＩｏＵ）スコアを計算することによって決定された。ＩｏＵは、方程式（６）に示されるように、予測境界ボックス（ｘｐ）とグラウンドトゥルース境界ボックス（ｘｔ）の共通集合の面積を、その和集合面積で除算した面積として定義される。
【数5】
【0126】
訓練に使用される損失は、ピクセル単位のエントロピー損失関数であった。損失を計算するために、ＵＮＥＴネットワークからの最終活性化値が各クラスに対応する確率スコアに変換された。これは、Ｋのクラスを特定するネットワークについて方程式（７）に見ることができるソフトマックス関数を使用して行われた。
【数6】
【0127】
方程式（７）では、ｐｔは、画像中の特定のピクセルのｔ番目のクラスの活性化値である。ソフトマックス関数は、ピクセルごとにＵＮＥＴネットワークからの活性化値を処理するために使用される。
【0128】
分類別の交差エントロピーは、方程式（８）に示されるように計算された。
【数7】
【0129】
方程式（８）では、ｐｔは、特定のピクセルの真のクラスの活性化値である。他のクラスの活性化値は、考慮に入れられない。αｐは、特定のクラスの誤分類にペナルティを課すために損失を再度スケーリングするためのクラス重みである。訓練に使用された重みは、背景、繊維、及び気泡のそれぞれについて１、１．２３５、及び１．３５であった。交差エントロピーは、画像を含むすべてのピクセルの真のクラスと予測クラスとの間の誤差を数値化するために使用された。上述のＡｄａｍオプティマイザは、ネットワークを訓練し、損失関数を最小限に抑えるために使用された。
【0130】
訓練されたＵＮＥＴネットワークは、すべてのクラスに対して平均ＩｏＵと平均ＦＩのスコアの両方を計算することによって検証データセットに関して評価された。ＩｏＵスコアは、方程式（５）を介して計算され、ＦＩスコアは、方程式（９）を介して計算された。
【数8】
【0131】
精度及びリコールは、方程式（１０）及び方程式（１１）に見られるように、クラスごとに計算された。
【数9】
【0132】
３つすべてのネットワークは、同じデータセットで訓練され、次に、その性能を評価し、どれが展開に最も適しているのかを判断するために検証データセットで調べられた。
【0133】
訓練結果、両方の弁状態の分類精度、及び正しい分類のための平均ＩｏＵスコアは、図７Ａ及び図７Ｂに見ることができる。ＩｏＵスコアが０．５以上であった場合に、分類は正しいと見なされた。局所化及び開放弁の分類精度は、３つすべてのネットワークで非常に類似していた。しかしながら、ＳＳＤ－ＲｅｓＮｅｔ５０は、閉鎖弁状態を分類するときに最良の精度を有していた。ＳＳＤ－ＲｅｓＮｅｔ５０はまた、訓練曲線によって見られるように最善を過剰適合することなく損失関数を最小限に抑えることができた。したがって、結果に基づいて、ＳＳＤ－ＲｅｓＮｅｔ５０ネットワークが３つのうちで最良の性能を有していると判断された。ここで使用し得るＣＮＮの他の非限定的な例は、ＩｍａｇｅＮｅｔ、ＣＯＣＯ、Ｃｉｔｙｓｃａｐｅｓ、ＰＡＳＣＡＬ ＶＯＣ及びＡＤＥ２０Ｋ、ならびにＭＳＲＦ－Ｎｅｔ、ＵＡＣＡＮｅｔ－Ｌ、ＲｅｓＵＮｅｔ＋＋＋ＴＴＡ、ＵＮＥＴＲ、ＳｗｉｎＵｎｅｔ、Ｕｎｅｔ＋、ＤＣ－ＵＮＥＴ及びＫｉＵ－Ｎｅｔを含む。
【0134】
実施例１－単一材料繊維
本実施例の場合、Ａｓｐｅｃｔ Ｂｉｏｓｙｓｔｅｍｓ ＤＵＯ（商標）マイクロ流体プリントヘッドを用いている３Ｄバイオプリンティングシステムが用いられた。
本実施例の場合、Ａｓｐｅｃｔ Ｂｉｏｓｙｓｔｅｍｓ ＤＵＯ（商標）マイクロ流体プリントヘッドを用いている３Ｄバイオプリンティングシステムが用いられた。
【0135】
単一材料繊維分析及び異常検出を実施するために、セマンティックセグメンテーションネットワークが利用されて、動作中のマイクロ流体プリントヘッド内での生体材料及び気泡の流れを局所化した。この事例研究のために使用されたセグメント化ネットワークはＵＮＥＴネットワークであった。繊維分析及び異常検出用のデータセットは、図６Ａ～図６Ｄを参照して上述されたように、弁状態検出のために取り込まれた同じビデオ及び画像を使用して作成された。ただし、この場合、ピクセルは、それらがプリントヘッド内の特定の生体材料または気泡に対応する場合にラベルを付けられた。ピクセルの残りは、背景としてラベルを付けられた。図８Ａは、マイクロチャネル内の生体材料８１０または気泡８２０を示す、ラベルを付けられた画像の一例を示す。図８Ｂは、境界ボックス８３５によって示される図８Ａのプリントヘッド押し出し領域８３０の拡大図を示す。図８Ｃは、押し出された繊維の端縁の位置を推定することによって繊維径を計算する手法を示す。
【0136】
図６Ａ～図６Ｄに関して上述された弁検出及び状態監視を実施するために収集された同じビデオが、繊維分析及び異常検出のために提案されたコンピュータビジョンシステムの性能を調べるために使用された。ビデオは、３０ＦＰＳで処理され、押し出された繊維径の現行の推定値、及びプリントヘッドのマイクロチャネル内のあらゆる気泡または異常の検出は、分析及び評価のために記録された。
【0137】
画像は、無作為化された反射、輝度、及びコントラストを使用して増強された。結果として生じた増強された画像は、それぞれ約９００画像及び１５０画像の訓練データセット及び検証データセットに分割された。
【0138】
図８Ｄは２つの弁を示す。この特定な実施例では、その弁と関連するマイクロチャネルから生体材料を提供するために一方の弁のみが開いていた。その弁の対応するマイクロチャネル内の材料は、使用されていなかったため、他方の弁は閉じたままにされた。図８Ｄは、プリント中に取り込まれた１つのフレームからのセグメント化を示す。フレームは、図６Ａ及び図６Ｂ内と同じ構造を示す。図８Ｄは、生体材料８５０を示す。境界ボックス８６５が押し出し領域８６０の周りに描かれた押し出し領域８６０がある。図８Ｅは、図８Ｄの境界ボックス内の押し出し領域８６０の拡大図を示す。
【0139】
【0140】
生体材料セグメント化の結果を使用して、直径を含む押し出された繊維の幾何学的特性が監視され、決定された。このプロセスは、押し出し領域内のセグメント化された生体材料の端縁境界を推定することによって達成された。端縁境界が決定されると、繊維径は、繊維端縁間の平均距離に基づいて計算された。推定は、次に、プリントヘッドに対するカメラの位置に基づいて、予め較正された利得を使用してピクセルからミクロンに変換された。
【0141】
プリント中、生体材料繊維は、約３秒間押し出された。押し出し領域におけるセグメント化の結果を使用して、繊維径は約４ピクセルであると推定された。繊維分析用のコンピュータビジョンシステムの精度及び有効性を評価するために、プリントされた繊維が、各プリントセッション後に顕微鏡下で測定された。測定された繊維径は、次に、コンピュータビジョンシステムから推定された直径と比較された。繊維径は、高い精度で推定された。
【0142】
押し出された繊維の直径は、プリントされた繊維の最終品質に直接的に影響を与える非常に重要な特性であるため、注意深く監視する必要がある。繊維径の不安定性及びドリフトは、不十分なプリント品質、予測不可能な結果、及び不必要なサンプル間変動につながる可能性がある。本発明のコンピュータビジョンシステムの一実施形態を使用すると、コンピュータビジョンシステムのエンドツーエンド待ち時間は、２３～２８ｍｓの範囲となり、リアルタイム分析に必要な高フレームレートの種類を可能にした。
【0143】
マイクロ流体プリントヘッド内の生体材料の存在及び流れに加えて、プリントヘッドのマイクロ流体チャネル内の異物または異常の存在などの他の要因は、プリントされる構造の最終品質に影響を及ぼす可能性がある。細胞及び生体材料の凝集塊は、プリントヘッド内のチャネルを塞ぎ、したがって流体の流れを制限する可能性がある。生体材料及び細胞内に油溶性ガスに起因して発生する気泡はまた、押し出し中にバイオインクを妨害する可能性がある。多くの場合、これらの気泡は不活性チャネル内に留まる傾向がある。しかしながら、いくつかの場合、気泡は核形成し、アクティブチャネル内のバイオインクと混合する場合がある。図８Ｇは、生体材料８７０、したがって繊維の生成を妨害する気泡８７５の一例を示す。図８Ｈは、図８Ｇでの気泡濃度の拡大図である。
【0144】
この気泡妨害が発生すると、プリントされた生体材料の一貫性は著しく影響を受け、したがって組織の最終品質に悪影響を与える可能性がある。大部分の場合、気泡はより迅速に移動し、いずれの場合も、視覚的に区別することは困難であるため、気泡が核形成し、生成された繊維に影響を与えているときに裸眼で認識することは不可能である。しかしながら、セグメント化ネットワークは、ライブカメラフィードでの気泡の容易な特定及び局所化を可能にし、改善された動作及び信頼性のための品質管理を可能にする。図８Ｉは、追加の例示的な背面照明可視光（左）、及び繊維生成を妨害する詰まりの対応する着色されたオーバレイ（マスク、右）の画像を示す。図８Ｊは、追加の例示的な背面照明可視光（左）、及び繊維生成を妨害する気泡の対応する着色されたオーバレイ（マスク、右）の画像を示す。実施形態では、本明細書に開示される機械学習ベースのシステムは、本明細書に説明される１つ以上のカメラによって提供される画像に応えて、図８Ｉ及び図８Ｊが例示するように、詰まり、気泡、及び他のタイプのプリント欠陥またはプリント不良を特定することができる。
【0145】
図９Ａは、経時的に減少した訓練損失を示す。図９Ｂは、使用された訓練データセット及び検証データセットを比較するＩｏＵスコア及びＦ１スコアを示し、９８％を超えるスコアを示し、訓練されたネットワークの満足のいく性能を示す。重み付けされたクラスは、画像のすべてにおける多数の背景ピクセルのため、訓練中に著しいクラス不均衡を補償するために必要であった。
【0146】
実施例２：同軸層状ヒドロゲル繊維
同軸層状繊維は、複雑な生物組織の一部であり得、異なる生体材料、細胞及び成長因子を含む別々の領域から成る場合があり、許容可能な組織の最終品質及び機能を確実にするために構造上の幾何学形状に対して厳しい要件が課されている。
同軸層状繊維は、複雑な生物組織の一部であり得、異なる生体材料、細胞及び成長因子を含む別々の領域から成る場合があり、許容可能な組織の最終品質及び機能を確実にするために構造上の幾何学形状に対して厳しい要件が課されている。
【0147】
この例の場合、ＵＮＥＴネットワークはまた、以前の事例研究で使用されたように、同軸層状のまたは中空の灌流繊維形成を可能にするＡｓｐｅｃｔ Ｂｉｏｓｙｓｔｅｍｓ ＣＥＮＴＲＡ（商標）マイクロ流体プリントヘッドを用いる３Ｄバイオプリンティングシステムから生成されたより複雑な同軸層状繊維の幾何学的特性をセグメント化し、分析するために使用された。そのような繊維は、統合された灌流可能な血管構造を有する組織の３Ｄパターン化を可能にし、外部環境からのコア繊維細胞の操作された分離も可能にする。
【0148】
この例では、赤色で染色した同軸層状フィブリノゲン溶液がプリントされ、結果として生じた押し出された繊維は、１５Ｈｚで分析された。コンピュータビジョンシステムのエンドツーエンド待ち時間は、１４～１６ｍｓの範囲であった。この低い待ち時間は、Ｎｖｄｉａ Ｊｅｔｓｏｎ Ｘａｖｉｅｒシステムによって例示された、ＮｖｉｄｉａのＴｅｎｓｏｒＲＴライブラリなど、推論加速ライブラリ、及び深層学習のために特化されたＧＰＵ加速ハードウェアを使用して可能にされた。
【0149】
ノズルの直交投影を同時に処理することによって、バイオプリントされた繊維の断面プロファイルを生成して、押し出された繊維の良好な可視化をリアルタイムで提供することが可能であった。断面プロファイルは、繊維の軸方向の対称性を定性的に分析するために、ならびに複数のプリントサンプルの中での不十分な構造的忠実度及び不均質性につながる可能性がある任意の潜在的な不具合または不整合を特定するために使用された。
【0150】
例えば、同軸層状の生体材料をプリントするときの制御された灌流など、所望の生物学的機能を達成するためには、シェル及びコアの直径及び層厚、ならびにシェル内部のコアの同心性は非常に重要である。実施形態による説明されたコンピュータビジョンシステムは、組織の最終品質に影響を及ぼす可能性があるあらゆる不整合及び機能不全を検出するために、押し出された繊維の様々な幾何学的特性のリアルタイム分析用の３Ｄプリンティングプラットフォームに完全に統合することができる。さらに、コンピュータビジョンシステムは、非接触フィードバックを可能にし、それ以外の場合、達成するのが不可能であろう閉ループコントローラを開発する機会を再び可能にする。
【0151】
本実施例では、繊維が形成され、押し出されている間のプリントヘッド上のノズルの１０８０ｐでのビデオが録画された。画像がビデオから抽出され、ピクセルは、コア材料、シェル材料、または背景に対応するとしてラベルを付けられた。画像は、次に、繊維の周りに焦点を合わせた２５６×２５６ピクセルの画像を作成するために切り取られた。画像は、無作為化された輝度、コントラスト、及び反射を通して再度増強された。約２０００の画像の訓練セット及び約５００の画像の検証データセットが取得された。
【0152】
図１０Ａ及び図１０Ｂは、同軸層状ヒドロゲル繊維１０１０を有する、プリントヘッドノズル１０００の画像を示す。図１０Ｃは、繊維１０１０内のシェル生体材料１０１４及びコア生体材料１０１６を強調表示する。図１０Ｄは、同軸バイオプリントされた繊維内のコアの中心軸とシェルの中心軸との間の不整合の程度または不同心性を計算する際に関与する様々なパラメータを示す。計算は、とりわけ、コアの直径及びシェルの直径、ならびにシェルの外周のそれぞれの側の距離を考慮に入れる。
【0153】
訓練のための損失関数は、方程式（６）に示される同じピクセル単位の分類別の交差エントロピー関数であった。方程式（５）に示されるようなソフトマックス関数はまた、ＵＮＥＴネットワークからの活性化出力を処理するために使用された。訓練のために実装されたクラス重みは、それぞれ、背景、シェル材料、及びコア材料について１、１．１５、１．２５であった。再び上記に参照されたＡｄａｍオプティマイザは、ネットワークを訓練するために使用された。
【0154】
セグメント化の結果により、シェル及びコアの層厚さ、ならびに繊維のシェル内のコアの整列は、セグメント化結果の分析を介してシェル及びコアの端縁境界を推定することによって決定された。端縁境界を使用して、押し出された繊維を含む異なる材料の層厚さは、図１０Ｄに示されるように決定された。コアの整列λはまた、方程式（１２）を使用して計算された。
【数10】
【0155】
方程式１２で、Δ１及びΔ２は、図１０Ｄに示されるパラメータに対応する。０の値は、指定された観察面での完全な整列に対応し、正の値及び負の値は、それぞれ右及び左への不整合に対応する。
【0156】
ポータブルプラットフォームへの潜在的な統合を実証するために、提案されているコンピュータビジョンシステムは、図２の機械学習エンジン２４０としてＮｖｄｉａ Ｊｅｔｓｏｎ Ｘａｖｉｅｒ ＡＧＸシステムを使用して展開された。Ｎｖｉｄｉａシステム上で展開される間、訓練されたネットワークは、ネットワーク待ち時間を短縮し、スループットを改善するために、ＮｖｉｄｉａのＴｅｎｓｏｒＲＴソフトウェア開発キット（ＳＤＫ）を使用して最適化された。セグメント化結果の推論及び後処理は、Ｎｖｉｄｉａシステム上でのみ実行された。メインコンピュータ２５０を介したコマンドは、Ｎｖｉｄｉａシステムに送信された。押し出された繊維の幾何学的特性に関するデータは、図２が示す双方向伝送制御プロトコル（ＴＣＰ）通信を介してメインコンピュータに送り返された。２つのカメラ（図２の２１０及び２１５）は、押し出しノズル２２０の周りに互いに直角に配置された。押し出しノズルの周りのカメラフィードは、ＮｖｉｄｉａシステムとのＵＳＢ通信を通して収集され、同時に分析された。分析は、１５ＦＰＳで実施された。両方のカメラフィードから計算された幾何学的特性を使用して、軸方向対称性及び繊維のコア同心性は、繊維の全体的な構造忠実度に対するより良好な洞察のためにリアルタイムで可視化された。
【0157】
図１０Ｅは、取り込まれた画像の１つのセグメント化結果の一例を示す。セグメント化結果を使用して、シェル材料及びコア材料の境界の端縁は、図１０Ｆに見られるように配置された。領域は、裸眼では容易に分離可能ではないという事実にも関わらず、セグメント化ネットワークは、シェル材料とコア材料を区別して、高い精度及び信頼でそれらの境界を特定することができる。
【0158】
図１０Ｇ及び図１０Ｈは、押し出された繊維の層厚さ及びコア整列の現行の推定値を示し、図１０Ｇは、時間の関数として直径を示し、図１０Ｈは、経過時間を示す。図１０Ｉは、図１０Ｇに示された幾何学的特性を使用して、動作中の異なる段階での押し出された繊維の生成された断面プロファイルを示す。図１０Ｉは、コア及びシェルの断面の漸進的な真円度ならびにコア及びシェルの漸進な同心性を示す。
【0159】
図１１Ａは、経時的に減少した訓練損失を示す。図１１Ｂは、使用された訓練データセット及び検証データセットを比較するＩｏＵスコア及びＦ１スコアを示し、８５％を超えるスコアを示し、訓練されたネットワークの満足のいく性能を示す。上述されたように、及び実施例１の場合と同様に、重み付けされたクラスは、画像における背景ピクセルの大きい割合のため、訓練中にクラス不均衡を補償するために必要であった。
【0160】
実施例３：繊維径のフィードバック制御
本実施例は、コア及びシェルを含むバイオプリントされた繊維のフィードバック制御を実証し、シェルの直径は、所望のシェル直径を有するバイオプリントされた繊維を形成するためにリアルタイムで調整される。
本実施例は、コア及びシェルを含むバイオプリントされた繊維のフィードバック制御を実証し、シェルの直径は、所望のシェル直径を有するバイオプリントされた繊維を形成するためにリアルタイムで調整される。
【0161】
バイオプリンティングプロセスの始まりで、シェル外径（ＯＤ）及びコア内径（ＩＤ）は、それぞれ１．０ｍｍ及び０．５ｍｍに設定された。図１２Ａは、本明細書に開示された機械学習ベースのシステムが、シェルの直径が０．８０ｍｍ、シェルチャネルの圧力は１４９ｍＢａｒであることを検出したことを示す。図１２Ｂは、１３秒にわたってシェルの直径を１．０２ｍｍまで増加させるために、シェルチャネル圧力が自動的に調整され、２３７ｍＢａｒまでゆっくりと増加されることを示す。
【0162】
実施例４：細胞量の分析
本実施例は、本明細書に開示されたシステム及び方法を介して、バイオファイバのプリント中にリアルタイムで概算の細胞量及び／または位置を監視する能力を実証し、定性的な全繊維分析を可能にする。
本実施例は、本明細書に開示されたシステム及び方法を介して、バイオファイバのプリント中にリアルタイムで概算の細胞量及び／または位置を監視する能力を実証し、定性的な全繊維分析を可能にする。
【0163】
図１３は、プリント中のバイオプリントされた繊維内の細胞の３つの画像及び対応する高レベル数値化を示す。画像のそれぞれは、選択時点（０秒、３０秒、９０秒）でのバイオプリンティングプロセスの約２分のビデオから撮影された代表的なスクリーンショットである。画像及び対応する細胞数値化から分かるように、細胞含有量の総量は、様々な要因の関数として、プリンティングプロセスの過程で変動する場合がある。例えば、細胞量は、０秒及び９０秒で観察された数量と比較して、プリンティングプロセスの３０秒でより低い。図１３の右側のグラフのそれぞれについて、繊維径が示される。閉ループ制御は、繊維径を制御するために利用されなかったため、繊維径はこの実験で変動する。図１３のｘ－軸は、列番号に対応し、各列は１ピクセルの幅である。ｙ－軸は、細胞材料が特定される各列のピクセルの合計を表す。グラフ中の明るいオレンジ色は、繊維径を示す。
【0164】
図１３が例示する方法は、細胞材料を含む繊維全体の一般的な定性的な分析を可能にする。例えば、一実施形態による機械学習システムで実装される物体検出及び／またはセマンティックセグメンテーションは、細胞物質の繊維端縁に対する近接性の特定を可能にし、それによって細胞物質が繊維内でどれほど中心に置かれているのかの表示を提供する。細胞物質が繊維端縁に近すぎる繊維（つまり、繊維端縁に突き当たる細胞物質）は、細胞材料の潜在的な免疫系の認識のために、使用に拒絶される場合がある。さらにまたは代わりに、本開示の機械学習システムに実装される物体検出及び／またはセマンティックセグメンテーションは、繊維を通る低い量、隙間、または細胞物質における他の重大な変動の形で細胞量を低下させた繊維の特定を可能にする。実施形態では、一実施形態による機械学習システムに実装されるような物体検出及び／または意味論的なセグメント化は、例えば、位置（つまり、細胞物質が繊維に対してどれほど中心に置かれているのか）及び／または繊維全体での細胞量（つまり、隙間または他の変動の実質的な欠如）に関してより一貫した細胞含有量の繊維など、より高品質の繊維の特定を可能にする。
【0165】
図１４は、プリント中のバイオプリントされた繊維のセグメントの例示的な背面照明の可視（左）画像、及び対応する着色オーバーレイ（マスク、右）画像（上部）を有する追加の定性分析を示しており、該セグメントは破線ボックス（底部）で示される。下部画像に見られるように、細胞含有量は、示されている繊維部分を通して実質的に一貫している。一実施形態では、一実施形態による機械学習システムに実装される物体検出及び／またはセマンティックセグメンテーションは、このタイプの定性分析も可能にする。
【0166】
図１５Ａは、一実施形態による、１つのカメラの視野からのコア及びシェルの画像を示す。画像は、１つの軸に沿ってシェル内で中心に置かれたコアを示す。一実施形態では、別のカメラの視野からの対応する画像によって、別の軸に沿ったシェルに対するコアが示される場合があり、シェル内でのコアの同心性の決定を可能にする。図１５Ｂ～図１５Ｅは、シェル内の異なるコア位置の画像であり、画像は、材料（バイオインクなど）がプリントヘッドを通って流れるときに連続した時間に撮影される。連続する画像、つまり実際には画像のストリームは、速度ベクトル場として細胞追跡を示すことができる。この手法は、カメラの１つ以上から流量推定を提供することができ、流量推定は、繊維品質プリント時間を測定するために使用することができる。この流量推定は、正しい流れ（例えば、右方向の流れ、またはなんらかの理由から止められていない流れ）を確実にするために使用することができる。実施形態では、流量推定は、（コア及びシェルの画像から反映される可能性がある）均質な流れがあるかどうかを判断するのを支援するために、繊維内での細胞物質の中心揃えを支援するために、及び／またはプリントフローを全体的に推定するのを支援するために使用することができる。
【0167】
本明細書に引用される及び非特許の参考文献は、参照によりその全体が、あらゆる目的で本明細書に明示的に組み込まれる。
【図1】
【図2A】
【図2B】
【図2C】
【図2D】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8A】
【図8B】
【図8C】
【図8D】
【図8E】
【図8F】
【図8G】
【図8H】
【図8I】
【図8J】
【図9A】
【図9B】
【図10A】
【図10B】
【図10C】
【図10D】
【図10E】
【図10F】
【図10G】
【図10H】
【図10I】
【図11A】
【図11B】
【図12A】
【図12B】
【図13】
【図14】
【図15】
【国際調査報告】