(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-01-25
(54)【発明の名称】インキュベータ、システム及び方法
(51)【国際特許分類】
C12M 1/00 20060101AFI20240118BHJP
【FI】
C12M1/00 C
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023544064
(86)(22)【出願日】2022-01-27
(85)【翻訳文提出日】2023-09-19
(86)【国際出願番号】 EP2022051878
(87)【国際公開番号】W WO2022162056
(87)【国際公開日】2022-08-04
(32)【優先日】2021-01-27
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
(71)【出願人】
【識別番号】501186645
【氏名又は名称】エッペンドルフ・ソシエタス・エウロパエア
【氏名又は名称原語表記】Eppendorf SE
(74)【代理人】
【識別番号】100099759
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100092624
【氏名又は名称】鶴田 準一
(74)【代理人】
【識別番号】100114018
【氏名又は名称】南山 知広
(74)【代理人】
【識別番号】100153729
【氏名又は名称】森本 有一
(74)【代理人】
【識別番号】100151459
【氏名又は名称】中村 健一
(72)【発明者】
【氏名】クリストフ ヨリー
(72)【発明者】
【氏名】ベンヤミン パウルゼン
(72)【発明者】
【氏名】ボルフ ルーカス ヘルベーク
【テーマコード(参考)】
4B029
【Fターム(参考)】
4B029AA02
4B029AA03
4B029AA11
4B029AA14
4B029DF01
4B029DF02
4B029EA04
4B029GA01
4B029GA02
(57)【要約】
本発明は、物体追跡システムが実現されている、生きた細胞培養物のためのインキュベータ、インキュベータを用いた作業方法、及びインキュベータを有するシステムに関するものである。
【特許請求の範囲】
【請求項1】
生きた細胞培養物を培養するためのインキュベータであって、
物体を入れたり出したりするための閉鎖可能なチャンバ開口部と、物体を収納するための少なくとも1つの収納領域と、を備えた、物体、特に細胞培養容器を受容するためのインキュベータチャンバと、
前記インキュベータチャンバに導入された少なくとも1つの物体の位置変化を、前記収納領域の初期画像における初期位置から出発して、前記収納領域の最終画像における最終位置に至るまでビデオデータを用いて追跡するための画像ベースの物体追跡システムと、を有しており、
前記物体追跡システムは、少なくとも1つのデータ処理装置、データメモリ、及び前記インキュベータチャンバの内部を監視して初期画像、最終画像及びビデオデータを提供するように設定された少なくとも1台のカメラを備え、
前記データ処理装置は、
庫内に導入した少なくとも1つの物体に識別データを割り当て、
前記収納領域の初期画像から少なくとも1つの物体の初期位置を決定し、
少なくとも1つの物体の初期位置と最終位置の間の位置変化をビデオデータの評価によって決定し、
前記収納領域の最終画像において少なくとも1つの物体の最終位置を決定し、
前記収納領域における少なくとも1つの物体の最終位置をID位置データとして識別データに応じて前記データメモリに保存する、
ようにプログラムされているインキュベータ。
【請求項2】
前記インキュベータを使用するユーザをユーザ識別データの形で識別できるユーザ識別装置を有する、請求項1に記載のインキュベータ。
【請求項3】
前記データ処理装置は、
インキュベータを使用するユーザをユーザ識別装置によって識別してユーザ識別データを割り当て、
ID位置データを、前記ユーザ識別データに応じてユーザ関連ID位置データとして前記データメモリに保存する、
ようにプログラムされている、請求項2に記載のインキュベータ。
【請求項4】
前記ユーザ識別装置は、外部カメラを備えており、該ユーザ識別装置は、前記外部カメラによって顔認識を行ってユーザが識別されるようにプログラムされている、請求項2又は3に記載のインキュベータ。
【請求項5】
ユーザ識別装置は、ユーザ識別データを読み取り可能、特に選択可能なユーザインタフェース装置、又はユーザ識別するコードを読み取るための読み取り装置を有しており、読み取り装置は、特にRFID読み取り装置、バーコード読み取り装置又はQRコード(登録商標)読み取り装置である、請求項2乃至4のいずれか一項に記載のインキュベータ。
【請求項6】
チャンバ開口部を閉じるためのインキュベータドアと、
インキュベータドアの開閉を検出するドアセンサと、
を有しており、前記データ処理装置は、
インキュベータのドア開放の検出に応じて、インキュベータの内部の監視、特にビデオデータ又は静止画像データの生成を開始し、
特に、ユーザによるドア開放の検出に応じて、このユーザをユーザ識別装置によって識別し、
特に、インキュベータのドア閉鎖の検出に応じて、インキュベータの内部の監視、特にビデオデータの生成を終了し、
特に、ユーザ識別装置と物体追跡装置からの情報によって、どのユーザによってどの物体が庫内で移動されたかを確認し、このユーザのユーザ識別データをこの物体の物体識別データと共に前記データメモリに保存する、ようにプログラムされている、請求項1乃至5のいずれか一項に記載のインキュベータ。
【請求項7】
前記データ処理装置は、初期画像、ビデオデータ及び/又は最終画像から前記インキュベータチャンバ内の少なくとも1つの物体の移動履歴、特に移動経路を決定して、移動履歴データの形で前記データメモリに保存するようにプログラムされている、請求項1乃至6のいずれか一項に記載のインキュベータ。
【請求項8】
物体認識システムを有しており、該物体認識システムは、
初期画像、ビデオデータ及び/又は最終画像から、少なくとも1つの物体の物体クラス特徴を読み取り、
物体クラス特徴を物体クラスデータベースと照合して、少なくとも1つの物体の物体クラスを認識し、
認識された物体クラスを物体クラスデータとして少なくとも1つの物体のID位置データに割り当て、クラス関連ID位置データとして保存する、ように設定されているか、又は、
初期画像、ビデオデータ及び/又は最終画像から、少なくとも1つの物体の物体個別特徴を読み取り、
物体個別特徴を物体個別データベースと照合し、
物体個別データベース内の物体個別特徴が物体個別標識と結び付く場合は、少なくとも1つの物体の物体個別標識を識別し、
物体個別データベース内の物体個別特徴が物体個別標識と結び付かない場合は、少なくとも1つの物体に物体個別標識を割り当て、物体個別データベースに保存し、
認識された物体個別標識を少なくとも1つの物体のID位置データに割り当て、個別関連ID位置データとして保存する、ようにプログラムされている、請求項1乃至7のいずれか一項に記載のインキュベータ。
【請求項9】
スクリーンを有しており、前記データ処理装置は、このスクリーン上に前記収納領域の内部のグラフィック表現を表示し、特にID位置データによって識別された物体がどこに位置しているかを表示し、特にグラフィックに表示し、又は前記収納領域若しくは庫内に置かれた全ての物体がどこに配置されているかをグラフィックに表示するようにプログラムされている、請求項1乃至8のいずれか一項に記載のインキュベータ。
【請求項10】
前記データ処理装置は、所定のユーザ識別データに基づいて、ユーザ関連ID位置データによってこれらの所定のユーザ識別データに割り当てられた物体どこに位置しているかを確認し、特にこれらの物体をスクリーン上でグラフィックにマーキングするようにプログラムされている、請求項9に記載のインキュベータ。
【請求項11】
前記データ処理装置は、スクリーン上に、空き収納場所、及び/又は位置データから導かれた情報、特に位置変化をもたらしたユーザのID、及び/又は統計的情報、特に物体の位置変化の頻度と時刻、及び/又は利用可能な空き収納場所のパーセンテージを表示するようにプログラムされている、請求項9又は10に記載のインキュベータ。
【請求項12】
生きた細胞培養物を培養するためのシステムであって
生きた細胞培養物を培養するためのインキュベータを有しており、該インキュベータは、
物体を入れたり出したりするための閉鎖可能なチャンバ開口部を備える、物体、特に細胞培養容器をインキュベータチャンバの少なくとも1つの収納領域に受容するための前記インキュベータチャンバと、データ処理装置と、データメモリと、
前記インキュベータチャンバに導入された少なくとも1つの物体の位置変化を、前記収納領域の初期画像における初期位置から出発して、前記収納領域の最終画像における最終位置に至るまでビデオデータによって追跡するために、インキュベータに後付けするように設計された画像処理による物体追跡システムと、を有しており、
前記物体追跡システムは、少なくとも1つのデータ処理装置と、データメモリと、前記インキュベータチャンバの内部を監視して初期画像、最終画像及びビデオデータを提供するように設定された少なくとも1台のカメラと、を備え、
前記データ処理装置は、
庫内に導入された少なくとも1つの物体に識別データを割り当て、
前記収納領域の初期画像から少なくとも1つの物体の開始位置を決定し、
ビデオデータを評価することにより、開始位置と最終位置との間の少なくとも1つの物体の位置変化を決定し、
前記収納領域の最終画像における少なくとも1つの物体の最終位置を決定し、
前記収納領域における少なくとも1つの物体の最終位置をID位置データとして前記データメモリに保存する、ようにプログラムされているシステム。
【請求項13】
インキュベータと分離して使用可能なユーザ識別装置と、前記データ処理装置がユーザ識別装置によってユーザ識別データを決定できるようにするデータ交換装置と、を有する、請求項12に記載のシステム。
【請求項14】
インキュベータのインキュベータチャンバ内で生きた細胞培養物を培養するために使用されるインキュベータ内で物体の位置を追跡する方法であって、以下のコンピュータ制御ステップ、即ち、
少なくとも1つの物体が導入される前記インキュベータチャンバの内部で、少なくとも1つの収納領域を撮像し、開始画像、終了画像及びビデオデータを作成するために配置された、インキュベータの少なくとも1台のカメラによって前記インキュベータチャンバを監視するステップと、
少なくとも1つの物体を庫内に導入する際又は導入した後に、少なくとも1台のカメラにより撮像された前記収納領域の初期画像中に検出される少なくとも1つの物体に識別データを割り当てるステップと、
前記カメラによって得られたビデオデータを評価することによって、少なくとも1つの物体の初期位置と最終位置との間の位置変化を検出するステップと、
前記収納領域の最終画像において少なくとも1つの物体の最終位置を決定するステップと、
前記収納領域における少なくとも1つの物体の最終位置をID位置データとして、少なくとも1つの物体の識別データに応じてデータメモリに保存するステップと、を含む方法。
【請求項15】
少なくとも1つの物体を前記インキュベータチャンバに入れるインキュベータのユーザを識別するユーザ識別データを、ユーザ識別装置によって読み取り、ユーザ識別データをインキュベータの前記データメモリに保存するステップを含む、請求項14に記載の方法。
【請求項16】
ID位置データを、ユーザ識別データに応じてユーザ関連ID位置データとして保存するステップを含む、請求項14に記載の方法。
【請求項17】
保存されているID位置データ及び/又はユーザ関連ID位置データをスクリーン上に、特に前記インキュベータチャンバの内部のグラフィック表現によってスクリーン上に視覚化し、特にID位置データによって識別された物体がどこに位置しているか、若しくは庫内に置かれた全ての物体がどこに配置されているかの情報をグラフィックに表示し、又はインキュベータの内部における空き収納場所をスクリーン上に表示するステップを含む、請求項14乃至16のいずれか一項に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、生きた細胞培養物のためのインキュベータ、インキュベータで作業する方法、及びインキュベータを含むシステムに関する。
【0002】
本発明は、生物学的細胞の監視された成長のためのインキュベータに関する。本発明は更に、生物学的細胞の監視された成長のためのシステム及び方法に関する。
【背景技術】
【0003】
このようなインキュベータにより、生物学や医学の研究室において細胞培養中の細胞は管理された周囲条件下に保たれ、生きた細胞が試験管内(in vitro)で成長することが可能になる。このために、周囲から隔離されたインキュベータチャンバ内の雰囲気の温度とガス組成若しくは湿度は、インキュベータの装置によって所望の値に保たれる。真核細胞はCO2インキュベータを必要とする。雰囲気は、特定のCO2及びO2含有量と特定の湿度を有する空気によって形成され、適切な温度は、多くの場合37℃である。
【0004】
細胞の成長は、特にインキュベータ内の雰囲気が一定であることに決定的に依存している。インキュベータの雰囲気が乱れると、細胞の成長に悪影響を及ぼすことがある。この点で「理想的に」装備された研究室では、各ユーザに対して培養するサンプルごとに別個にアクセスできる培養チャンバが提供されるであろう。しかしながら、これは費用対効果の理由で現実的ではない。実験室の実務では、複数のユーザが使用するために、単一の培養チャンバと、培養チャンバ内の1つ以上の収納プレート上の1つ以上の収納領域とを有する唯一のインキュベータ(又は少数のインキュベータ)が設けられていることが一般的である。インキュベータのチャンバドアを開く頻度、ひいてはインキュベータの制御された雰囲気への干渉の程度は、ユーザの数と、そこで培養されるサンプルの数によって増減する。干渉の強さは、更にドアを開放している時間にも依存する。ユーザがインキュベータチャンバの内部にアクセスする時間が長ければ長いほど、ドアが開いている状態の時間が長くなる。インキュベータの使用シナリオは様々あり、複雑になるとより長いアクセス時間が必要となる場合がある。
【0005】
シナリオA)インキュベータに新規物体を入れる
ユーザが初めてインキュベータに1つ以上の物体、特に細胞培養容器を入れる場合、収納領域に空き収納場所を必要とする。無秩序に収納されているために空き収納場所がない場合、ユーザはこの収納場所を確保するために時間を要する。既にインキュベータ内に存在する物体(既存物体)の移動若しくは移し替えを慎重に行い、更に場合によっては文書に記録すると、それだけ作業に多くの時間がかかるようになる。インキュベータチャンバに十分な収納場所がないことが判明したら、ユーザはインキュベータチャンバの別のコンパートメントで、又は実験室に場合によって存在する代用インキュベータでその手順を繰り返す。それにより、インキュベータドアが開いている状態の時間、即ちチャンバ内部が周囲に曝露される時間(曝露時間)が長くなる。
【0006】
シナリオB)細胞培養物のチェック
ユーザが、以前インキュベータに入れた細胞培養物をチェックして、例えば細胞培地の品質や成長状態を確認する場合、ユーザは最初にインキュベータ内で当該細胞培養容器を探すであろう。ユーザは自分で選んだ収納場所を覚えていないか、又は他のユーザがこの収納場所を変えたかもしれない。どちらも暴露時間、即ちインキュベータの開放時間を長引かせ、雰囲気の損失を招く。このときユーザが既存物体を慎重に移動若しくは移し替えを慎重にすればするほど、探す作業に時間がかかる。
【0007】
シナリオC)物体をインキュベータから取り出す
この場合も、ユーザはまず当該物体を探さなければならない。B)に挙げた時間的な遅延要因が該当する。
【0008】
更に、インキュベータを頻繁に開ければ開けるほど、庫内が汚染されるリスクも高くなる。例えば法医学や再生医療などでは、1つのサンプル、特に細胞培養容器内にある細胞の価値が、例えばインキュベータ全体の価値よりもはるかに高い場合もあり、汚染によるサンプルの損失は絶対に避けなければならない。いかなる場合も、汚染頻度が高まれば、作業停止のリスクが高まり、コスト及び追加のメンテナンスが増える。インキュベータが汚染された場合、インキュベータを続けて使用する前にチャンバを洗浄し、滅菌しなければならない。この間、代用インキュベータがなければ、細胞培養物を用いる作業は中断される。
【0009】
そのため、実験室では基本的に、インキュベータドアを開けている時間をできるだけ短くし、インキュベータチャンバを開ける頻度もできるだけ少なくすることが必要である。
【発明の概要】
【発明が解決しようとする課題】
【0010】
本発明の課題は、効率的に使用することができ、特に曝露時間、即ちインキュベータドアを開けた状態の時間、ひいてはインキュベータチャンバの内部がインキュベータの周囲に曝露される時間を短くすることが可能なインキュベータを提供することである。
【課題を解決するための手段】
【0011】
上記の課題は、請求項1に記載のインキュベータ、請求項12に記載のシステム、及び請求項14に記載の方法によって解決される。好適な構成は、特に従属請求項の主題である。
【0012】
本発明による生きた細胞培養物を培養するためのインキュベータは、
物体を受容し取り出すための閉鎖可能なチャンバ開口部と、物体を収納するための少なくとも1つの収納領域を備えた、物体、特に細胞培養容器を受容するためのインキュベータチャンバと、
インキュベータチャンバ内に導入された少なくとも1つの物体を、その収納領域の初期画像における初期位置から出発して、収納領域の最終画像におけるその最終位置までの位置変化をビデオデータにより追跡するための画像ベースの物体追跡システムと、を有し、
この物体追跡システムは、
庫内に導入した少なくとも1つの物体に識別データを割り当て(このステップは物体登録とも呼ぶ)、
収納領域の初期画像から少なくとも1つの物体の初期位置を決定し、
少なくとも1つの物体の初期位置と最終位置の間の位置変化をビデオデータの評価によって決定し、
収納領域の最終画像において少なくとも1つの物体の最終位置を決定し、
収納領域における少なくとも1つの物体の最終位置をID位置データとして識別データに応じてデータメモリに保存する、
ようにプログラムされている。
【0013】
本発明によるインキュベータは、インキュベータ内に入れられたときに「登録」された物体を、内部システム名、即ち、この物体に割り当てられた識別データ(識別番号又は任意の記号又は情報からなる他の識別コードでもよい)によって「知っている」。インキュベータは、例えば他のユーザが後の時点にインキュベータ内で物体を移動させた場合に発生する各位置変化の後で、位置追跡に基づき物体の最終位置を知る。インキュベータは、物体の最終位置を「記憶」し、好ましくはインキュベータチャンバ内の他の物体若しくは他の各物体も「記憶」する。物体追跡の目的は、初期位置に位置する物体に、その位置変化、即ち、そのカメラ視界領域内での移動の後、位置変化がゼロとなり物体の移動が終了した最終位置を明確に割り当てることができることである。位置変化によって移動した物体の移動経路全体を正確に記述できることは、一次的に重要ではない。しかしながら、これは本発明の好適な構成において設けることができる。
【0014】
画像処理による物体追跡技術は、例えば車両又は人物を追跡するためにドローンや運転支援システムに使用することが一般に知られている。物体追跡(object tracking)は、ビデオ画像データの画像処理若しくは画像評価に基づいている。このような物体追跡方法は、適当なカメラや画像処理アルゴリズムなど、比較的単純な手段で実現できる。物体追跡技術の理論的基礎と、その実用的な実現、特に「単一物体追跡」及び「複数物体追跡」の実現のための利用は知られている(例えば「物体追跡の基礎」、S.チャラ他、ケンブリッジ大学出版局、2011年)。物体追跡のためのすぐに使える画像処理アルゴリズムも無料で利用でき(OpenCV.org)、十分文書化されている。OpenCV(Open Computer Vision)は、画像処理とコンピュータビジョンのためのアルゴリズムを備えた無料のプログラムライブラリ(BSDライセンス)である。OpenCVプログラムライブラリには、複数の物体をリアルタイムで追跡する機能も含まれている。物体追跡のインキュベータへの応用はこれまで発表されておらず、革新的である。
【0015】
好ましくは物体追跡システムにおいても使用される、画像処理による物体追跡の典型的な動作方式は、画像の時間的シーケンスの評価に基づくものである。物体追跡のための典型的なプログラムコードは、画像中の物体を識別し、その衝突限界を定義し、特にその位置を特定するために、「境界ボックス」を出力フォーマットとして使用する。デジタル画像処理では、デジタル画像中に示された物体をほぼ又は完全に包囲する矩形枠の座標を「境界ボックス」と呼ぶ。物体追跡において境界ボックスを使用することにより、物体追跡は、より効率的になる。なぜなら、このような数値的な補助手段による画像評価は、特に物体の輪郭認識のアルゴリズムと比較して、必要な計算ステップ、したがって必要な計算能力が少なくて済むからである。更に、対応するアルゴリズムは、特殊なグラフィックプロセッサ(GPU)を用いることにより、効率的かつ費用対効果の高い方法で実行することができる。境界ボックスを用いる物体追跡のための適切なプログラミングインタフェース(API)は、OpenCVプログラムライブラリにおいて、BOOSTING、CSRT、GOTURN、KCF、MEDIANFLOW、MOSSE、MIL、TLDという名称で提供されている。これに対応して、OpenCVプログラムライブラリでは、同時に複数の物体を追跡するための「マルチトラッカー」(「multiple object tracking」)が提供されている。この代替として、複数物体追跡(MOT)のための「追跡バイディテクション」原理による深層学習アルゴリズムが知られている。
【0016】
しかしながら、物体追跡のために、画像中の追跡すべき物体の輪郭の決定、特に背景減算による物体(前景)と背景の分離の決定を行うことも可能かつ好適である。
【0017】
物体追跡システムの性能の可能性は、一方で、以下に説明するインキュベータの種々の典型的な使用シナリオにおいて、インキュベータ内の物体を確実に自動識別することに基づいている。他方で、この方策は物体の側に特別な適応を必要としないため効率的である。特に、物体は受動的識別手段(コード、文字列)又は能動的識別手段(例えば送信機)を含む必要がない。むしろ、通常の物体(細胞培養容器、装置など)を、特にメーカーや外見に関係なくインキュベータと共に使用することができる。特に、本発明によるインキュベータは、完全に同一の外観をした物体を追跡によって区別することができる。
【0018】
インキュベータ内の占有状態が変化する場合に考えられるシナリオは、以下のとおりである。
I.新規物体を入れる。
II.物体を取り出す。
III.ドアを開けて物体を移動するだけで、取り出したり新たに入れたりしない。
【0019】
副次的条件
i)物体を移動する。
ii)物体を移動しない。
iii)複数の物体を入れる/取り出す(順番)。
【0020】
前提:全ての細胞培養容器は、外見上同じに見える。本発明の開発の根底にある問いは、特にどのような画像ベースの方法が考えられるか、特にインキュベータの一般的な使用シナリオにおいて物体の識別を可能にするのに静止画像で十分かということであった。
【0021】
シナリオI(新規物体をインキュベータチャンバに入れる)では、最初に、インキュベータチャンバのドアを開ける前に、インキュベータ内に設置されたカメラで撮像された収納領域の現在の静止画像には、まだ新規物体は写っていないと仮定する。
【0022】
既存物体(既に収納領域に配置されて位置が特定されている物体)を移動することなく新規物体をインキュベータチャンバに入れると(ケースI.ii))、新規物体は次の(インキュベータドアを閉メータ後の)静止画像で(問題なく一義的に)識別できる。ケースI.ii)では、物体追跡は必要ない。II.ii)についても同様である。物体を取り出すケースでは、ドアを開ける前と後の静止画像の評価により、その識別が一義的に可能である。
【0023】
新規物体を入れ、その際に既存物体を移動すると(ケースI.i))、この新規物体は次の静止画像では一義的に識別できない。既に登録されている既存物体に関する位置情報は失われる。同じことは、物体を取り出し、その際に既存物体を移動する場合(ケースII.i))も該当する。移動する場合(条件i))に、物体追跡が用いられる。
【0024】
条件i)で、即ち既存物体を移動することなく複数の物体を入れると(ケースIII)、新規物体は前後の静止画像によって容易に識別できるが、入れる順番に関する情報は失われる。この情報を得ようとしたら、物体追跡が必要である。同様のことは、ケースI)+iii)で複数の物体を取り出す場合にも該当する。しかしながら、導入の順番が決定的な意味を持つことはほとんどない。特に、培養時間が例えば48時間の場合、秒は重要ではない。しかしながら、特に複数の人の物体がインキュベータドアを開けた状態でインキュベータチャンバ内に次々と入れられるケースで物体の割り当てを明確にする必要がある場合や、インキュベータチャンバのある棚から別のインキュベータチャンバへの物体の移し替えを追跡する必要がある場合には、物体の移動の順番の把握や時間的経過の把握が望まれることがある。ユーザがインキュベータを操作する際に特定の規則を守る「基本的トラッキング」の場合は、順番の把握は省略することができる。
【0025】
インキュベータの運用において既存物体を移動することは例外ではなく普通のことであるため、この場合に収納領域の前後静止画像の評価だけでは不十分である。
【0026】
インキュベータ内の物体追跡システムを開発する際に問われるのは、特に、物体は、いつ識別されるか、即ち、どの時刻に、若しくは、どのようなイベントで、物体に識別データが割り当てられるかということである。ほとんどの応用シナリオでは(場合によって物体を入れる順番を把握することが重要であるiii)+iのようなケースを除く)、新規物体を入れて、その際に既存物体を移動した場合には、これらの識別データを収集すれば十分である。なぜなら、既に登録されている既存物体の移動は、物体追跡の措置の下で行われるからである。次の静止画像において、即ち特にインキュベータドアが閉じているときに、静止画像を用いて新規物体の登録を行うことができる。順番の把握が望まれる場合は、物体が初めてカメラの視界領域に進入する瞬間に、即ちカメラによって撮像された画像(ここではビデオ画像である初期画像)に初めて現れる瞬間に、物体が登録され、即ち物体にID番号が割り当てられ、この物体がその最終位置まで追跡され、その際に既存物体の万一の移動やそれらの取出しも追跡されることが好ましい。
【0027】
別の実用的なシナリオでは、収納領域(複数の収納領域も)が、1つ以上の物体(既存物体)によって占有され、これらが最初の初期画像(この場合は例えば静止画像)に基づいて登録されることが前提とされる。ここで追跡する必要があるのは、これらの既存物体の最終的な移動のみである。新たに入れる物体の動きは、入れる過程で追跡する必要はない。なぜなら、それらの登録は次の静止画像で再び行うことができるからである。したがって、ビデオデータにこれらの新規物体が対応して存在していることは、無視できる。このシナリオでは、ドアを開けている間に複数の物体を入れる順番に関する情報は失われるが、この情報は必ずしも必要なものではない。
【0028】
したがって、種々の又は全ての状況において、必要に応じて物体の正確な位置特定を保証するために、物体追跡を実施することを提案する。
【0029】
データ処理装置は、特に庫内に導入された少なくとも1つの物体に識別データを割り当てるようにプログラムされている。これは、特にカメラの画像データ(静止画像又はビデオデータ)において新規物体が検出されることを意味する。特に、新規物体は、外からカメラのカメラ視界領域内に移動したときに検出される。物体が検出されると、この物体に一方では識別データを割り当て(登録)、他方では位置データを割り当てることができる。位置データ、特に物体の初期位置と最終位置は、特に内部座標系に関して決定され、この内部座標系に基づいて少なくとも1つの収納領域の位置も、ひいては少なくとも1つの収納領域に対する少なくとも1つの物体の位置も定義される。この位置情報は、特に少なくとも1つの収納領域若しくはインキュベータチャンバ内の少なくとも1つの物体の位置を、ディスプレイ上でユーザにグラフィックに表示する場合に重要である。
【0030】
これらの識別データは、特にインキュベータチャンバ内に新たに入れられた物体を他の既存物体の識別データに対して一義的に区別するのに適している限り、予め決められても、ランダムに生成されても、ユーザによって指定されてもよい。識別データは、予め決めておいて、単に選択することもできる。このケースは、識別データの新規作成と同様に、「割り当てる」という用語によって包含される。
【0031】
データ処理装置は、特に収納領域の初期画像から少なくとも1つの物体の初期位置を決定するようにプログラムされている。初期画像は、カメラの静止画像モードで撮像される静止画像であることが好ましい。それはビデオデータ、特にビデオフレームから得られた単一画像であってもよい。データ処理装置は、特に初期画像において包絡線図又はマーキング線図、好ましくは矩形又は包絡体又はマーキング体、又は特に物体の境界ボックス、又は物体の外輪郭を確定し、及び特に物体を包絡線図又はマーキング線図、特に境界ボックス又は外輪郭によって包囲された若しくはマーキングされた画像領域を定義するようにプログラムされていることが好ましい。
【0032】
データ処理装置は、特にビデオデータの評価によって、少なくとも1つの物体の位置変化を決定するようにプログラムされている。データ処理装置は、特に初期画像で境界ボックスによって定義された物体の移動を追跡するようにプログラムされている。データ処理装置は、特に初期画像で境界ボックスによって定義された、物体を包含する初期領域の移動を認識し、そのためにこの画像領域の位置変化をフレームごとに決定するようにプログラムされている。この場合、特に物体の移動によって位置が変化する画像領域を決定するために、境界ボックスの追跡を使用できる。ビデオデータは、特にビデオを特徴付ける個々の画像(「フレーム」、ビデオを表示する場合に単位時間当たり特定の数、即ち「フレームレート」で表示される)を再構成できる情報を含んでいる。非圧縮ビデオデータの場合、ビデオデータはフレームデータの完全なシーケンスを含むこともでき、1「セット」の画像データはそれぞれ単一画像を表す。圧縮画像データの場合、場合によりカメラ画像のピクセルの時間的変化も/時間的変化のみ撮像される。
【0033】
データ処理装置は、特に初期画像から収納領域内の物体の初期位置を決定するようにプログラムされている。初期位置は、特に画像シリーズの最初のフレームでそれまで動いていなかった物体が、後続フレームで物体の位置変化を示すことによって決定することができる。物体が先行フレームに対して位置変化を示す最初のフレームは、初期フレームとして定義することができる。物体の移動は時刻T1に始まり、時刻T2に終わるため、時刻T1以前に撮像された画像(静止画像又はビデオ画像、画像を重ね合わせて得られる画像も含む)を、少なくとも1つの物体の初期位置を確定する初期画像として用いることができる。
【0034】
データ処理装置は、特に位置変化から収納領域の最終画像における少なくとも1つの物体の最終位置を決定するようにプログラムされている。最終位置は、特にフレームごとの物体の位置変化がもはや特定されなくなることによって決定できる。物体が先行フレームに対してもはや位置変化を示さない最初のフレームを最終画像と定義することができる。物体の移動は時刻T1で始まり、時刻T2で終わるため、時刻T2以降に撮像される画像(静止画像又はビデオ画像、画像を重ね合わせて得られる画像も含む)を、少なくとも1つの物体の最終位置を確定する最終画像として用いることができる。最終位置は、特にインキュベータドアの閉鎖がドアセンサによって検出される時刻によって決定することができる。最終位置は、特に画像領域に進入するユーザの腕又は手がもはや検出されなくなることによって決定できる。例えば画像は、画像の境界領域に位置する、例えば帯状の部分が、インキュベータチャンバ若しくはインキュベータの基準部分が完全に見える基準状態に対応しているか否かについて評価することができる。対応していない場合は、ユーザがまだインキュベータ内で操作しており、物体又は複数の物体はまだに動いていると結論付けることができ、特にビデオ画像の取得及び評価が継続される。物体の最終位置は、物体が先行の位置変化の後でもはや位置変化を示さない位置と理解することができ、したがって物体の移動の終了によって決定することができる。代替的又は追加的に、物体の最終位置は、インキュベータドアの閉鎖がドアセンサによって検出されたときに物体が占める位置が最終位置であると定義することができる。その結果、ほとんどの場合に最終位置は同じになる。
【0035】
データ処理装置は、センサがインキュベータで行われている活動を検出したときに、カメラによって初期画像及び/又はビデオデータの取得を開始するようにプログラムされていることが好ましい。センサは、インキュベータの外部に位置する検出領域における動きを検出するモーションセンサであってよい。センサは、ユーザが行ったインキュベータ、特にインキュベータのドアグリップの接触を検出するタッチセンサであってよい。センサは、特にインキュベータドア、特にインキュベータの外側ドアの開放を検出するドア開放センサであってよい。センサは画像評価によってカメラの視界領域内の動き及び/又は人を検出する、インキュベータの外部カメラであってよい。センサは、例えば電界の変化を検出することにより、人がインキュベータに近づいていることを検出する近接センサであってよい。インキュベータで行われる活動は、ドアロックにコードを入力することであってもよく、これはセンサがなくてもデータ処理装置によって検出されることが好ましい。
【0036】
データ処理装置は、センサがインキュベータで行われている活動を検出したときに、最終画像の取得を開始し、及び/又はビデオデータの取得を終了するようにプログラムされていることが好ましい。センサは、特にインキュベータドア、特にインキュベータの外側ドアの閉鎖を検出するドア開放センサであってよい。センサは画像評価によってカメラの視界領域内の動きの終了及び/又は人の消滅を検出する、インキュベータの外部カメラであってよい。センサは、例えば電界の変化を検出することによって、人がインキュベータから遠ざかっていることを検出する近接センサであってよい。
【0037】
データ処理装置は、特にインキュベータドアの開放がドアセンサによって検出されることに誘発されて、カメラによるビデオデータの取得を開始するようにプログラムされている。代替的又は追加的に、初期イベントセンサ、特にモーションセンサ、又は近接センサ、又は光センサ/受光器(例えばライトバリア)、又はマイクロフォン、又は加速度センサをインキュベータドアやインキュベータ内に配置することができ、これによって物体がインキュベータチャンバに近づいていることや別の初期イベントを検出することができる。データ処理装置は、このようなセンサのデータに基づいてビデオデータの取得を開始するようにプログラムすることができる。データ処理装置は、ビデオデータが存在すること及び/又は静止画像が存在することで、ビデオデータによって利用可能な画像(フレーム)又は静止画像中の新規物体の検索を開始するようにプログラムすることができる。代替的に、インキュベータでユーザが確認されたら直ちに、又は他の予め指定されたイベントで、ビデオデータの取得を開始できる。ビデオデータを常時取得することも可能である。データ処理装置は、特に最終画像の取得、若しくはカメラの視界領域視内に手/腕がないことが登録されて、又は上記のセンサ(ドアセンサ、モーションセンサなど)の1つの結果に基づいて、ビデオ画像データの取得を終了するようにプログラムされている。
【0038】
データ処理装置は、特に収納領域内の少なくとも1つの物体の最終位置をID位置データとして、少なくとも1つの物体の識別データに応じてデータメモリに保存するようにプログラムされている。このステップによりインキュベータは「物体」とその位置を「知る」ことになる。このとき、インキュベータはこのデータを他のデータと共に一緒にユーザに出力し、特にインキュベータのディスプレイに表示することができるようになる。インキュベータはこれらのデータセットを、物体の所有者(物体をインキュベータチャンバに入れたユーザ)又は物体のユーザ(例えば他のユーザの既存物体を移動したユーザ)に関するデータと共に、物体の識別データに応じて保存及び収集できる。位置変化が検出された根拠となる識別データは、ID位置データとして保存された識別データと同一である必要はなく、重要なのは、保存された識別データが少なくとも1つの物体を他の物体若しくは既存物体から一義的に区別するのに適していることである。したがって、IDコードは理論的には画像処理中に変更することができる。
【0039】
物体への所有者の割り当ては、様々な方法で行うことができる。データ処理装置は、インキュベータに物体を入れるユーザを登録又は識別し、このユーザにユーザ識別コードを割り当て、物体のユーザ関連ID位置データを保存するようにプログラムされていることが好ましい。ユーザ登録のために、特にインキュベータの外部カメラ、網膜スキャナ又は指紋センサによって、ユーザの生体認識、特に顔認識を行うことができる。登録された生体認識データ、特にユーザの顔認識データは、インキュベータのデータ記憶装置又は外部データ記憶装置に保存できる。ユーザの識別は、取得した生体認識データを既に登録された生体認識データと照合することによって行うことができる。生体認識の代替として、ユーザは、物体登録を実行する前、実行中、又は実行後、若しくは追跡された物体の最終位置を決定した後に、ユーザインタフェース装置を介してユーザ識別データを入力することも可能になる。ユーザインタフェース装置は、キーボード、タッチスクリーン、インキュベータ又は外部機器の一部であってよい。
【0040】
物体追跡の利点は、追跡する物体の個別特徴又はクラス特徴を知らなくても実行できることである。しかしながら、物体追跡は物体認識(及び物体再認識)及び/又は物体クラス認識若しくはクラス再認識の方法と組み合わせることもできる。
【0041】
物体認識は、特に物体個別認識及び/又は物体クラス認識として構成することができる。物体認識技術の理論的基礎とその実用化のための実装は知られている(例えば「物体検出及び認識における深層学習」X.Jiangら、シュプリンガーシンガポール、2019年)。画像中の物体認識のためのアルゴリズムは、例えばOpenCVの一部として一般に知られており利用可能である(例えばOpenCV3.3、ディープニューラルネットワーク(dnn)モジュール)。
【0042】
物体個別認識は、個々の物体の特徴(物体個別特徴)の認識に基づいており、それらの特徴によって個別物体を再認識し、他の個別物体に対して区別することが可能である。例えば細胞培養容器、例えば使い捨て製品は、バーコードやQRコード(登録商標)などの個別特徴を後から付けることができる。しかしながら、細胞培養容器は、区別を可能にするあらゆる特徴、例えば文字列、異なる内容物、容器表面のマイクロスクラッチパターンなどを介して識別することも可能である。
【0043】
物体クラス認識は、物体クラス特徴の知識に基づいており、それらの特徴を物体検査中に照合して、物体にクラスを割り当てる。例えば物体クラス認識によって、物体が特定のタイプの細胞培養瓶、特定のタイプのペトリ皿、又は特定のタイプのマイクロタイタープレートであるかを認識することができ、場合によっては別のクラス特徴、例えば製造業者、製造年、仕様などを考慮に入れる。
【0044】
インキュベータは、物体認識システムを有することが好ましい。物体追跡システムは、好ましくは物体認識に追加して設定されている。
【0045】
物体個別認識の場合、物体認識システム又は物体追跡システムのデータ処理装置は、a)静止画像、初期画像、ビデオデータ及び/又は最終画像から少なくとも1つの物体の個別特徴を認識し、b)これらの物体の個別特徴を個別物体データの形で、特に識別データに応じて保存するようにプログラムされていることが好ましい。データ処理装置は、好ましくは初期画像、ビデオデータ及び/又は最終画像から少なくとも1つの物体の物体個別特徴を抽出し、これらの物体個別特徴を個別物体データベースと照合し、個別物体データベースの物体個別特徴が個別物体標識と関連付けられている場合は、少なくとも1つの物体の物体個別特徴を識別し、個別物体データベース内の物体個別特徴が個別物体標識と関連付けられていない場合は、少なくとも1つの物体に個別物体標識を割り当てて個別物体データベースに保存し、及び/又は認識した個別物体標識を少なくとも1つの物体のID位置データに割り当てて個別関連ID位置データとして保存する。個別物体標識は、好ましくはその識別データと異なるが、物体個別特徴は好ましくはその識別データと同じであってもよい。
【0046】
物体クラス認識の場合、物体認識システム又は物体追跡システムのデータ処理装置は、a)静止画像、初期画像、ビデオデータ及び/又は最終画像に少なくとも1つの物体のクラス特徴を認識し、b)これらの物体のクラス特徴を物体クラスデータの形で、特に識別データに応じて保存するようにプログラムされていることが好ましい。データ処理装置は、静止画像、初期画像、ビデオデータ及び/又は最終画像に少なくとも1つの物体の物体クラス特徴を認識し、これらの物体クラス特徴を物体クラスデータベース(特に物体クラスと物体クラス特徴との間の予め知られた相関関係を含む)と照合し、少なくとも1つの物体の物体クラスを認識し、特に認識した物体クラスを少なくとも1つの物体のID位置データに物体クラスデータとして割り当て、特にクラス関連ID位置データとして保存するようにプログラムされていることが好ましい。
【0047】
インキュベータは、インキュベータを使用するユーザがユーザ識別データの形で識別可能なユーザ識別装置を備えていることが好ましい。インキュベータのデータ処理装置は、インキュベータを使用するユーザをユーザ識別装置によって識別し、ユーザにユーザ識別データを割り当て、これらの識別データ及び/又はID位置データを、ユーザ識別データに応じてユーザ関連識別データ及び/又はユーザ関連ID位置データとしてデータ記憶装置に保存するようにプログラムされていることが好ましい。
【0048】
ユーザ識別装置は外部カメラを備えていることが好ましく、ユーザ識別装置は、好ましくは外部カメラによって顔認識を行うように設定されており、及び/又はデータ処理装置は外部カメラによって顔認識を行い、それによってユーザが識別されるようにプログラムされている。好ましくはデータメモリに保存されたユーザデータベースが設けられており、データメモリは、インキュベータ、ユーザ識別装置又は物体追跡システムの一部であってよく、或いはユーザ識別装置若しくはデータ処理装置と、例えばイントラネット又はインターネットを介してデータ交換接続することができる。画像中の顔認識のアルゴリズムは一般に知られており、例えばOpenCVの一部(「FaceRecognizer class」)として利用可能である。
【0049】
ユーザデータベースは、ユーザ識別データとユーザ特徴データの相関関係を含むことができ、決定された又は読み取られたユーザ特徴データに基づいてユーザ又はユーザのユーザ識別コード(ユーザ識別データ)を決定することができる。ユーザ特徴データは、ユーザの顔の特徴に関する情報、又は他の生体データ、例えば指紋データ又は音声認識データを含むことができる。ユーザデータベースは、ユーザ識別データとユーザ標識の相関関係を含むことができ、ユーザ標識はユーザの個人識別コード、例えば複数桁の文字列であってよく、これをユーザインタフェース装置のキーボードで入力するとユーザが識別される。
【0050】
外部カメラは、特にインキュベータドア、特にインキュベータの外側ドアに、その上に又はその横に配置若しくは固定することができる。外部カメラは、好ましくはインキュベータ又はインキュベータドアの固定された構成要素である。しかしながら外部カメラは、信号接続を介して、特に有線又は無線であってよいデータ交換接続を介して、ユーザ識別装置又はデータ処理装置に接続することもできる。例えばフレキシブルケーブルを介して外部カメラをインキュベータ若しくはそのユーザ識別装置若しくはデータ処理装置に接続して、ユーザがカメラをインキュベータ上に自由に配置できるようにすることが可能である。
【0051】
ユーザ識別装置は、ユーザ識別データを読み取ることができるユーザインタフェース装置を有することが好ましい。ユーザインタフェース装置は、キーボード、及び/又はタッチスクリーン、及び/又は言語入力用若しくは言語認識によるユーザ識別を実現するためのマイクロフォンを含むことができる。ユーザインタフェース装置は、外部データ処理機器(以下「外部機器」ともいう)とデータを交換するように設定することができる。外部機器は、PC、スマートフォン、タブレットコンピュータ、又はユーザインタフェースを有する他の携帯コンピュータであってよい。
【0052】
外部機器は、ユーザを識別及び/又は認証する手段を有することができる。特に現在入手可能なスマートフォンは、ユーザ認証、特に顔認識のための様々な手段を含んでいる。外部機器は、ユーザを識別及び/又は認証し、特にこのプロセスの結果を、ユーザインタフェース装置を介してインキュベータのユーザ識別装置に伝送するようにプログラムされたソフトウェア、例えばアプリを有することが好ましい。外部機器はまた、顔認識を実施できる固有のカメラ、又は指紋センサ、又はユーザ識別及び認証のための他のハードウェアを有することが多いため、インキュベータをインキュベータの外部機器と接続する場合に必要なハードウェアコンポーネントを不要にすることができる。
【0053】
インキュベータのユーザ識別装置は、インキュベータの制御ソフトウェアの構成要素としてプログラムすることができる。インキュベータは、好ましくは特にユーザ識別装置の全部又は一部の機能を含むように、特に外部機器とのデータの交換を制御するようにプログラムされたデータ処理装置を有する制御装置を備えていてもよい。
【0054】
ユーザ識別装置は、ユーザ識別データを選択できるユーザインタフェース装置を有することが好ましい。このために、ユーザ識別装置は特にディスプレイ又はタッチスクリーンを有することができ、これを介して可能なユーザのリストを、例えばユーザの名前又は画像を指定することによって表示することができる。次に、キー、キーボード、タッチパッド、タッチスクリーンなどの入力手段を用意し、ユーザがリストから選択することができる。
【0055】
ユーザ識別装置は、上記のユーザ識別データの読み取り又は上記のリストからの選択がパスワードで保護されていることによって、認証に成功したとき初めてユーザが識別されたとみなされるように、ユーザ認証を実行するようにプログラムすることができる。
【0056】
ユーザ識別装置は、ユーザを識別するコードを読み取るための読取装置を備えていることが好ましく、この読取装置は特にRFID読取装置、バーコード読取装置、又はQRコード(登録商標)読取装置である。
【0057】
ユーザ識別装置若しくはそのデータ処理装置は、ロックされたインキュベータドアをユーザ識別に応じてロック解除及び/又はロックするように、特にユーザが正常に識別されたときにロックされたインキュベータドアをロック解除するようにプログラムすることができる。この場合、これはユーザがインキュベータにアクセスする権限も与えられていることを意味する。しかしながら、追加のアクセス権限者リストが存在し、それに基づいてインキュベータは、識別されたユーザがアクセス権限を有するか、又は場合によって識別されたユーザがどのような種類のアクセス権限を有するかを決定する。アクセス権限は、例えば特定の時間、特に特定の曜日、時刻、又は権限付与時間帯に制限することができる。インキュベータが複数のインキュベータドアを有する場合、アクセス権限は、ユーザがこれらのインキュベータドアのうち所定の選択に対してのみアクセス権限を有するように規定することができる。
【0058】
インキュベータは、チャンバ開口部を閉じるための正確に1つ又は複数のインキュベータドアを有することが好ましい。インキュベータドアは閉じた状態で、特にインキュベータのインキュベータチャンバの熱絶縁体として機能するインキュベータハウジングの一部を形成する。インキュベータドアはその外側にユーザインタフェース装置、特にディスプレイを備えることができる。インキュベータ若しくはユーザインタフェース装置のデータ処理装置は、インキュベータのカメラによって撮像されたインキュベータの少なくとも1つの収納領域の画像を表示するようにプログラムすることができる。
【0059】
インキュベータは、インキュベータドアの開放若しくは閉鎖を検出するためのドアセンサを有することが好ましい。データ処理装置は、インキュベータの内部の監視、特にビデオデータ及び/又は静止画像データの生成を、特にドアセンサによる、代替的にモーションセンサ又は近接検知器によるインキュベータドアの開放の検出に応じて開始するようにプログラムされていることが好ましい。データ処理装置は、インキュベータの内部の監視、特にビデオデータ及び/又は静止画像データの生成を、特にユーザ識別装置によって識別されたユーザによるドア開放の検出に応じて開始するようにプログラムされていることが好ましい。
【0060】
データ処理装置は、インキュベータの内部の監視、特にビデオデータの生成を、インキュベータのドア閉鎖の検出に応じて、又は上記センサの測定に応じて終了するようにプログラムされていることが好ましい。
データ処理装置は、ユーザ識別装置及び物体追跡装置からの情報によって、どのユーザによってどの物体が庫内で移動されたかを確認し、このユーザのユーザ識別データをこの物体の物体識別データと共にデータメモリに保存するようにプログラムされていることが好ましい。
【0061】
特にデータ処理装置は、初期画像、ビデオデータ及び/又は最終画像からインキュベータチャンバ内の少なくとも1つの物体の移動経路を決定して、移動履歴データの形でデータメモリに保存し、特に時間に依存して保存するようにプログラムされている。
【0062】
データ処理装置は、初期画像、ビデオデータ及び/又は最終画像からインキュベータチャンバ内の少なくとも1つの物体の移動履歴を決定して、移動履歴データの形でデータメモリに保存し、特に時間に依存して保存するようにプログラムされていることが好ましく、好ましくはドアセンサによって決定されたインキュベータドアのドア開口部の状態(開/閉)の変化の回数及び/又は時刻に関する情報を含む。移動経路は、好ましくは物体の保存された位置データを含み、これらの位置データは物体の移動経路を、特に初期画像と最終画像との間で、特に物体の動かない又は動初期位置と、特に物体の動かない最終位置との間でマーキングする。移動履歴データは、好ましくは時間に依存して保存された位置データ若しくは移動経路を、好ましくは少なくとも1つの時間区分内又はこの物体がインキュベータ内に滞在している時間全体において含む。移動履歴データは、位置変更を引き起こすユーザに関する情報もユーザ識別データの形で含むことができる。これは、特に貴重なサンプルを含む物体の場合に有利である。
【0063】
インキュベータは、ディスプレイ(=スクリーン)を有することが好ましい。スクリーンは、好ましくはインキュベータ、特にインキュベータドアの固定された構成要素である。しかしながらスクリーンは、インキュベータから離して配置することもでき、特にインキュベータのデータ処理装置とデータ交換接続することができる外部機器の構成要素であってよい。
【0064】
データ処理装置は、インキュベータチャンバの内部、特に少なくとも1つの収納領域のグラフィック表現をスクリーン上に表示するようにプログラムされていることが好ましい。グラフィック表現は、インキュベータの1つ以上の既存物体を表示できる収納領域の写真を含むことができる。収納領域は、特にインキュベータ内の棚板又はその所定の範囲であってよい。写真は、カメラで撮像された画像を表示することができ、これは場合により後処理されていることがある。この後処理は、好ましくはカメラで撮像された歪みのある画像を補正することを含む。このような後処理のためのアルゴリズムは一般に知られており、無料で利用できる(例えば、OpenCV、「全方位カメラキャリブレーション」)。歪みは特に光学的な原因で発生し、広角カメラ若しくは魚眼カメラの使用に起因することがある。
【0065】
グラフィック表現は、特にカメラによって撮像された画像又は画像部分の抽象化された表現であってよい。例えばグラフィック表現は、鳥瞰(又は別の視点)から示される抽象化された収納領域、特に長方形のグラフィック表現又は立方体の透視表現であってよい。既存物体も同様に抽象化された形で、例えば長方形又は立方体のグラフィック画像物体として表現することができる。このような表現の目的は、特にインキュベータ若しくは収納領域における1つ以上の物体の位置をユーザに知らせることである。これによってユーザは1つ以上の所望の物体に迅速にアクセスでき、インキュベータドアが開いている時間を最小化することができる。物体のスタックに含まれた個々の物体の区別を可能にする場合には、スタックの個々の物体をグラフィックに強調できるように、鳥瞰とは異なる視点、例えば横方向の視点からのグラフィック表現が有効である。
【0066】
データ処理装置は、物体位置データ、つまりID位置データによって識別された物体が収納領域若しくはインキュベータチャンバの内部のどこに位置しているかをグラフィックに表示するように、或いは庫内に置かれた全ての物体がどこに配置されているかをグラフィックに表示するようにプログラムされていることが好ましい。
【0067】
データ処理装置は、少なくとも1つの条件パラメータに応じて1つ以上の物体をディスプレイでグラフィックに強調するようにプログラムされていることが好ましい。条件パラメータは、ユーザ識別データを表すことができる。
【0068】
データ処理装置は、ユーザに所有物として割り当てられた1つ以上の物体を、ユーザ(個々のユーザ、ユーザグループ、又は複数のユーザ)のユーザ識別データに応じて、即ち例えばユーザ関連ID位置データがこのユーザのユーザ識別データを含むことによって、ディスプレイ上でグラフィックに強調するようにプログラムされていることが好ましい。所有者は、物体を管理し、ほとんどの場合に自分で又は補助者の助けを借りてインキュベータチャンバに入れた者である。データ処理装置は、所定のユーザ識別データに基づいて、ユーザ関連物体位置データによって、このユーザ識別データに関連付けられた物体がどこに配置されているかを決定し、特にこれらの物体をグラフィックに強調するようにプログラムされていることが好ましい。
【0069】
条件パラメータは、時間又は時刻、例えば物体が既にインキュベータチャンバ内に配置されていた時間に関する情報も含むことができる。これにより、ユーザは、1つ以上の物体が既にどのくらい長くインキュベータチャンバ内に収納されているか、場合によってはそれらの所有者が入れたたまま忘れてしまったかということについて素早く見通しを得ることができる。或いは、インキュベータのセンサによって検出されたイベントに応じて、又はインキュベータ若しくは外部機器に保存できるスケジュールに応じて、ユーザ若しくはラボスタッフが注意を払う必要がある1つ以上の物体をグラフィックに強調することができる。
【0070】
或いは、条件パラメータは、物体クラス認識を実施する場合には、特定の物体クラスに関する情報を含むことができる。したがって、例えばインキュベータ庫内における全てのペトリ皿(あるいは細胞培養瓶)の置き場所を強調するために、同じ物体クラス(又はそれと異なる物体クラス)の1つ以上の物体をグラフィックに強調することができる。
【0071】
或いは、条件パラメータは、物体個別認識を実施する場合には、特定の個別物体に関する情報を含むことができる。このようにして、例えばインキュベータが個別特徴、例えばバーコード、QRコード(登録商標)、個々の文字列又は個々の物体の写真を入力する手段を有することにより、個別特徴に基づく物体検索を実施することができる。したがって個々の物体をグラフィックに強調して、容易に見つけることができる。
【0072】
データ処理装置は、インキュベータチャンバの内部、特に少なくとも1つの収納領域のグラフィック表現をスクリーンに表示し、特にインキュベータ内で利用可能な空き収納場所をグラフィックに表示又は強調するようにプログラムされていることが好ましい。例えば収納領域を抽象化して示し、空いている収納位置(又は複数の利用可能な空き収納場所)をグラフィックに強調することができ、そのために対応する領域を例えば緑色又は白色、或いは時間的に変化する(点滅する)、背景との対照色で表示する。このようにすると、ユーザは可能な空き収納場所を探し、又は既存物体を移動させて空き収納場所を作ることに時間を費やす必要がない。
【0073】
更に、データ処理装置は駐車場係員の機能と同様に、インキュベータチャンバの内部又は少なくとも1つの収納領域の占有を計画し、特にこのようにして利用可能な収納場所の使用を最適化するようにプログラムすることができる。このために、データ処理装置は、1つ以上の既存物体と新たに入れられる物体との間の所定の距離を考慮し、特に空き収納場所をそれぞれ利用可能及び/又は利用不能として強調表示することによってユーザに提示するようにプログラムすることができる。これらの例に従い、インキュベータは、インキュベータの内部を占有するためのコンピュータ/ソフトウェアに実装された計画プログラムを有することができる。この計画プログラムは、特に庫内における少なくとも1つの物体(既存物体)の位置及び/又は特に利用可能な空き収納場所、場合によっては少なくとも1つの既存物体が新たに入れられた時刻、或いは今後別の物体をインキュベータに入れる予定の時刻も考慮する。このような時刻は、特にインキュベータが実験室情報システム(LIS)又は他の(実験室)データ交換ネットワークに接続されていれば知ることができる。インキュベータは、好ましくは時間発生器、時計、又はタイマを有する。
【0074】
しかしながら、インキュベータのデータ処理装置(以下「第1のデータ処理装置」と呼ぶ)は、特にインキュベータチャンバの内部の雰囲気を特徴付けるパラメータ(温度、ガス分圧)を測定するために、少なくとも1つの測定値測定の実行を制御することも可能であり、特に好適である。このようにして、物体追跡システムの動作中、第1のデータ処理装置は、インキュベータチャンバ内の電気装置の動作が、チャンバ雰囲気を許容できない程度に加熱する廃熱を招く可能性があることを考慮することができる。それゆえインキュベータの制御装置は、インキュベータチャンバ内の電気装置、特に少なくとも1台のカメラの動作を、温度センサによって検出されたチャンバ雰囲気の温度に応じて制御するように設定することができる。インキュベータの制御装置は、特にインキュベータの少なくとも1つの温度調節装置によるチャンバ雰囲気の温度調節と、インキュベータチャンバ内の電気装置の動作を相互に制御して、チャンバ雰囲気の望ましくない加熱を補償するように設定することができる。
【0075】
インキュベータのデータ処理装置が、インキュベータチャンバの内部の占有状態を決定するようにプログラムされており、及び/又は、好ましくは以下のステップの1つ以上、即ち、庫内に配置された少なくとも1つの物体のID位置データに応じて、インキュベータチャンバの内部の占有状態を決定するステップと、庫内に配置された少なくとも1つの物体のクラス関連ID位置データに応じてインキュベータチャンバの内部の占有状態を決定するステップと、庫内に配置された少なくとも1つの物体の個別関連ID位置データに応じてインキュベータチャンバの内部の占有状態を決定するステップと、を実行するようにプログラムされていることが可能であり、特に好適である。
【0076】
庫内の占有状態は、庫内で少なくとも1つの物体によって占められた容積を表す情報、及び/又は庫内で少なくとも1つの物体によって占められていない容積、即ち空き容積を表す情報、及び/又はインキュベータチャンバの内部において少なくとも1つの収納領域若しくは利用可能な全収納領域で少なくとも1つの物体によって占められた収納面積を表す情報、及び/又はインキュベータチャンバの内部において少なくとも1つの収納領域若しくは利用可能な全収納領域で少なくとも1つの物体によって占められていない、即ち空いている収納面積を表す情報によって定義できる。これらのデータは、それぞれ全庫内容積若しくは全収納面積を基準とすることができ、これらの情報は、例えば庫内の全容積に対する利用できない(占有された)庫内容積又は空いている(占有されていない)庫内容積の比を含むことができ、或いは庫内における全収納面積に対する利用できない(占有された)収納面積又は空いている(占有されていない)収納面積の比を含むことができる。
【0077】
占有状態に関する情報を含む占有状態データは、ID位置データ、クラス関連ID位置データ及び/又は個別関連ID位置データも含むことができる。このようにして占有の位置分解の指定、即ち庫内における占有の位置特定若しくは庫内における物体の密度分布の指定が可能となる。
【0078】
インキュベータのデータ処理装置が、インキュベータの占有状態に関する情報を占有状態データの形でデータ記憶装置に記憶し、特に外部のデータ処理装置、特に実験装置、PC、又は携帯コンピュータ、特にタブレットコンピュータ又はスマートフォンに転送するようにプログラムされていることが可能であり、特に好適である。これらの情報は特に呼出し可能に保存されており、特にユーザがユーザインタフェース装置によって呼び出すことが可能である。
【0079】
インキュベータのデータ処理装置が、特にデータメモリから取り出すことができる占有状態データに応じて、インキュベータの占有状態に関する情報をインキュベータ又は外部のデータ処理装置のスクリーンに表示するようにプログラムされていることが可能であり、特に好適である。外部データ処理機器は、実験装置、PC、携帯コンピュータ、特にタブレットコンピュータ又はスマートフォンの一部であってよい。
【0080】
本発明の実施例に基づく試験シリーズにおいて、インキュベータドアを開けた後に温度制御の結果として生じるインキュベータチャンバ内の温度の経時的変化は、インキュベータチャンバの占有状態に依存することが確認された。チャンバ内部のより大きな容積が既存物体によって占められている場合、チャンバ内部と物体によって占められた占有容積の差から生じるチャンバ内部の空き容積は小さくなる。このような状況では、庫内容積全体を制御するように設計された温度制御は、場合によっては別の望ましくない結果を招くであろう。急激なオーバーシュートを生じることがあり、これは望ましくないが、例えば37℃の目標温度の回復が加速されて回復時間が短くなる可能性はある。目標温度より低い温度の複数の新規物体を新たに入れると回復時間の遅延が生じる可能性があるが、新たに入れた、より低温の物体に関する知識を用いて、同様に温度制御を適合させることができる。インキュベータチャンバの内部における温度の温度制御は、制御パラメータに依存する。
【0081】
インキュベータの電子制御装置は、インキュベータチャンバの温度調節のために配置されているインキュベータの少なくとも1つの温度調節装置が、温度制御中に時間tに依存して電力Ptemp(t)で作動されるように設定若しくはプログラムされていることが好ましい。インキュベータは、特に温度調節装置が電流のパルス幅変調(PWM)により作動されるように設定できる。電流の振幅は好ましくは一定であるため、電力は特にPWMのデューティサイクルによって決定される。特に上記の値は、温度制御の変数、即ち制御パラメータであってよい。
【0082】
インキュベータの電子制御装置は、温度制御又はインキュベータガス供給(例えばCO2、N2、及び/又はO2)の制御、特に少なくとも1つの制御パラメータを、インキュベータの占有状態に応じて適合できるように設定若しくはプログラムされていることが好ましい。このようにして、インキュベータチャンバの内部に配置された物体が、制御されたシステムの応答挙動に及ぼす影響を考慮することができる。特に、庫内の占有度が高い場合に回復時間を短縮することができる。
【0083】
物体追跡システムのデータ処理装置は、好ましくは、インキュベータの第1のデータ処理装置とは別個のものであることが好ましい。しかしながら、データ処理装置はインキュベータの機能を制御するインキュベータの制御装置(「第1の制御装置」とも呼ぶ)の一部であってもよい。制御装置の機能は、特に電子回路によって実装されている。物体追跡システムのデータ処理装置は、少なくとも1つのCPU及び/又は少なくとも1つのGPUを有することができる。GPUは、画像処理又は深層学習プロセスの実行のために設けることができる。データ処理装置は、CPU又はGPUの代替として、画像処理又は深層学習プロセスの実行のための専用チップ、例えばNVIDIA Jetsonを備えることもでき、これは物体追跡、特に可能な物体クラス認識又は物体個別認識において使用できることが好ましい。このような専用チップは、計算アクセラレータとしてデータ処理装置に追加することができる。GPUは、既に多くのSoC(System on a Chip)システム(画像及びビデオの表示用)に存在している。Rasberry PIも、同様にSOCの一部として専用GPUユニットを搭載することができる。
【0084】
データ記憶装置は、少なくとも1つのデータメモリを有し、このデータメモリは、特に揮発性又は不揮発性のデータメモリであることが好ましい。インキュベータによって検出又は受信されたデータは、この少なくとも1つのデータメモリに、特に少なくとも1つのデータメモリに保存可能な少なくとも1つのデータベースに保存することができる。これらのデータには、識別データ、ID位置データ、ユーザ識別データ、ユーザ関連ID位置データ、物体識別データ、移動履歴データ、クラス関連ID位置データ、個別関連ID位置データ、占有状態データ、物体データ、画像データ、静止画像データ、ビデオ画像データの少なくとも1つ又は全てのタイプのデータが含まれる。データ記憶装置は、好ましくはインキュベータの構成要素であり、特にインキュベータのハウジングに配置されている。しかしながらデータ記憶装置は、インキュベータ若しくはそのデータ処理装置が通信する外部データ処理機器の構成要素であってもよい。
【0085】
物体追跡システムは、第1の制御装置とは別個に設けることができる制御ユニットを備えてもよい。本明細書において、「制御装置」及び「制御ユニット」という用語は、同義語として使用される。制御装置は、データ処理装置を備えることができるマイクロプロセッサを有してよい。マイクロプロセッサは、「Rasberry PI」タイプであってよい。制御ユニット及び/又はデータ処理装置は、それぞれインキュベータ及び/又は物体追跡システムに関連する制御手順(制御ソフトウェア又は制御プログラムとも呼ばれる)を実行するように構成されていることが好ましい。インキュベータ及び/又は物体追跡システム及び/又は制御装置及び/又はデータ処理装置の機能は、方法ステップで記述することができる。方法ステップは、制御プログラムの構成要素として、特に制御プログラムのサブプログラムとして実現することができる。
【0086】
本発明の文脈において、制御装置は一般に、特にデータ処理装置、特にデータを処理するための演算装置(CPU)及び/又はマイクロプロセッサを有しているか、又はデータ処理装置である。インキュベータの制御装置のデータ処理装置は、物体追跡システムを制御するように設定できることが好ましい。
【0087】
物体追跡システムのデータ処理装置は、好ましくはインキュベータチャンバ又はインキュベータの外部に、特に任意選択でこれらとは分離して配置された装置であり、外部機器若しくは外部データ処理機器とも呼ばれる。データ処理装置とインキュベータは好ましくはデータ接続しており、データ交換のためのネットワークの構成要素であることが好ましい。
【0088】
物体追跡システムの少なくとも1台のカメラは、ケーブル接続を介して物体追跡システムの制御装置若しくはデータ処理装置と接続されていることが好ましい。このために、インキュベータチャンバは、ケーブル接続のケーブルが通される貫通口(ポート)を有する。この場合、インキュベータ内の雰囲気に影響することを(可能な限り)防止するために、ポートを密閉するシール、特にシリコンシールが設けられていることが好ましい。代替的に、カメラは無線データ交換のために、例えばBluetooth(登録商標)又はWLANを介して、制御装置若しくはデータ処理装置と接続されている。
【0089】
インキュベータは、特に(インキュベータ及び/又は物体追跡システムの)少なくとも1つの制御装置が配置されている部分ハウジングを有することができる。部分ハウジングは、インキュベータの後ろ側、即ち特にインキュベータドアの反対側に配置されていることが好ましい。
【0090】
システム、インキュベータ及び/又は物体追跡システム及び/又はデータ処理装置及び/又は制御装置は、物体の移動が記録及び文書化される電子文書ファイルを作成するために少なくとも1つの物体又は複数の物体の位置データを使用するように設定されていることが好ましい。次に、この文書ファイルは、特にデータ記憶装置に保存され、好ましくは連続的に更新される。このようにして、標準プロトコルに従った物体の「正しい」取り扱いを必要に応じて証明することができる。他方、後から標準プロトコルからの逸脱を特定でき、及び/又は情報の相関関係を決定することができる。このようなデータを把握することによって、細胞ベースの実験作業や医学、生物学、薬学の手順の質を大幅に向上させ、より信頼性の高いものにすることができる。細胞ベースの実験作業の再現性を高め、正常な特徴からの逸脱を早期に検出して、ユーザが実験を修正し、又は早期に反復することを可能にする。文書ファイルは、制御装置からユーザ又は外部のデータ処理装置にデータ交換によって提供することができる。このような文書化は、重要な応用、例えば法医学に関連するものや、相当な価値のある細胞が培養されるものにおいて特に有用である。
【0091】
インキュベータは、実験用インキュベータであり、したがって様々な生物学的発生及び成長プロセスのための管理された気候条件を作り出して維持することができる装置である。インキュベータは、好ましくはシェーカ、即ちインキュベータチャンバ内に配置された物体を動かすための運動装置を備えたインキュベータであるか、又はこれを含むことができる。インキュベータは、細胞培養装置、微生物インキュベータ(CO2なしでも可)であってよい。インキュベータは、特にインキュベータチャンバ内のガス及び/又は湿度及び/又は温度条件を制御した微気候を作り出して維持する機能を果たし、この処理は時間に依存することができる。実験用インキュベータ、特に実験用インキュベータの処理装置は、時間発生器、特にタイマ、加熱/冷却装置、好ましくはインキュベータチャンバに供給される交換ガスを制御するための調整装置、インキュベータのインキュベータチャンバ内のガスの組成調整装置、特にガスのCO2及び/又はO2及び/又はN2などのガスの含有量を調整するための調整装置及び/又はインキュベータのインキュベータチャンバ内の湿度を調整するための調整装置を備えることができる。インキュベータ、特にインキュベータの処理装置は、特にインキュベータチャンバを有し、更に好ましくは少なくとも1つの制御回路を持つ制御装置を有し、この制御回路には操作要素として少なくとも1つの加熱/冷却装置が、また測定要素として少なくとも1つの温度測定装置が割り当てられている。制御装置によってインキュベータ内の温度を制御することができる。実施例によっては湿度も制御できる。インキュベータチャンバ内の水を満たしたタブを加熱又は冷却して、蒸発によって湿度を調整することができる。代替的及び/又は追加的に、インキュベータの構成要素として水蒸気発生装置を設けて、インキュベータチャンバの雰囲気の湿度を調整することもできる。CO2インキュベータは、特に動物やヒトの細胞の培養に用いる。インキュベータは、少なくとも1つの細胞培養容器を回転させるための回転装置及び/又は少なくとも1つの細胞培養容器を振動若しくは運動させる振動装置を有することができる。本発明によるインキュベータは、特にバイオリアクタ又は発酵器ではない。
【0092】
センサ装置は、特に少なくとも1つの温度センサ、好ましくは複数の温度センサを有する。温度センサは、例えばPt100又はPt1000温度センサであってよい。センサ装置は、好ましくは相対的ガス濃度を決定するためのセンサ、特にCO2及び/又はO2及び/又はN2の含有量を決定するためのセンサを有する。センサ装置は、好ましくは相対湿度を決定するためのセンサを有する。
【0093】
インキュベータは、1つ若しくは唯一のインキュベータチャンバを有する。インキュベータチャンバは、コンパートメントに区分することができる。コンパートメントは、特に穿孔された収納プレートによって分離することができ、特にコンパートメント間のガス交換が可能にされている。収納プレート、特にその下側はカメラ装置を保持するように形成でき、特にカメラのためのホルダを備えることができる。収納プレート、特にその下側は照明装置を保持するように形成でき、特に照明装置のためのホルダを備えることができる。
【0094】
インキュベータチャンバは、チャンバ壁若しくはチャンバ内壁と、正確に1つの又は少なくとも1つのチャンバ開口部を有し、このチャンバ開口部を通して物体若しくは細胞培養容器をインキュベータチャンバ内に置いたり、取り出したりすることができる。このチャンバ開口部は、インキュベータチャンバと可動に接続された閉鎖要素、特にヒンジによってインキュベータチャンバに可動に取り付けられたインキュベータドア、特に1つ以上のチャンバドアによって閉じることができる。インキュベータは、1つ以上の、特に透明であってよい内側ドアと、1つの外側ドアを有することができる。外側ドアは、特にチャンバ開口部と、場合によってはチャンバ開口部を閉鎖若しくは開放する少なくとも1つの内側インキュベータドアを、周囲に対して断熱する。撮像システムは、好ましくはインキュベータドア若しくは外側ドアが閉じた状態で画像を取得し、それによって好ましくは照明装置によってのみ行われる収納領域の照明に周囲光が影響を与えないようにする。その結果、再現性が高く、比較可能な、画像処理アルゴリズムによって容易に評価できる撮像が得られる。しかしながら、インキュベータドア、特に外側ドア及び/又は内側ドアを開けた状態で撮像を行うことも可能である。
【0095】
チャンバ開口部が閉じた位置では、インキュベータチャンバの内部は、庫内でインキュベータによって制御される所望の雰囲気を調整、特に調節できるように、周囲に対して絶縁されていることが好ましい。チャンバ開口部が開いた位置では、この開口部を通してインキュベータの周囲とインキュベータチャンバの内部の間のガス交換が可能である。チャンバ開口部は、典型的にはチャンバ開口部の全周を囲んでいる前壁内にある。
【0096】
インキュベータチャンバは、複数の壁若しくは内壁面を有しており、これらは特に一体的に、特にエッジがなく互いに接続できることが好ましい。壁若しくは内壁面は、好ましくは実質的に平面に形成されているが、全体的又は部分的に湾曲した形状を有することも可能である。インキュベータチャンバは、好ましくは立方体に形成されているが、他の形状、例えば球体、楕円体、多面体に形成することもできる。壁若しくは内壁面は、好ましくは低腐食性材料、特にステンレス鋼、銅、真鍮、又はプラスチック、特に複合プラスチックで作られている。これにより、チャンバ内部の洗浄/消毒が容易になる。インキュベータチャンバは、物体若しくは細胞培養容器の装入/取出しに用いるチャンバ開口部とは別に、相応の寸法の装置若しくは接続ケーブルをインキュベータチャンバの内部からその外側又はインキュベータの周囲へ通すための少なくとも1つのポートを有することができる。
【0097】
インキュベータ内壁の表面は、特にマットな表面を使用することによって、無光沢若しくは無反射に形成されていることが好ましい。インキュベータ内壁の表面は、表面処理によってマット化することができる。表面処理は、特に特定の粒度を有する研磨剤を用いた研磨であってよい。表面処理は、特にブラスト材、特に砂又はガラスビーズを用いた、特に圧縮空気によるブラストであってよく、これらは、特に特定の粒度若しくは特徴的な粒径を有することができる。それにより撮像における有害な反射を防止若しくは低減することができる。
【0098】
インキュベータチャンバの内部の典型的な大きさは、50~400リットルである。
【0099】
インキュベータは、正確に1つのインキュベータチャンバを有することができるが、複数のインキュベータチャンバを有してもよく、それらの雰囲気(温度、相対ガス濃度、湿度)は、特に個別に又は全体として調整することができる。インキュベータは複数のインキュベータチャンバを持つことができ、各チャンバはそれぞれ独自のチャンバ開口部と、チャンバ開口部を閉じるための独自のチャンバドアを持つことができる。
【0100】
インキュベータは、インキュベータチャンバを部分的に又は完全に取り囲むハウジングを有することができる。ハウジングは、実質的に立方体に形成することができ、特にインキュベータはスタッキング可能であるように形成されてよい。
【0101】
インキュベータの収納領域は、特に収納プレート、特に引出し棚板及び/又は可動プラットフォームによって実現されており、これらは特にステンレス鋼又は銅又は類似の材料から成るか、又はこの材料を有することができる。収納プレートは、床板として、特に中間床板として用いられる。収納プレートは、インキュベータチャンバから取り外し可能(「引出し収納プレート」)であるか、又はインキュベータチャンバに挿入してこれと固く接続することができる。インキュベータチャンバは、1つ以上の引出し収納プレート又は挿入可能な器具を保持するための保持部又は保持フレームを有することができる。収納プレートは、その下側にカメラを保持するように構成することができ、特にこのカメラ用のホルダを有することができる。代替的又は追加的に、インキュベータチャンバの内壁の少なくとも1つは、1つ以上の引出し収納プレート又は挿入可能な器具、特に少なくとも1台のカメラを保持するように構成できる。このために、壁内に組み込まれた保持構造、特に1つ以上の突起、溝又はウェブを設けることができる。収納プレートは、インキュベータチャンバ内の利用可能な収納面積を増加させる。
【0102】
少なくとも1つの収納プレートの実質的に全表面又は少なくとも一部の表面は、特にマットな表面を使用することによって、無光沢若しくは無反射に形成されていることが好ましい。インキュベータ内壁の表面は、表面処理によってマット化することができる。表面処理は、特に特定の粒度を有することができる研磨剤を用いた研磨であってよい。表面処理は、特にブラスト材、特に砂又はガラスビーズを用いた、特に圧縮空気によるブラストであってよく、これらは、特に特定の粒度若しくは特徴的な粒径を有することができる。それにより撮像における有害な反射を防止若しくは低減することができる。
【0103】
少なくとも1つの収納プレートのための保持フレームも、非腐食性材料、好ましくはステンレス鋼で作られていることが好ましい。保持フレームは、インキュベータチャンバの床壁に載る、少なくとも1つの台部を有することによって、立設物として設計されていることが好ましい。しかしながら、保持フレームは、インキュベータチャンバの側壁に支持され、及び/又はインキュベータチャンバの天井壁から吊り下げることもできる。
【0104】
収納プレートは、特に実質的に完全にインキュベータチャンバの水平断面にわたって延びていることが好ましい。
【0105】
インキュベータは、互いに上下に配置された少なくとも2つの収納プレートを有することが好ましい。2つの収納プレートの間若しくはインキュベータチャンバの底壁と最下部収納プレートの間、又はインキュベータチャンバの天井壁と最上部収納プレートの間の容積領域は、収納コンパートメントと呼ぶことができる。収納コンパートメントは、全体として収納領域と見なすことができる。収納に適した収納プレートの表面は、収納領域と見なすことができる。収納コンパートメントの高さは、(収納プレートの平坦な表面に対して垂直に測定して)特定の最大高さの物体若しくはスタックの特定の最大高さの物体スタックを収納プレート上に載置できるように寸法設定されていることが好ましい。特に、この最大高さは、実質的に2つの収納プレートの間隔に対応することができる。
【0106】
2つの収納プレートの間隔若しくは最大高さは、特に5cm~50cm、好ましくは10cm~30cm、好ましくは10cm~20cm、好ましくは12cm~18cmである。
【0107】
インキュベータは、インキュベータチャンバを部分的に又は完全に取り囲むハウジングを有することができる。ハウジングは、実質的に立方体に形成することができ、特にインキュベータはスタッキング可能であるように形成されてよい。
【0108】
インキュベータは、少なくとも1つの物体、特に細胞培養容器を処理するための処理装置を有することが好ましい。「処理」という用語は、特に物体、特に細胞培養物又は細胞培養容器を、特に物理的、化学的、生化学的又はその他の方法で移動及び/又は搬送及び/又は検査及び/又は変化させることを意味する。
【0109】
処理装置は、少なくとも1つの細胞培養容器内の細胞培養物が、好ましくは制御プログラムによって制御される運動プログラムによって動かされる運動装置であってよい。運動装置は、振動装置又は揺動装置であってよい。運動装置は、好ましくは1つ以上の細胞培養容器が載置及び/又は固定される支持装置、特にプレートを有する。運動装置は、好ましくは駆動装置を、特に振動装置の場合には例えば振動子駆動装置を、特に偏心器と組み合わせて有し、それによって所望の運動プログラムが実現される。運動プログラムの設計は、細胞培養物の細胞の成長段階に依存し、細胞の種類、特に細胞株に依存することができる。処理、特に運動プログラムの設計及び/又は制御は、細胞モニタリングデータに依存することができる。処理装置は、少なくとも1つの細胞培養容器を揺動させる揺動装置であってよい。揺動装置の構成要素は、振動装置の構成要素に対応してよいが、揺動運動用に設定されている。
【0110】
処理装置は、少なくとも1つの細胞培養容器をインキュベータチャンバ内に搬送することができる搬送装置であってもよい。搬送装置は、少なくとも1つの細胞培養容器を載せることができる支持装置を備えた昇降装置であってよい。昇降装置は、運動機構、及び/又はこの運動機構を駆動するための電気的に制御可能な駆動機構を有することが好ましい。搬送装置は、更に少なくとも1つの細胞培養容器を把持及び保持するための電気的に制御可能な可動グリップアームであってよい。搬送装置は、その上に載せられた少なくとも1つの細胞培養容器を移動させるためのコンベアベルトを有することができる。搬送によって少なくとも1つの細胞培養容器をインキュベータチャンバ内で、特にインキュベータチャンバ内の加工ステーションの加工位置に搬入し、この加工位置から搬出することができる。制御装置は、搬送装置を細胞成長段階に応じて制御するように設定できる。
【0111】
加工ステーションは、この細胞培養物の細胞の増殖を特徴付ける少なくとも1つの成長パラメータを測定するために、少なくとも1つの測定装置を有することができる。少なくとも1つの細胞培養容器が搬送装置によってインキュベータ内で移動可能である場合、複数の細胞培養容器の細胞培養物を、単一又は少数の測定装置で順次測定することができる。しかしながら、複数の細胞培養物の成長を並行して観察するために、複数又は多数の測定装置を設けることもできる。
【0112】
測定装置は、更に搬送装置に固定することが可能である。測定装置は、測定装置をインキュベータチャンバ内で移動して位置決めできる位置決め機構に固定可能であるか又は固定されてよい。位置決め機構は可動ロボットアームを含むことができ、好ましくは電気的に、特に制御装置の制御プログラムによって制御可能である。このようにして複数の細胞培養容器の細胞の成長を、1つ又は少数の測定装置で順次測定することができる。位置決め機構は、インキュベータチャンバ内に挿入可能な構成要素として構成することができる。この構成要素のエネルギー供給は、インキュベータとのケーブル接続を介して、好ましくは壁の開口部、例えばポートを介して、又は外部電源とのこのようなケーブル接続を介して行うことができる。制御装置は、細胞モニタリングデータに応じて位置決め機構を制御するように設定することができる。
【0113】
インキュベータチャンバの温度調節装置も処理装置として理解され、この装置によりインキュベータチャンバ内の雰囲気は所望の値、特に37℃に制御される。温度調節という用語は、加熱及び冷却によって雰囲気の温度を上げたり下げたりすることをいう。内部の温度は、インキュベータの壁の温度変化によって調整することが好ましい。相応の温度調節装置の温度センサは、インキュベータチャンバの内部及び/又は外部、特にインキュベータチャンバの壁に分散配置されている。
【0114】
インキュベータは、ユーザがデータ処理装置若しくは制御装置にデータを入力することができ、及び/又はユーザに情報を出力することができるユーザインタフェース装置を有することが好ましい。インキュベータ若しくはこのユーザインタフェース装置は、ユーザがインキュベータ又は物体追跡システムを動作させるための少なくとも1つの動作パラメータを、このユーザインタフェース装置に入力でき、若しくはこのユーザインタフェース装置から情報を取得することができるように設定されていることが好ましい。このようにして、ユーザは単一のユーザインタフェース装置を用いて、インキュベータ及びまた少なくとも1つの物体追跡システムに影響を与え、又は制御し、又はそこから情報を取得することができる。特に物体追跡システムは、インキュベータのユーザインタフェース装置を用いて行われたユーザの問い合わせに応答して、位置データ又は空き収納場所をユーザに表示し、又は位置データから導出された情報(例えば位置変化を引き起こしたユーザのID)、特にまた統計的情報、例えば物体(サンプル)の位置変化の頻度と時刻、及び/又は利用可能な空き収納場所(特にパーセンテージ)、及び/又は少なくとも1つの物体の光学画像を表示するように設定することができる。このことがユーザにとって有利なのは、ユーザはこの情報に基づいて必要な情報を取得することができるからである。その情報は、一方では実験を実施する前に収納場所が利用可能であることを知ることによって、実験をより正確に計画することを可能にする。他方では、サンプルの位置変化は、特に付着性細胞の播種後の最初の数時間は、付着に悪影響を及ぼして、均一な細胞芝が形成されなくなる。本発明により位置変化若しくはその頻度に関する情報を提供することは、ユーザが不均一な細胞成長の原因を決定し、将来の実験で考慮できるようにする。
【0115】
インキュベータの装置制御による処理は、好ましくはプログラム制御処理、即ちプログラムによって制御される処理である。サンプルのプログラム制御による処理とは、処理の過程が実質的に複数の又は多数のプログラムステップを実施することによって行われるものと理解される。プログラム制御処理は、少なくとも1つのプログラムパラメータ、特にユーザによって選択された少なくとも1つのプログラムパラメータを用いて実行されることが好ましい。ユーザによって選択されたパラメータは、ユーザパラメータとも呼ばれる。プログラム制御処理は、特に制御装置の一部であるデジタルデータ処理装置によって実行されることが好ましい。データ処理装置は、少なくとも1つのプロセッサ、即ちCPUを有し、及び/又は少なくとも1つのマイクロプロセッサを有することができる。特にプログラム制御処理は、好ましくはプログラム、特に制御プログラムの指定条件に従って制御及び/又は実行される。特にプログラム制御処理においては、少なくともユーザ側で必要とするプログラムパラメータの取得後は、実質的にユーザ動作が必要とされない。インキュベータの装置制御による処理は、最終位置及び/又はユーザ関連ID位置データに応じて行うことができる。
【0116】
プログラムパラメータは、プログラム又はサブプログラム内で所定の方法で設定することができ、プログラム又はサブプログラムの少なくとも1回の実行(呼び出し)に対して有効な変数であると理解される。プログラムパラメータは、例えばユーザによって設定され、プログラム又はサブプログラムを制御し、このプログラムパラメータに応じてデータ出力を引き起こす。特にプログラムパラメータ及び/又はプログラムによって出力されたデータは、装置の制御、特に少なくとも1つの処理装置による処理の制御に影響を及ぼし及び/又は制御する。
【0117】
プログラムは、特にコンピュータプログラムと理解される。プログラムは、特に宣言及び命令からなる命令のシーケンスで、デジタルデータ処理装置において特定の機能、タスク又は問題設定を処理及び/又は解決できるようにする。プログラムは、通常、データ処理装置と使用されるソフトウェアとして存在する。プログラムは、特にファームウェアとして、本発明の場合は特にインキュベータの制御装置又はシステムのファームウェアとして存在できる。プログラムは、大抵、データキャリア上に実行可能なプログラムファイルとして、しばしばいわゆるマシンコードで存在し、実行のためにデータ処理装置のコンピュータのメインメモリにロードされる。プログラムは機械命令、即ちプロセッサ命令のシーケンスとしてコンピュータのプロセッサによって処理され、これにより実行される。コンピュータプログラムは、特に実験装置の制御過程で実行可能なコードから生じ得るプログラムのソーステキストとも理解される。
【0118】
ユーザインタフェース装置は、インキュベータの構成要素か、又はモジュールであってよい。ユーザインタフェース装置は、それぞれ好ましくはユーザインタフェース装置に対する制御装置、そのインタフェース装置を介して実験装置、特にインキュベータとのデータ接続を確立するための通信装置、ユーザによるユーザ入力を検出するための入力装置、ユーザに情報を出力するための出力装置、特に表示装置及び/又はディスプレイ、特にタッチセンサ式ディスプレイを有する。ユーザインタフェース装置の制御装置は、好ましくはデータ接続を介してインキュベータの制御装置とデータを交換するように設定されている。
【0119】
インキュベータ内に入れられて物体追跡によって追跡される物体は、特に細胞培養容器、又は他の実験用サンプルホルダ、例えばスライドであってよく、又は他の実験用具、例えば機器、特にシーソー式振とう機、シェーカ、pHメータであってよい。
【0120】
物体は、特に細胞培養容器である。細胞培養容器は、特に透明である。細胞培養容器は、特にガラス又はプラスチックから作られ、特にPE又はPSから作られ、細胞の成長面をなす平坦な底板を有する。底板は、細胞の接着を促進するための表面処理がなされてよい。細胞培養容器は、PEキャップ又はガス交換キャップ、特に任意選択でフィルタを含む蓋で閉鎖若しくは装備することができる。細胞培養容器は、特にスタッキング可能である。特にエッペンドルフ社の細胞培養瓶が適している。物体は、細胞培養容器のスタック、特にペトリ皿又は細胞培養瓶のスタックであってよい。
【0121】
物体追跡システムのカメラは、広角光学系、特に魚眼光学系を有することができ、その画像対角線の画像角度は160°~180°であってよい。好ましくは1台以上のカメラがインキュベータチャンバ内の引出し棚板の下側に、又はインキュベータチャンバの上部内壁の下側に、好ましくはそれぞれカメラが監視する収納領域の幾何学的中心などの垂直上方に組み付けられている。しかしながら、1台以上のカメラをインキュベータチャンバの内部側壁に配置/固定することもできる。「下」とは重力方向を指し、「上」とはその反対方向を指す。正規の使用においてインキュベータは、平坦な引き出し棚板の上面が水平になるように配置されている。インキュベータのカメラは、それぞれのインキュベータ雰囲気中で数ヶ月又は数年にわたり確実に動作するのに、若しくは標準条件(室温)下で測定した寿命時間は確実に動作するのに、特に適している。全てのカメラがインキュベータの雰囲気中で機能するのに適しているわけではない。市販のカメラで考えられるのは、ドイツのコンラートエレクトロニックSEから入手可能なRasberry PI用の5MP広角カメラ(www.joy-it.net)、及び/又は広角レンズと組み合わせた他のカメラ、例えば市販の「工業用レンズHAL2502.3」(株式会社インタニヤ、日本)である。代替的に、少なくとも1台のカメラをインキュベータ雰囲気に対して遮蔽若しくは絶縁するために、カバー装置を設けることができる。このカバー装置は、透明な領域を通して撮像を可能にするために、特に透明な領域又は透明な窓を有しているか、若しくは透明である。
【0122】
データ処理装置は、1つ以上の静止画像及び/又は初期画像及び/又は最終画像及び/又はビデオ画像から、物体の外観の(時間に依存する)変化(又は外観)を、特に、分、時間又は日という比較的長い時間間隔で検出するようにプログラムされていることが好ましい。このようにして、細胞培地の色変化、若しくは細胞培養容器内の色、又は細胞培養容器壁の凹凸、例えば滴を検出することができる。このような色、色の変化又は凹凸は、それぞれの細胞培養物の問題点、例えば栄養不足、pH変化、及び/又はカビ、及び/又は他の汚染の可能性を示唆する。データ処理装置は、細胞培養容器の外観若しくは細胞培養容器の外観の変化の検出に応じて、ユーザ又は操作担当者にユーザインタフェースを介して情報を出力し、及び/又はこの検出に関するデータ(特に何が、いつ検出されたか)をデータメモリに保存するようにプログラムされていることが好ましい。
【0123】
データ処理装置は、1つ以上の静止画像及び/又は初期画像及び/又は最終画像及び/又はビデオ画像から、物体の外観の(時間に依存する)変化を、特に分、時間又は日という比較的長い時間間隔で決定するようにプログラムされていることが好ましい。
【0124】
本発明は、特に生きた細胞培養物を培養するためのシステムにも関し、このシステムは生きた細胞培養物を培養するためのインキュベータを有しており、このインキュベータは、
物体を入れたり出したりするための閉鎖可能なチャンバ開口部を備える、物体、特に細胞培養容器をインキュベータチャンバの少なくとも1つの収納領域に受容するためのインキュベータチャンバと、
データ処理装置及びデータメモリと、
インキュベータチャンバに導入された少なくとも1つの物体の位置変化を、その収納領域の初期画像における初期位置から出発してその収納領域の最終画像における最終位置に至るまで追跡するために、インキュベータに後付けするように設計された画像処理による物体追跡システムと、を有しており、ここで、物体追跡システムは少なくとも1つのデータ処理装置、データメモリ、及びインキュベータチャンバの内部を監視するように設定された少なくとも1台のカメラを備え、
データ処理装置は、
収納領域における少なくとも1つの物体の最終位置をID位置データとして識別データに応じてデータメモリに呼出し可能に保存する、ようにプログラムされている。
【0125】
上記のシステムは、後付け可能な物体追跡システムを増備できるインキュベータに基づいており、この物体追跡システムは請求項1においてインキュベータの固定した構成要素でもあり、後付け可能な物体追跡システムは、いわゆる「コンパチブルインキュベータ」として相応に両立可能でなければならない。
【0126】
特にインキュベータチャンバ内の雰囲気パラメータ(温度、ガス分圧CO2、H2Oなど)も制御できる、本発明によるインキュベータ又はコンパチブルインキュベータの制御装置若しくはそのデータ処理装置は、物体追跡システムからのデータ、特に位置データ若しくは収納領域内の少なくとも1つの物体の最終位置に応じて、インキュベータの少なくとも1つの動作パラメータ、特にインキュベータのスクリーン上の情報表示を制御するパラメータ又はインキュベータのスクリーン上に表示されるパラメータを決定するように設定若しくはプログラミングされていることが好ましい。特に、少なくとも1つの物体の位置データ若しくは最終位置をスクリーン上に表示できる。
【0127】
生きた細胞培養物を培養するためのシステムは、インキュベータとは分離してインキュベータとデータ交換接続している外部機器、特にユーザ識別装置、特に携帯型ユーザ識別装置、及び特にデータ処理装置と外部機器とのデータ交換を可能にし、特にユーザ識別装置によってユーザ識別データを決定できるデータ交換装置を有することが好ましい。
【0128】
本発明は、インキュベータのインキュベータチャンバ内での生きた細胞培養物の培養に用いるインキュベータにおいて物体の位置を追跡するための方法にも関し、本方法は以下のコンピュータ制御されたステップ、即ち、
少なくとも1つの物体が導入されるインキュベータチャンバの内部で少なくとも1つの収納領域を撮像するために配置された、インキュベータの少なくとも1台のカメラによってインキュベータチャンバを監視するステップと、
少なくとも1つの物体を庫内に導入する際に少なくとも1台のカメラにより撮像された収納領域の初期画像中に検出された少なくとも1つの物体に識別データを割り当てるステップと、
カメラによって得られたビデオデータを評価することによって、少なくとも1つの物体の位置変化を検出し、特に複数の物体、特に既存物体の同時移動を可能にする若しくは実行するステップと、
位置変化から収納領域の最終画像における少なくとも1つの物体の最終位置を決定するステップと、
データ処理装置がアクセスしてデータを読み出すことを可能にするために、収納領域における少なくとも1つの物体の最終位置をID位置データとして識別データに応じてデータメモリ、特に呼出し可能なメモリに保存する、つまりそれぞれのデータを保存して提供するステップと、を含む。
【0129】
本方法では、好ましくは正確に1つの物体(物体のスタック又はグループでもよい)が庫内に導入されて、その最終位置が決定される。その際に登録され、物体を導入する間に少なくとも1つの既存物体が、例えば導入された物体に押されることによって移動され、したがって、この少なくとも1つの既存物体の最終位置を画像処理によって求めた位置変化から決定することも可能かつ好適である。
【0130】
本方法は、少なくとも1つの物体をインキュベータチャンバに導入するインキュベータのユーザを識別するユーザ識別データをユーザ識別装置によって読み取り、特にこれらのユーザ識別データをインキュベータのデータメモリに保存するステップを含むことが好ましい。
【0131】
本方法は、少なくとも1つの物体の位置データを、ユーザ識別データに応じてユーザ関連物体位置データとして保存するステップを含むことが好ましい。
【0132】
本発明は、インキュベータチャンバ内に導入された少なくとも1つの物体を、その収納領域の初期画像における初期位置から出発して、収納領域の最終画像におけるその最終位置までの位置変化を追跡するための、特にインキュベータに後付けするために設計された画像処理による物体追跡システムにも関し、この物体追跡システムは、
少なくとも1つのデータ処理装置と、データメモリと、インキュベータチャンバの内部を監視するように設計された少なくとも1台のカメラとを備え、
データ処理装置は、
庫内に導入された少なくとも1つの物体に識別データを割り当て、
少なくとも1つの物体の初期位置を収納領域の初期画像から決定し、少なくとも1つの物体の位置変化をビデオデータの評価によって決定し、
これらの位置変化から収納領域の最終画像における少なくとも1つの物体の最終位置を決定し、
収納領域における少なくとも1つの物体の最終位置をID位置データとして識別データに応じてデータメモリに保存する、ようにプログラムされている。
【0133】
本発明による方法の別の好適な構成は、本発明によるインキュベータ及びその好適な構成の説明から明らかになる。更に、本発明の別の変形例は、図示した実施例から明らかになる。実施例の同じ構成要素は、別途記載のない限り、又は文脈から明らかな場合を除き、実質的に同一の参照符号を付している。
【図面の簡単な説明】
【0134】
【
図1】
図1は、本発明によるインキュベータの一実施例の斜視図である。
【
図3】
図3は、ユーザに関連付けたカラーコードで強調された物体によるインキュベータチャンバの占有をグラフィックに表示した、
図1のインキュベータの正面図である。
【
図4a】
図4aは、
図3のインキュベータ1とスマートフォン69を含むシステム400の一部であり得る外部機器として、カメラとディスプレイ63を備えたスマートフォンを示す図である。
【
図4b】
図4bは、
図3のスクリーンでユーザ関連物体を強調するために使用されるカラーコードの凡例を示す図である。
【
図5a】
図5aは、
図1~
図4bのインキュベータの構成要素である物体追跡システムを、単一の監視された収納プレートを有するチャンバの例で示す概略側面図である。
【
図5b】
図5bは、
図1~
図4bのインキュベータの構成要素である物体追跡システムを、複数の監視された収納プレートを有するチャンバの例で示す概略側面図である。
【
図5c】
図5cは、
図5a及び
図5bの物体追跡システムによって監視される収納領域、並びに座標系を基準に追跡された物体の初期位置P1、位置変化dP及び最終位置P2を示す斜視図である。
【
図5d】
図5dは、
図5a及び
図5bで使用された物体追跡システムの広角魚眼カメラで撮像し、光学系に起因して歪んで見えるデジタル画像である。
【
図5e】
図5eは、物体追跡システムによって直線化アルゴリズムを用いて歪が除去された
図5dの画像である。
【
図5f】
図5fは、
図5a及び
図5bで使用された物体追跡システムの広角魚眼カメラで撮像した、インキュベータのスクリーンに出力するための静止画像であり、物体追跡システムの境界ボックス、識別番号、及びユーザ/所有者を特定するカラーコードが示されている。
【
図5g】
図5gは、
図5fに示した画面を説明するためにインキュベータのスクリーン上に表示できる可能なスクリーン内容を示す図である。
【
図6】
図6は、
図1~
図5fのインキュベータの収納領域を、物体追跡システムのカメラの撮像範囲に配置された物体を含めて模式的に示す上面図である。
【
図7】
図7は、
図6の撮像範囲に基づき既存物体を新たにインキュベータ内に入る物体によって押しのける様子を示す図である。
【
図8a】
図8aは、
図6の撮像範囲における物体の異なる移動段階を、物体追跡システムのアルゴリズムにより移動物体の境界ボックスを定義して示す図である。
図8aは初期画像である。
【
図8b】
図8bは、
図6の撮像範囲における物体の異なる移動段階を、物体追跡システムのアルゴリズムにより移動物体の境界ボックスを定義して示す図である。
【
図8c】
図8cは、
図6の撮像範囲における物体の異なる移動段階を、物体追跡システムのアルゴリズムにより移動物体の境界ボックスを定義して示す図である。
【
図8d】
図8dは、
図6の撮像範囲における物体の異なる移動段階を、物体追跡システムのアルゴリズムにより移動物体の境界ボックスを定義して示す図である。
【
図8e】
図8eは、
図6の撮像範囲における物体の異なる移動段階を、物体追跡システムのアルゴリズムにより移動物体の境界ボックスを定義して示す図である。
【
図8f】
図8fは、
図6の撮像範囲における物体の異なる移動段階を、物体追跡システムのアルゴリズムにより移動物体の境界ボックスを定義して示す図である。
図8fは最終画像である。
【
図9】
図9は、本発明による例示的な方法のシーケンスを模式的に示す図である。
【発明を実施するための形態】
【0135】
図1は、実験用サンプルを収納するためのインキュベータ1、より正確には、生きた細胞培養物を定義された雰囲気において制御された温度、例えば37℃で保存するためのCO
2インキュベータを示す。この目的のために、インキュベータのチャンバ庫内5は断熱され、周囲に対してガス密に密閉することができ、庫内のガス組成も調節され、ガス接続部43を介して変更することができる。インキュベータのチャンバハウジング2は、ベース44上に載って庫内5を包囲し、インキュベータの前面3が開口している。この前面はチャンバ開口部4を有しており、これを通ってチャンバ庫内5にアクセスすることができる。透明な内側チャンバドア6は、チャンバドアの閉鎖位置でチャンバ開口部を閉鎖する役割を果たす。インキュベータ1においてチャンバハウジング2は外部ハウジング40の庫内に配置されており、チャンバハウジング2と外部ハウジング40は互いに間隔をあけて配置され、互いに断熱されている。チャンバ内部には、引出し棚板45と加湿トレイ46が見える。この例では、チャンバハウジングの前面3と外部ハウジングの前面とは一致している。
【0136】
外側インキュベータドア41とチャンバドア6は、開いた位置で示されている。外側ドア41は、外部ハウジングの外縁にヒンジで揺動可能に支持され、周縁に延びるシリコンシール42を有している。
【0137】
外側ドア41が開かれたとき、インキュベータの内側チャンバドア6は、最初は、まだ閉じている。このために閉鎖装置(10、7a、7b)が働いている。チャンバドア6が閉じている状態で、ユーザはまず透明なドア壁を通して庫内5を見ることができ、それからドアを開いて実験用サンプルを入れたり取り出したりする。それにもかかわらず、外側インキュベータドア41を開けることは、既にインキュベータ雰囲気を潜在的に損ない得る干渉に相当する。
【0138】
インキュベータは、ドア41に組み込まれて前方に向けられた外部カメラ65を有し、その画像はインキュベータの適切にプログラムされたデータ処理装置によって評価可能であり、特に顔認識によってユーザを識別し、それによってデータ処理装置と接続された外部カメラ65はユーザ識別装置66として機能することができる。これはスマートフォン69のカメラを介して行うことも可能である。
【0139】
収納された実験用サンプルを保護するために、インキュベータにおいてはインキュベータの内部が周囲に曝露される時間(開放時間間隔)を最小限にすることが有効である。本発明は、物体追跡システム200によって、開放時間間隔を短縮することができるという観察結果に基づいている。インキュベータ1は、物体追跡システム(
図1及び
図2には図示せず)を有する。
【0140】
図2に示すように、外側インキュベータドアの外側には第1のスクリーンであるタッチスクリーン61があり、これを介してインキュベータ1の動作パラメータ、例えばインキュベータ雰囲気の温度又は庫内5のガス分圧が表示される。
【0141】
外側インキュベータドア41の外側には、第2のスクリーン62が設けられており、これもタッチスクリーンであってよい。しかしながら、第2のスクリーンの代わりに、全てのスクリーン出力を1つのスクリーン上で行うこともできる。インキュベータ1のデータ処理装置(図示せず)は、インキュベータの内部の占有をスクリーン62に表示するようにプログラムされている。スクリーン62は、ユーザがインキュベータ内部を(仮想的に)見ることができる「デジタルウィンドウ」としての役割を果たす。この場合、インキュベータの内部若しくは少なくとも1つの収納領域及びその既存物体による占有のグラフィック表示は、特定の既存物体が特定の基準若しくは条件パラメータに応じてグラフィック的に強調されるようにプログラムすることができる。
【0142】
図3について、インキュベータ1のデータ処理装置は、1つ以上の物体を、ここではユーザ識別データに依存する少なくとも1つの条件パラメータに応じて、しかも物体追跡システムによって決定されたインキュベータの内部におけるそれぞれの最終位置に従ってディスプレイ62に表示するようにプログラムされている。それぞれ特定のユーザを標識する特定のユーザ識別データと関連付けられた既存物体は、特定のユーザごとの色で強調表示されている。この種のカラーコードに関する凡例61aは、ここでは上部ディスプレイ61のサブ領域61aでユーザに示される。この凡例61aは、
図4bに拡大して示されている。ユーザ標識「ジェーン」、「ジョー」などには、ディスプレイ62、63で使用された対応する強調表示カラーが割り当てられている。
【0143】
図4には、出力ディスプレイ61及び/又は62は、代替的又は追加的に、インキュベータとデータ交換接続して、ここではインキュベータシステムの構成要素として機能するディスプレイ63を有する外部機器、ここではスマートフォン69であってよいことが示されている。
【0144】
図5aは、物体のための収納プレートとして、インキュベータ1の互いに上下に配置された引出し棚45a、45bの概略正面図である。インキュベータにおけるこのような引出し棚45の垂直間隔は通常大きくなく、例えば10~40cmであり、インキュベータ1の場合は約15cmである。そのため、全収納領域45、ここでは引出し棚45bの全収納面とその上にある引出し棚板45aまでの「領空」を捕捉するためには複数のカメラを使用しなければならない。カメラ70は、約180°の画像角度を有する広角魚眼カメラであるか又はこれを含んでいる。
【0145】
図5aは、インキュベータ1内に設置された物体追跡システム20を示しており、これは後付けシステムとして構成された場合には参照符号200も付されている。物体追跡システム20は、広角魚眼カメラであるカメラ70を含み、これは好ましくは160°~170°の視界領域若しくは視野角71aで、カメラの下に位置する引出し棚板45bの収納領域と、インキュベータ内壁部分72a、72bの表面の約80%という大部分を捕捉する。インキュベータ内壁部分72a、72bはそれらの間に延びる収納プレート45a、45bと共に、インキュベータチャンバのコンパートメント73を画定する。広い視野角のために1台のカメラで、その下にある引出し棚板45bの全収納領域、特に(既存)物体80’、80、即ち細胞培養容器のスタック80’、及び細胞培養容器80が突出している空間も捕捉できる。広角魚眼カメラの名目視野角は200°にもなるが、好ましくは160°~170°の範囲から取られた視野角に対応する画像範囲のみが評価される。
【0146】
カメラは、引出し棚板45bの収納面の幾何学的中心の垂直上方に配置されている。物体追跡システム20は、照明装置90と制御装置23も含んでおり、制御装置23は物体追跡システム20のその他の構成要素であるデータ処理装置21とデータメモリ22を有する。データ処理装置21若しくは制御装置23は、インキュベータチャンバ後壁のポート47を通ってインキュベータチャンバに入るケーブル接続25を介して、カメラ70及び
図5aには図示しない他の3台のカメラと接続されている。これらのカメラは、それぞれ全ての収納領域(引出し棚板45の全ての上面、
図1参照)が監視されるように設けられている。制御装置23は更に、例えばインキュベータのディスプレイ61、62、63にデータ若しくは信号を出力するために、インキュベータ機器構成要素へのデータ接続を可能にするデータインタフェース24を有する。複数のLED90’、90”を備えた照明装置90は、収納プレート45bの上方に取り付けられて、接続線25を介して制御装置23と接続されている。図示された2つのLEDの代わりに、複数のLEDを設けることができる。撮像の目的のために適切であれば、オプションの照明装置90によって収納領域45bを照明することができる。
【0147】
図5bは、複数の監視された収納プレート45a、45b、45cを有するチャンバの例における、
図1から
図4bまでのインキュベータの構成要素である物体追跡システムの概略側面図である。この表現は
図5aの原理の拡張であり、インキュベータチャンバは複数のコンパートメント5a、5b、5cに分割されている。これらのコンパートメントは、ここでは互いに上下に配置されてガス交換のために接続されており、これは収納プレート45a、45b、45cの穴を介して行われる。コンパートメント5aの収納領域若しくは収納プレート45aはカメラ70’によって監視され、コンパートメント5bの収納領域若しくは収納プレート45bはカメラ70によって監視され、コンパートメント5cの収納領域若しくは収納プレート45cはカメラ70”によって監視され、カメラ70’と70”は
図5aのカメラ70に類似して構成及び配置されている。全てのカメラは、インキュベータチャンバ内の接続ケーブル束26を介して制御装置23と接続されている。接続ケーブル束26は、既に
図5aに示したケーブル接続25に移行してインキュベータチャンバ後壁内のポート47を通ってインキュベータチャンバから出ている。制御装置23のデータ処理装置21は、3つのコンパートメント5a、5b、5c全てにおける全ての物体を監視するように設定されている。
図5bに示すインキュベータの物体追跡システム20は、ここでは3台のカメラ70、70’、70”、照明装置90、データ処理装置21、データ記憶装置22及び接続線を有する。
【0148】
図5cは、
図5a及び
図5bの物体追跡システムによって監視されるコンパートメント5b若しくは収納領域45bの斜視図と、移動経路B上を移動する物体の、直交座標系(x,y,z)を基準にした初期位置P1、位置変化dP、及び最終位置P2を示している。座標系の原点は、コンパートメントの隅に固定配置することができる。
【0149】
図5dは、
図5a及び
図5bで使用された物体追跡システムの広角魚眼カメラで撮像し、光学系に起因して歪んで見えるデジタル画像を示している。
【0150】
図5eは、物体追跡システムによって直線化アルゴリズムを用いて歪が除去された
図5dの画像を示している。
【0151】
図5fは、
図5a、
図5bで使用された物体追跡システムの広角魚眼カメラで撮像し、インキュベータのスクリーンに出力した静止画で、物体追跡システムの境界ボックス、ユーザ/所有者を特定する識別番号やカラーコードが示されている。
【0152】
図5gは、
図5fに示した画面を説明するためにインキュベータのスクリーン上に表示できる可能なスクリーン内容を示している。識別番号による物体の識別に加えて、ユーザ/所有者を識別するカラーコード、並びに任意選択でインキュベータによって登録された、物体をインキュベータチャンバに入れる時刻も表示されている。
【0153】
図6は、収納領域、即ち引出し棚板45bの上面を鳥瞰図若しくは俯瞰図で示したものである。更に、カメラ70が捕捉する撮像範囲71が模式的に示されている。撮像範囲71は、カメラ70はその視野角や位置を変えないため、1つの画像若しくは各画像においてカメラ70によって捕捉される範囲である。したがって各静止画像、初期画像、ビデオデータから読み取れる個々の画像、及び最終画像がこの範囲71を示している。図では、範囲71の下縁が、インキュベータチャンバ開口部4に近い領域を表している。
【0154】
図7は、ユーザ(手が図示されている)が細胞培養容器81をインキュベータ内に入れる、より正確には収納領域45b’上でインキュベータの前方若しくは内部に押し入れる様子を示している。その際にユーザは、外面的には物体81と区別できない既存物体80も移動させている。新規物体81が、正確に既存物体がそれまで静止していた位置に達すると、新規物体81を入れる前と入れた後で作成された静止画像から物体80と物体81を区別することは不可能である。しかしながら、これは、
図8a~
図8eで説明されるように、物体追跡システム20、200によって可能である。
【0155】
物体追跡システム20、200のデータ処理装置は、インキュベータの外側ドア41のドア開放を検出すると、カメラ70によってビデオデータを取得し評価するようにプログラムされている。時間的に連続するビデオデータのフレームを比較することにより、いつ新規物体81が撮像範囲71に達したかを確認できる。範囲71に新たに現れ、庫内に導入した物体81に割り当て可能な輪郭81aを含む画像を、初期画像と見なす。そのような画像は、
図8aに示す状況から生じる。この初期画像から出発して、これは新たにインキュベータ内に入れられる物体81であると仮定して、この新たに出現した輪郭81aに識別データと境界ボックスが割り当てられる。物体追跡システム20、200の物体追跡アルゴリズムは、境界ボックスによって定義された物体を、ビデオデータの連続するフレームによって追跡する。これらのフレームから、ビデオデータを評価することにより、物体80の位置変化が決定される。ユーザが新規物体81によって既存物体80をその元の位置(以前検出された最終位置)からインキュベータチャンバの奥に押し入れるという事実を無視すると、新規物体81の追跡に関して以下のことが起こる。
【0156】
図8bでは、物体全体が輪郭81aとして認識可能であり、ユーザの手自体もデータ処理装置21によって最初は物体81の一部として理解され得るが、これは遅くとも手を離したときに修正される。輪郭81aと結び付いた動く画像成分は、物体追跡システムによって最初に物体81の一部として理解される。この輪郭81aは、追跡の計算コストを減らすために境界ボックスによって定義され、フレーム(
図8a~
図8e)によって連続的に追跡され、輪郭(境界ボックス)81aの位置変化が検出されて、各フレームから境界ボックス81aの現在位置を読み取ることができる。境界ボックス81aの移動が検出されなくなると、その画像は物体移動の「最終画像」(
図8e)と解釈され、この最終画像から新規物体81の最終位置が計算され、収納領域における物体81の最終位置を少なくとも1つの物体のID位置データとして識別データに応じてデータメモリに保存される。
【0157】
図8a~
図8eに示す処理で複雑になるのは、新規物体81の移動により既存物体80がその従来の位置から変位し、更には新規物体が正確に既存物体80のそれまでの位置を占める場合である。しかしながら、このような状況においても物体追跡システム20、200は、物体80と物体81を明確に区別することを可能にする。物体追跡システム20、200は、複数の物体とその位置変化、ひいてはそれらの移動後の最終位置を同時に追跡するように設定及びプログラムされている。
【0158】
データ処理装置21は、以下のようにプログラムされている。
庫内に導入された少なくとも1つの物体80(既存物体)に識別データを割り当てるステップ。このステップは、既存物体80が以前に「新規物体80」としてインキュベータチャンバ内に入れられたとき既に行われた。
収納領域の初期画像から物体80(既存物体)の初期位置を決定し、ビデオデータを評価することにより物体80(既存物体)の位置変化を決定する。この場合、初期画像は、特に物体81が入れられる前に作成された静止画像、又はビデオデータから決定された画像である。
初期位置と最終位置との間の物体80の位置変化を決定することによって物体80(既存物体)を追跡する。
最終画像において収納領域における物体80の(新たな)最終位置を決定する。
収納領域における物体80(既存物体)の最終位置を物体80のID位置データとして識別データに応じてデータメモリ22に保存する。
【0159】
図9は、
図8a~
図8fの上記の説明の中でも既に間接的に述べた、本発明による方法のシーケンスを示している。
【0160】
インキュベータのインキュベータチャンバ内で生きた細胞培養物の培養に用いるインキュベータ1において物体位置を追跡するための方法300は、以下のコンピュータ制御されたステップを含む。即ち、
少なくとも1つの物体80、81が導入されるインキュベータチャンバの内部に、少なくとも1つの収納領域45b’を撮像するために設置されている、インキュベータの少なくとも1台のカメラによってインキュベータチャンバ2、5を監視するステップ(301)、
庫内に導入中又は導入後に少なくとも1台のカメラによって撮像された収納領域の初期画像によって捕捉される少なくとも1つの物体80、81に識別データを割り当てるステップ(302)、
少なくとも1つの物体80、81の初期位置と最終位置との間の位置変化を、カメラ70によって得られたビデオデータを評価することによって検出するステップ、特に複数の物体若しくは在庫物体の同時位置変化を検出するステップ(303)、
収納領域の最終画像において少なくとも1つの物体80、81の最終位置を決定するステップ(304)、
収納領域における少なくとも1つの物体80、81の最終位置を、少なくとも1つの物体の識別データをID位置データとしてデータメモリに保存するステップ(305)。
【0161】
方法300は、好ましくは、
特にステップ301~305、308の前に、少なくとも1つの物体80、81をインキュベータチャンバに導入する、インキュベータ1のユーザを識別するユーザ識別データを、ユーザ識別装置を用いて読み取るステップ(306)と、これらのユーザ識別データをインキュベータのデータメモリに保存するステップ(307)と、を含む。
【0162】
好ましくは、方法300は、
ID位置データを、ユーザ識別データに応じてユーザ関連ID位置データとして保存するステップ(308)を含む。
【国際調査報告】