IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ エッペンドルフ アクチェンゲゼルシャフトの特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-01-25
(54)【発明の名称】インキュベータ及び方法
(51)【国際特許分類】
   C12M 1/38 20060101AFI20240118BHJP
   G06T 7/11 20170101ALI20240118BHJP
   C12M 3/00 20060101ALI20240118BHJP
   C12M 1/00 20060101ALI20240118BHJP
【FI】
C12M1/38 A
G06T7/11
C12M3/00 Z
C12M1/00 Z
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023544083
(86)(22)【出願日】2022-01-27
(85)【翻訳文提出日】2023-09-19
(86)【国際出願番号】 EP2022051876
(87)【国際公開番号】W WO2022162055
(87)【国際公開日】2022-08-04
(31)【優先権主張番号】21153810.3
(32)【優先日】2021-01-27
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
(71)【出願人】
【識別番号】501186645
【氏名又は名称】エッペンドルフ・ソシエタス・エウロパエア
【氏名又は名称原語表記】Eppendorf SE
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100092624
【弁理士】
【氏名又は名称】鶴田 準一
(74)【代理人】
【識別番号】100114018
【弁理士】
【氏名又は名称】南山 知広
(74)【代理人】
【識別番号】100153729
【弁理士】
【氏名又は名称】森本 有一
(74)【代理人】
【識別番号】100151459
【弁理士】
【氏名又は名称】中村 健一
(72)【発明者】
【氏名】アレクサンドラ ヤンコブスキ
(72)【発明者】
【氏名】フィリップ カイザー
(72)【発明者】
【氏名】ボルフ ルーカス ヘルベーク
(72)【発明者】
【氏名】ニクラス レーアケ
【テーマコード(参考)】
4B029
5L096
【Fターム(参考)】
4B029AA13
4B029BB01
4B029DD06
4B029GA08
4B029GB10
5L096CA04
5L096CA17
5L096FA02
(57)【要約】
本発明は、生きた細胞培養物のためのインキュベータ、インキュベータを用いた作業方法、及びインキュベータを含むシステムに関するものである。インキュベータの占有を決定するために撮像システムを使用する。
【特許請求の範囲】
【請求項1】
生きた細胞培養物を培養するためのインキュベータであって、
対向する内壁と、ユーザが物体を入れたり出したりするためのチャンバ開口部と、対向する内壁の間に延びている、物体を収納するための少なくとも1つの収納領域と、を備えた、物体、特に細胞培養容器を受容するためのインキュベータチャンバと、
チャンバ開口部を閉じるためのインキュベータドアと、
撮像システムと、を有しており、
前記撮像システムは、
照明装置と、
少なくとも1台のカメラ装置と、
データメモリを備えたデータ処理装置と、を含み、
前記撮像システムは、
前記照明装置によって前記内壁の間に延びる収納領域を照明し、
前記カメラ装置によって前記内壁の間に延びる前記収納領域の少なくとも1つの画像を取得し、
前記データ処理装置によって少なくとも1つの画像を画像データの形でデータ記憶装置に保存する、
ように設定されているインキュベータ。
【請求項2】
前記撮像システムは、
前記照明装置によって前記収納領域に配置された少なくとも2つの物体を照明し、
前記カメラ装置によって前記収納領域上の少なくとも2つの物体の画像を取得し、
前記データ処理装置によって少なくとも2つの物体の画像を画像データの形で前記データ記憶装置に保存する、
請求項1に記載のインキュベータ。
【請求項3】
前記データ処理装置は、
画像データの評価によって画像に現れた第1の物体と第2の物体を区別して、前記第1の物体と前記第2の物体に異なる識別データを割り当て、
特に、前記第1の物体と前記第2の物体に関する情報、特に、前記第1の物体と前記第2の物体の境界ボックス及び/又は輪郭を物体データの形で前記データ記憶装置に保存する、
ようにプログラムされている、請求項2に記載のインキュベータ。
【請求項4】
前記照明装置は、少なくとも2種類の照明モードで動作するように設定されており、前記撮像システムは、
前記インキュベータチャンバの収納領域を、
最初に第1の照明モードで照明し、
次に、それとは異なる第2の照明モードで照明し、
前記第1の照明モードと前記第2の照明モードの双方による照明中に前記カメラ装置によって収納領域の少なくとも1つの画像を取得し、
少なくとも1つの画像を、前記第1の照明モードと前記第2の照明モードの双方の間に取得された合成画像情報を含む画像データの形で提供し、
前記データ処理装置は、画像データから合成画像情報を取得する画像評価プログラムを実行するようにプログラムされている、請求項1乃至3のいずれか一項に記載のインキュベータ。
【請求項5】
前記収納領域の少なくとも1つの画像は、前記収納領域の少なくとも1つの第1の画像と、それとは異なる収納領域の第2の画像を含み、
前記第1の画像は前記第1の照明モードで撮像され、前記第2の画像は前記第2の照明モードで撮像され、前記第1の画像は第1の画像データの形で提供され、前記第2の画像は第2の画像データの形で提供され、
前記データ処理装置と前記画像評価プログラムは、
前記第1の画像データと前記第2の画像データを合成して、特に、前記第1の画像データと前記第2の画像データの加算及び/又は平均化によって生じる合成画像データを取得し、
前記合成画像データから合成情報が得られる、
ようにプログラムされている、請求項4に記載のインキュベータ。
【請求項6】
前記収納領域の少なくとも1つの画像は、前記収納領域の多重露光画像を含み、前記撮像システムは、
前記第1の照明モードと前記第2の照明モードの双方による照明中に前記カメラ装置によって前記収納領域の画像を露光して撮像し、
前記多重露光画像を画像データの形で提供する、
ように設定されている、請求項4に記載のインキュベータ。
【請求項7】
少なくとも1つの画像は、前記収納領域に配置された物体に関する情報、特に選択的に、
物体の位置に関する情報、
物体の外輪郭に関する情報、
前記収納領域の平坦な面に平行な平面内で測定した、物体の面積に関する情報、
前記収納領域の平坦な面に平行な平面内で測定した、前記収納領域のうち物体によって占められていない面積に関する情報、
を含む、請求項1乃至6のいずれか一項に記載のインキュベータ。
【請求項8】
前記照明装置は、第1の照明モードと第2の照明モードとで異なって動作する少なくとも1つの第1の光源と第2の光源を有し、
特に、前記第1の光源と前記第2の光源は前記収納領域の収納面の上方に距離を置いて配置されており、
特に、前記第1の光源と前記第2の光源は、前記収納領域の平坦な収納面に平行な平面内でずらして配置されており、
特に、前記収納領域は平坦な収納面を有し、前記第1の光源は前記収納面の前半分の垂直上方に配置され、前記第2の光源は前記収納面の後半分の垂直上方に配置されており、
特に、前記照明装置は、複数のLED光源を備えたLEDライトストリップを有し、前記LEDライトストリップは、前記収納領域の平坦な収納面に平行に位置する平面内に配置され、特に、蛇行経路、螺旋経路、特に、少なくとも部分的に直線経路で配置されており、
特に、前記撮像システムは、特にプログラム可能な電子制御装置を有しており、前記電子制御装置は、
前記第1の光源は、前記第1の照明モードの照明段階の間は、前記第2の照明モードの照明段階の間とは異なって動作し、及び/又は、
前記第2の光源は、前記第1の照明モードの照明段階の間は、前記第2の照明モードの照明段階の間と異なって動作し、
特に、
前記第1の光源は、前記第1の照明モードの照明段階の間はアクティブであり、前記第2の照明モードの照明段階の間は、あまりアクティブでないか非アクティブであり、及び/又は、
前記第2の光源は、前記第1の照明モードの照明段階の間はあまりアクティブでないか非アクティブであり、前記第2の照明モードの照明段階の間はアクティブであり、
特に、
前記第1の光源は、前記第1の照明モードの照明段階の間は、前記第2の照明モードの照明段階とは異なる発光スペクトルで動作し、及び/又は、
前記第2の光源は、前記第1の照明モードの照明段階の間は、前記第2の照明モードの照明段階とは異なる発光スペクトルで動作する、
ように設定若しくはプログラムされている、請求項1乃至7のいずれか一項に記載のインキュベータ。
【請求項9】
特に、少なくとも1台のカメラが、前記収納領域の収納面に対して垂直上方に距離を置いて配置されており、
特に、少なくとも1台のカメラが広角レンズ、特に魚眼レンズを有しており、
特に、前記収納領域の前記収納面の中心に対して垂直上方に距離を置いて配置された正確に1台のカメラが設けられている、請求項1乃至8のいずれか一項に記載のインキュベータ。
【請求項10】
特に、前記撮像システムは、前記インキュベータのモジュラー型の、即ちユーザが選択的に使用可能な構成要素であり、
特に、前記インキュベータは、制御装置と、前記インキュベータチャンバの内部の温度を制御するための温度調節装置と、を有しており、
前記撮像システムは、前記撮像システムを制御するように設定された他の制御装置を有し、特に、そのために、他の制御装置は前記撮像システムのデータ処理装置を備えており、
特に、前記インキュベータは、前記制御装置と、前記インキュベータチャンバの内部の温度を制御するための前記温度調節装置と、を有しており、
特に、前記制御装置は、前記撮像システムを制御するように設定されており、特にそのために、前記制御装置は前記撮像システムの前記データ処理装置を備えている、請求項1乃至9のいずれか一項に記載のインキュベータ。
【請求項11】
前記インキュベータはディスプレイを有し、前記ディスプレイ上に好ましくは画像を表示し、及び/又は、好ましくは少なくとも1つの画像から取り出された画像情報を表示し、及び/又は、合成画像情報を含む収納領域の画像を表示するように設定若しくはプログラムされている、請求項1乃至10のいずれか一項に記載のインキュベータ。
【請求項12】
前記撮像システムは、前記データ処理装置が少なくとも1つの画像の取得中に前記収納領域に配置された少なくとも1つの物体を、画像評価プログラムによって検出するようにプログラムされている物体検出システムである、請求項1乃至11のいずれか一項に記載のインキュベータ。
【請求項13】
前記データ処理装置は、前記収納領域に収納された少なくとも1つの物体を画像データの画像処理によって認識し、前記収納領域における少なくとも1つの物体にそれぞれ識別データを割り当て、特に少なくとも1つの物体の位置をそれぞれID位置データとして決定してデータメモリに保存するようにプログラムされており、前記インキュベータは特にスクリーンを有し、前記データ処理装置は、前記スクリーン上に前記収納領域のグラフィック表現を表示し、特にID位置データによって識別された物体がどこに位置しているかをグラフィックに表示し、又は、前記収納領域若しくは庫内に置かれた全ての物体がどこに配置されているかをグラフィックに表示するようにプログラムされている、請求項1乃至12のいずれか一項に記載のインキュベータ。
【請求項14】
前記データ処理装置は、前記ID位置データをそれぞれユーザ識別データに割り当て、ユーザ関連ID位置データとして前記データメモリに保存し、特に次いで所定のユーザ識別データに基づいて、前記データメモリに保存された前記ユーザ関連ID位置データとの照合を実施して、前記ユーザ関連ID位置データによってこれらの所定のユーザ識別データに割り当てられた物体が現在、前記収納領域若しくは庫内のどこに位置しているかを確認し、特にこれらの物体を前記スクリーン上でグラフィックにマーキングするようにプログラムされている、請求項13に記載のインキュベータ。
【請求項15】
前記データ処理装置は、前記スクリーン上に、空き収納場所、及び/又は、前記ID位置データから導かれた情報、特に位置変化をもたらしたユーザのID、及び/又は統計的情報、特に物体の位置変化の頻度と時刻、及び/又は利用可能な空き収納場所のパーセンテージを表示するようにプログラムされている、請求項13又は14に記載のインキュベータ。
【請求項16】
生きた細胞培養物を培養するためのシステムであって、
生きた細胞培養物を培養するためのインキュベータを有し、該インキュベータは、物体、特に細胞培養容器を受容するためのインキュベータチャンバと、インキュベータに後付けするように設計された画像を処理する撮像システムと、を有しており、
前記インキュベータチャンバは、対向する内壁と、ユーザが物体を入れたり出したりするためのチャンバ開口部と、を備え、更に対向する内壁の間に延びている、物体を収納するための少なくとも1つの収納領域と、を有しており、
前記撮像システムは、データメモリを備えたデータ処理装置と、照明装置と、前記インキュベータチャンバの少なくとも1つの前記収納領域を撮像するように設定されたカメラ装置と、を含み、
前記撮像システム、特にデータ処理装置は、
前記照明装置によって内壁の間に延びるインキュベータの収納領域を照明し、
前記カメラ装置によって内壁の間に延びる前記収納領域の少なくとも1つの画像を取得し、
前記データ処理装置によって、前記少なくとも1つの画像を画像データの形でデータ記憶装置に保存する、
ように設定され、特にプログラムされているシステム。
【請求項17】
生きた細胞培養物の培養に用いるインキュベータにおいて画像を取得する方法であって、このインキュベータは、
対向する内壁と、ユーザが物体を入れたり出したりするためのチャンバ開口部と、を備え、更に対向する内壁の間に延びている、物体を収納するための少なくとも1つの収納領域と、を備えた、物体、特に細胞培養容器を受容するためのインキュベータチャンバと、
チャンバ開口部を閉じるためのインキュベータドアと、
撮像システムと、を有しており、前記撮像システムは、
照明装置と、
カメラ装置と、
データメモリを備えたデータ処理装置と、を含み、
該方法は、
前記照明装置によって内壁の間に延びる収納領域を照明するステップと、
照明中に前記カメラ装置によって内壁の間に延びる前記収納領域の少なくとも1つの画像を取得するステップと、
少なくとも1つの画像を画像データの形でデータ記憶装置に保存するステップと、
を含む、方法。
【請求項18】
画像処理によって収納領域に配置されている、少なくとも1つの物体を認識するステップと、
前記収納領域内の各物体に識別データを割り当てるステップと、
前記収納領域若しくは庫内における少なくとも1つの物体の位置を決定して、ID位置データとしてデータメモリに保存するステップと、
インキュベータのスクリーン上に前記収納領域のグラフィック表現を表示し、特に、前記ID位置データによって識別された物体がどこに位置しているか、又は、前記収納領域若しくは前記庫内に置かれている全ての物体がどこに配置されているかの情報を表示し、特に保存されている前記ID位置データ及び/又はユーザ関連ID位置データを前記スクリーン上に、特にインキュベータチャンバの内部のグラフィック表現によって前記スクリーン上に視覚化し、特に、前記ID位置データによって識別された物体がどこに位置しているか、又は、前記庫内に置かれた全ての物体がどこに配置されているかの情報をグラフィックに表示し、又は、前記インキュベータの内部における空き収納場所を前記スクリーン上に表示するステップと、を含む、請求項17に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、生きた細胞培養物のためのインキュベータ、インキュベータで作業する方法、及びインキュベータを含むシステムに関する。
【背景技術】
【0002】
このようなインキュベータにより、生物学や医学の研究室において細胞培養中の細胞は管理された周囲条件下に保たれ、生きた細胞が試験管内(in vitro)で成長することが可能になる。このために、周囲から隔離されたインキュベータチャンバ内の雰囲気の温度とガス組成若しくは湿度は、インキュベータの装置によって所望の値に保たれる。真核細胞はCOインキュベータを必要とする。雰囲気は、特定のCO及びO含有量と特定の湿度を有する空気によって形成され、適切な温度は、多くの場合37℃である。
【0003】
細胞の成長は、特にインキュベータ内の雰囲気が一定であることに決定的に依存している。インキュベータの雰囲気が乱れると、細胞の成長に悪影響を及ぼすことがある。この点で「理想的に」装備された研究室では、各ユーザに対して培養するサンプルごとに別個にアクセスできる培養チャンバが提供されるであろう。しかしながら、これは費用対効果の理由で現実的ではない。実験室の実務では複数のユーザが使用するために、単一の培養チャンバと、培養チャンバ内の1つ以上の収納プレート上の1つ以上の収納領域とを有する唯一のインキュベータ(又は少数のインキュベータ)が設けられていることが一般的である。
【0004】
本発明の基礎となる調査によると、インキュベータのチャンバドアを開く頻度、ひいてはインキュベータの制御された雰囲気への干渉の程度は、ユーザの数と、そこで培養されるサンプルの数によって増減する。干渉の強さは、更にドアを開放している時間にも依存する。ユーザがインキュベータチャンバの内部にアクセスする時間が長ければ長いほど、ドアが開いている状態の時間が長くなる。
【0005】
インキュベータの使用シナリオは様々あり、複雑になるとより長いアクセス時間が必要となる場合がある。
【0006】
シナリオA)インキュベータに新規物体を入れる
ユーザがインキュベータに1つ以上の物体、特に細胞培養容器を入れる場合、収納領域に空き収納場所を必要とする。無秩序に収納されているために空き収納場所がない場合、ユーザはこの収納場所を確保するために時間を要する。既にインキュベータ内に存在する物体(既存物体)の移動若しくは移し替えを慎重に行い、更に場合によっては文書に記録すると、それだけ作業に多くの時間がかかるようになる。インキュベータチャンバに十分な収納場所がないことが判明したら、ユーザはインキュベータチャンバの別のコンパートメントで、又は実験室に場合によって存在する代用インキュベータでその手順を繰り返す。それにより、インキュベータドアが開いている状態の時間、即ちチャンバ内部が周囲に曝露される時間(曝露時間)が長くなる。
【0007】
シナリオB)細胞培養物のチェック
ユーザが、以前インキュベータに入れた細胞培養物をチェックして、例えば細胞培地の品質や成長状態を確認する場合、ユーザは最初にインキュベータ内で当該細胞培養容器を探すであろう。その結果、露光時間が長くなる。このときユーザが既存物体を慎重に移動若しくは移し替えを慎重にすればするほど、探す作業に時間がかかる。
【0008】
シナリオC)物体をインキュベータから取り出す
この場合も、ユーザは、まず当該物体を探さなければならない。B)に挙げた時間的な遅延要因が該当する。
【0009】
更に、インキュベータを頻繁に開ければ開けるほど、庫内が汚染されるリスクも高くなる。例えば法医学や再生医療などでは、1つのサンプル、特に細胞培養容器内にある細胞の価値が、例えばインキュベータ全体の価値よりもはるかに高い場合もあり、汚染によるサンプルの損失は絶対に避けなければならない。いかなる場合も、汚染頻度が高まれば、作業停止のリスクが高まり、コストが上昇し、追加のメンテナンスが要求される。インキュベータが汚染された場合、インキュベータを続けて使用する前にチャンバを洗浄し、滅菌しなければならない。この間、代用インキュベータがなければ、細胞培養物を用いる作業は中断される。
【0010】
そのため、実験室では基本的に、インキュベータドアを開けている時間をできるだけ短くし、インキュベータチャンバを開ける頻度もできるだけ少なくすることが必要である。
【発明の概要】
【発明が解決しようとする課題】
【0011】
本発明の課題は、効率的に使用することができ、特に曝露時間、即ちインキュベータドアを開けた状態の時間、ひいてはインキュベータチャンバの内部がインキュベータの周囲に曝露される時間を短くすることが可能なインキュベータを提供することである。
【課題を解決するための手段】
【0012】
上記の課題は、請求項1に記載のインキュベータ、請求項18に記載のシステム、及び請求項17に記載の方法によって解決される。好適な構成は、特に従属請求項の主題である。
【0013】
本発明による生きた細胞培養物を培養するためのインキュベータは、次のものを有する。
生きた細胞培養物を培養するためのインキュベータは、
対向する内壁と、ユーザが物体を入れたり出したりするためのチャンバ開口部と、対向する内壁の間に延びている、物体を収納するための少なくとも1つの収納領域を備えた、物体、特に細胞培養容器を受容するためのインキュベータチャンバと、
チャンバ開口部を閉じるためのインキュベータドアと、
撮像システムと、を有しており、
この撮像システムは、
照明装置と、
少なくとも1台のカメラ装置と、
データメモリを備えたデータ処理装置と、を含み、
ここで、撮像システムは、特にインキュベータドアが閉じているか開いている状態で、
照明装置によって内壁の間に延びる収納領域を照明し、
カメラ装置によって内壁の間に延びる収納領域の少なくとも1つの画像を取得し、
データ処理装置によって少なくとも1つの画像を画像データの形でデータ記憶装置に保存するように設定されている。
【0014】
この撮像システムにより、インキュベータチャンバ内において管理された条件下で収納領域の占有に関して相応に多面的に使用可能な情報を提供できる画像を再現可能に撮像することが可能である。本発明によるインキュベータは、収納領域の占有に関する情報を画像データの形で提供するため、ユーザは、インキュベータを開く前に、インキュベータの占有状態に関する情報を取得することが可能になる。このような情報を提供することにより、インキュベータを不必要に開けることが減少し、インキュベータの利用が効率的になる。
【0015】
この収納領域の占有に関する情報の提供は、収納領域の画像を、例えばインキュベータのディスプレイ上に表示することによりユーザに提供することであってよい。このようにすると、収納領域の占有状態は別の物体を入れることを許すものであるか、ユーザが入れて、これからチェックし又は取り出そうとする物体が(ユーザにとって識別可能である限り)相応の収納領域にあるか、及びそれはどこに見出せるかについて、ユーザは即座に「イメージ」を持つことできる。更にこの情報は、自動化された画像評価によって、この収納領域の空き収納場所に関するデータ得て、ユーザに伝えることによっても、提供できる。画像データを提供することにより、物体のタイプや個々の物体の特徴を認識することも可能になる。
【0016】
インキュベータは、実験装置若しくは実験用インキュベータである。特にインキュベータチャンバを備え、その雰囲気がインキュベータによって所定の目標温度に制御可能であるか若しくは制御される実験装置をインキュベータと呼ぶ。特に、様々な生物学的な発生及び成長プロセスのために管理された気候条件を作り出して維持することができる実験装置である。インキュベータは、振動インキュベータ(シェーカ)、即ちインキュベータチャンバ内に置かれた物体を動かすための運動装置を備えたインキュベータ、又は微生物インキュベータ(COなしでも可)であってよい。インキュベータは、特に細胞培養装置として構成されることがある。インキュベータは、特にインキュベータチャンバ内のガス及び/又は湿度及び/又は温度条件を制御した微気候を作り出して維持する機能を果たし、この処理は時間に依存することができる。実験用インキュベータ、特に実験用インキュベータの処理装置は、時間発生器、特にタイマ、加熱/冷却装置、好ましくはインキュベータチャンバに供給される交換ガスを制御するための調整装置、インキュベータのインキュベータチャンバ内のガスの組成調整装置、特にガスのCO及び/又はO及び/又はN含有量の調整装置、及び/又はインキュベータのインキュベータチャンバ内の湿度の調整装置を有することができる。インキュベータ、特にインキュベータの処理装置は、特にインキュベータチャンバを有し、更に好ましくは少なくとも1つの制御回路を持つ制御装置を有し、この制御回路には操作要素として少なくとも1つの加熱/冷却装置が、また測定要素として少なくとも1つの温度測定装置が割り当てられている。制御装置によってインキュベータ内の温度を制御することができる。実施例によっては湿度も制御できる。インキュベータチャンバ内の水を満たしたタブを加熱又は冷却して、蒸発によって湿度を調整することができる。代替的及び/又は追加的に、インキュベータの構成要素として水蒸気発生装置を設けて、インキュベータチャンバの雰囲気の湿度を調整することもできる。COインキュベータは、特に動物やヒトの細胞の培養に用いる。インキュベータは、少なくとも1つの細胞培養容器を回転させるための回転装置及び/又は少なくとも1つの細胞培養容器を振動若しくは運動させる振動装置を有することができる。本発明によるインキュベータは、特にバイオリアクタ又は発酵器ではない。
【0017】
インキュベータは、センサ装置を有することができる。センサ装置は、特に少なくとも1つの温度センサ、好ましくは複数の温度センサを有する。温度センサは、例えばPt100又はPt1000温度センサであってよい。センサ装置は、好ましくは相対的ガス濃度を決定するためのセンサ、特にCO及び/又はO及び/又はNの含有量を決定するためのセンサを有する。センサ装置は、好ましくは相対湿度を決定するためのセンサを有する。
【0018】
インキュベータは、1つ若しくは唯一のインキュベータチャンバを有する。インキュベータチャンバは、コンパートメントに区分することができる。コンパートメントは、特に穿孔された収納プレートによって分離することができ、特にコンパートメント間のガス交換が可能にされている。収納プレート、特にその下側はカメラ装置を保持するように形成でき、特にカメラ装置のためのホルダを備えることができる。収納プレート、特にその下側は照明装置を保持するように形成でき、特に照明装置のためのホルダを備えることができる。しかしながら、照明装置又はそのホルダは、インキュベータチャンバの他の箇所、例えばインキュベータチャンバの内壁又は床又は天井の壁に配置し若しくは取り付けることもできる。照明装置のためのホルダは、レールシステム、制御装置によって制御されるロボットアーム、及び/又は1つ以上の磁石を有することができる。
【0019】
インキュベータチャンバは、チャンバ壁若しくはチャンバ内壁と、正確に1つの又は少なくとも1つのチャンバ開口部を有し、このチャンバ開口部を通して物体若しくは細胞培養容器をインキュベータチャンバ内に置いたり、取り出したりすることができる。このチャンバ開口部は、インキュベータチャンバと可動に接続された閉鎖要素、特にヒンジによってインキュベータチャンバに可動に取り付けられたインキュベータドア、特に1つ以上のチャンバドアによって閉じることができる。インキュベータは、1つ以上の、特に透明であってよい内側ドアを有することができる。インキュベータはまた、1つの、特に不透明な外側ドアを有することができ、これは特にチャンバ開口部と、場合によってはチャンバ開口部を閉鎖若しくは開放する少なくとも1つの内側インキュベータドアを、周囲に対して断熱する。撮像システムは、好ましくはインキュベータドア若しくは外側ドアが閉じた状態で画像を取得し、それによって好ましくは照明装置によってのみ行われる収納領域の照明に周囲光が影響を与えないようにする。その結果、再現性が高く、比較可能な、画像処理アルゴリズムによって容易に評価できる撮像が得られる。しかしながら、インキュベータドアを開けた状態で撮像を行うことも可能である。
【0020】
チャンバ開口部が閉じた位置では、インキュベータチャンバの内部は、庫内でインキュベータによって制御される所望の温度若しくは雰囲気を調整、特に調節できるように、周囲に対して絶縁されていることが好ましい。チャンバ開口部が開いた位置では、この開口部を通してインキュベータの周囲とインキュベータチャンバの内部の間のガス交換が可能である。チャンバ開口部は、典型的にはチャンバ開口部の全周を囲んでいる前壁内にある。
【0021】
インキュベータチャンバは、複数の壁若しくは内壁面を有しており、これらは特に一体的に、特にエッジがなく互いに接続できることが好ましい。壁若しくは内壁面は、好ましくは実質的に平面に形成されているが、全体的又は部分的に湾曲した形状を有することも可能である。インキュベータチャンバは、好ましくは立方体に形成されているが、他の形状、例えば球体、楕円体、多面体に形成することもできる。壁若しくは内壁面は、好ましくは低腐食性材料、特にステンレス鋼、銅、真鍮、又はプラスチック、特に複合プラスチックで作られている。これにより、チャンバ内部の洗浄/消毒が容易になる。インキュベータチャンバは、物体若しくは細胞培養容器の装入/取出しに用いるチャンバ開口部とは別に、相応の寸法の装置若しくは接続ケーブルをインキュベータチャンバの内部からその外側又はインキュベータの周囲へ通すための少なくとも1つのポートを有することができる。
【0022】
インキュベータ内壁の表面は、特にマットな表面を使用することによって、無光沢若しくは無反射に形成されていることが好ましい。インキュベータ内壁の表面は、表面処理によってマット化することができる。表面処理は、特に特定の粒度を有する研磨剤を用いた研磨であってよい。表面処理は、特にブラスト材、特に砂又はガラスビーズを用いた、特に圧縮空気によるブラストであってよく、これらは、特に特定の粒度若しくは特徴的な粒径を有することができる。それにより撮像における有害な反射を防止若しくは低減することができる。
【0023】
インキュベータチャンバの内部の典型的な大きさは、50~400リットルである。
【0024】
インキュベータは、正確に1つのインキュベータチャンバを有することができるが、複数のインキュベータチャンバを有してもよく、それらの雰囲気(温度、相対ガス濃度、湿度)は、特に個別に又は全体として調整することができる。インキュベータは複数のインキュベータチャンバを持つことができ、各チャンバはそれぞれ独自のチャンバ開口部と、チャンバ開口部を閉じるための独自のチャンバドアを持つことができる。
【0025】
インキュベータは、インキュベータチャンバを部分的に又は完全に取り囲むハウジングを有することができる。ハウジングは、実質的に立方体に形成することができ、特にインキュベータはスタッキング可能であるように形成されてよい。
【0026】
インキュベータの収納領域は、特に収納プレート、特に引出し棚板及び/又は可動プラットフォームによって実現されており、これらは特にステンレス鋼又は銅又は類似の材料からなるか、又はこの材料を有することができる。収納プレートは、床板として、特に中間床板として用いられる。収納プレートは、インキュベータチャンバから取り外し可能(「引出し収納プレート」)であるか、又はインキュベータチャンバに挿入してこれと固く接続することができる。インキュベータチャンバは、1つ以上の引出し収納プレート又は挿入可能な器具を保持するための保持部又は保持フレームを有することができる。収納プレートは、その下側にカメラを保持するように構成することができ、特にこのカメラ用のホルダを有することができる。代替的又は追加的に、インキュベータチャンバの内壁の少なくとも1つは、1つ以上の引出し収納プレート又は挿入可能な器具、特に少なくとも1台のカメラを保持するように構成できる。このために、壁内に組み込まれた保持構造、特に1つ以上の突起、溝又はウェブを設けることができる。収納プレートは、インキュベータチャンバ内の利用可能な収納面積を増加させる。
【0027】
少なくとも1つの収納プレートの実質的に全表面又は少なくとも一部の表面は、特にマットな表面を使用することによって、無光沢若しくは無反射に形成されていることが好ましい。インキュベータ内壁の表面は、表面処理によってマット化することができる。表面処理は、特に特定の粒度を有することができる研磨剤を用いた研磨であってよい。表面処理は、特にブラスト材、特に砂又はガラスビーズを用いた、特に圧縮空気によるブラストであってよく、これらは、特に特定の粒度若しくは特徴的な粒径を有することができる。それにより撮像における有害な反射を防止若しくは低減することができる。
【0028】
少なくとも1つの収納プレートのための保持フレームも、非腐食性材料、好ましくはステンレス鋼で作られていることが好ましい。保持フレームは、インキュベータチャンバの床壁に載る、少なくとも1つの台部を有することによって、立設物として設計されていることが好ましい。しかしながら、保持フレームは、インキュベータチャンバの側壁に支持され、及び/又はインキュベータチャンバの天井壁から吊り下げることもできる。
【0029】
収納プレートは、特に実質的に完全にインキュベータチャンバの水平断面にわたって延びていることが好ましい。
【0030】
インキュベータは、互いに上下に配置された少なくとも2つの収納プレートを有することが好ましい。2つの収納プレートの間若しくはインキュベータチャンバの底壁と最下部収納プレートの間、又はインキュベータチャンバの天井壁と最上部収納プレートの間の容積領域は、収納コンパートメントと呼ぶことができる。収納コンパートメントは、全体として収納領域と見なすことができる。収納に適した収納プレートの表面は、収納領域と見なすことができる。収納コンパートメントの高さは、(収納プレートの平坦な表面に対して垂直に測定して)特定の最大高さの物体若しくはスタックの特定の最大高さの物体スタックを収納プレート上に載置できるように寸法設定されていることが好ましい。特に、この最大高さは、実質的に2つの収納プレートの間隔に対応することができる。
【0031】
2つの収納プレートの間隔若しくは最大高さは、特に5cm~70cm、好ましくは5cm~65cm、好ましくは5cm~60cm、好ましくは5cm~50cm、好ましくは10cm~30cm、好ましくは10cm~20cm、好ましくは12cm~18cmである。最大高さは、特に150cmであってよい。2つの収納プレートの間隔は、収納プレートのための可変保持装置によってユーザによって選択可能であることが好ましい。
【0032】
インキュベータチャンバの内部に挿入可能な器具、特にカメラはモジュールとして設計することができ、好ましくはインキュベータドアが閉じられているときでも、内部において自動化された観察を行うことを可能にする。
【0033】
カメラ装置、又はその少なくとも1台のカメラは、好ましくは収納プレートの下方に配置されているか又は配置可能であり、特にそこに固定されているか又は固定可能である。少なくとも1台のカメラが、収納プレートの下側、特に下側の幾何学的中心、特に長方形の下側の対角線の交点に取り付けられているか又は取り付け可能であることが好ましい。
【0034】
1台以上のカメラが、インキュベータチャンバ内の引出し棚板の下側、又はインキュベータチャンバの上部内壁(天井壁)の下側、好ましくはカメラが監視する収納領域の幾何学的中心のそれぞれ垂直上方に取り付けられているか又は取り付け可能であることが好ましい。しかしながら、1台以上のカメラが、インキュベータチャンバの内側側壁又は保持フレームに配置若しくは固定されているか又は配置/固定可能であることが好ましい。
【0035】
少なくとも1台のカメラが、原則として画像対角線で、代替的に画像垂直線又は画像水平線で測定して90°~210°、好ましくは120°~180°、好ましくは160°~180°の画像角度を有するように設定及び配置されていることが好ましい。
【0036】
撮像システムのカメラは、広角レンズ、特に魚眼レンズを有することができ、その画像対角線における画像角度は120°~230°であってよい。
【0037】
特に上記の画像角度のうちの1つを有する、正確に1台のカメラが収納プレートの下側に設けられていることが好ましい。
【0038】
カメラの「視界領域」又は視野(英語:field of view、FOV)は、特に特定の画像角度、例えば上で定義された範囲のうちの1つによる画像角度を有し、この視野角に依存する画像コンテンツの表現につながるように定義することができ、或いは画像垂直線で測定された画像角度と画像水平線で測定された画像角度によって定義されてもよい。画像のアスペクト比は、特に4:3、3:2又は16:9、1:1のフォーマットのうちの1つであってよい。
【0039】
好ましくは収納プレートの下側に少なくとも1台のカメラ、好ましくは正確に1台のカメラが配置されており、その視界領域は少なくとも1台のカメラの視界領域にある収納プレートの載置面積のX%以上を把捉することが好ましい。Xは、それぞれ好ましくは20、30、40、50、60、70、80、90、100である。換言すれば、この正確に1台の又は少なくとも1台のカメラによって撮像された正確に1つの又は少なくとも1つの画像は、好ましくは少なくとも1台のカメラの視界領域にある収納プレートの載置面積のX%以上を示す。例えば複数のカメラを設けて、これらが一緒になって収納領域全体、即ち載置面積の100%、又はそのパーセンテージXを撮像するようにすることができる。収納領域全体又はそのパーセンテージXを撮像する正確に1台のカメラが設けられていることが好ましい。視界領域が大きいほど若しくは完全であるほど、収納領域をより確実に若しくは効率的に撮像でき、画像を評価できる。
【0040】
好ましくは収納プレートの下側に少なくとも1台のカメラ、好ましくは正確に1台のカメラが配置されていて、その視界領域はインキュベータのコンパートメント内にあり、好ましくは収納プレート上の載置面積(載置面積の一部又は全部)に加えて、コンパートメントを仕切るコンパートメント壁の壁面積のY%以上を把捉し、このコンパートメント壁はインキュベータの内壁部分によって形成される。Yは、それぞれ好ましくは、20、30、40、50、60、70、80、90、100である。換言すれば、この正確に1台の又は少なくとも1台のカメラによって撮像された正確に1つの又は少なくとも1つの画像は、好ましくはコンパートメントを仕切るコンパートメント壁の1つ(又は全部)の壁面積のY%以上を示す。例えば複数のカメラを設けて、これらが一緒になって全てのコンパートメント壁の全面積、即ちコンパートメントの内壁面積の100%、又はそのパーセンテージYを撮像するようにすることができる。全てのコンパートメント壁の全面積又はそのパーセンテージYを撮像する正確に1台のカメラが設けられていることが好ましい。相応に大きい視界領域によって、収納プレートの平坦な収納領域の端部に位置決めされた物体又は物体スタックも撮像できる。
【0041】
データ処理装置は、カメラによって撮像された画像を自動的にトリミングして、カメラによって指定された画像角度よりも小さい有効画像角度が生じるように、若しくはカメラによって指定された視界領域よりも小さい有効視界領域が生じるようにするためにプログラムされていることが好ましい。
【0042】
インキュベータのカメラは、それぞれのインキュベータ雰囲気中で数ヶ月又は数年にわたり確実に動作するのに、若しくは標準条件(室温)下で測定した寿命時間は確実に動作するのに、特に適している。全てのカメラがインキュベータの雰囲気中で機能するのに適しているわけではない。市販のカメラで考えられるのは、ドイツのコンラートエレクトロニックSEから入手可能なRasberry PI用の5MP広角カメラ(www.joy-it.net)、及び/又は広角レンズと組み合わせた他のカメラ、例えば市販の「工業用レンズHAL2502.3」(株式会社インタニヤ、日本)である。代替的に、少なくとも1台のカメラをインキュベータ雰囲気に対して遮蔽若しくは絶縁するために、カバー装置を設けることができる。このカバー装置は、透明な領域を通して撮像を可能にするために、特に透明な領域又は透明な窓を有しているか、若しくは透明である。
【0043】
カメラ装置は、カメラに入射する光がフィルタリングされる、少なくとも1つの光学フィルタを有することが好ましい。これにより、撮像の品質を、特に後続のデジタル画像処理及び評価に関して最適化することができる。カメラ装置は、カメラに入射する光がフィルタリングされる、少なくとも1つの偏光フィルタを有することが好ましい。これにより、撮像において収納領域内の物体、収納領域又はインキュベータチャンバの要素及び/又はインキュベータチャンバの内壁での照明装置の光の反射から生じ得る反射を、特に後続のデジタル画像処理及び評価に関して低減できる。偏光フィルタは、好ましくは円偏光フィルタであるが、直線偏光フィルタであってもよい。平滑な非金属表面(例えば細胞培養容器のプラスチック表面)からの望ましくない反射は、偏光フィルタによって抑制できる。非金属表面では、特に表面に対する出射角が約30°~40°で、ブルースター角に近い場合、垂直偏光の光が顕著に多く反射される。偏光フィルタが適切に位置合わせされている場合、反射光波が抑制されて、偏光していない背景が反射によって照らし出されなくなる。偏光を使用する場合、撮像される物体、特に細胞培養容器は、照明装置と少なくとも1台のカメラとの間に、特に直線上に配置されることが好ましい。
【0044】
カメラ装置は第1の偏光フィルタを有し、照明装置は第2の偏光フィルタを有し、特に第1の偏光フィルタと第2の偏光フィルタは、互いに対して回動して使用されることが好ましい。このようにすると照明装置の光の一部は、最初にその前にある偏光フィルタによって遮断される。ここで、カメラの前にある偏光フィルタは、照明装置から発せられる光の他の部分も遮断するように、照明装置の偏光フィルタに対して調整され若しくは入射光に対して回動して配置される。理想的には、拡散光のみが残っている。その結果、反射は金属表面からの反射も含めて低減されるか完全に除去される。このことは、特に後続のデジタル画像処理及び評価に関して、特に画像処理による物体の輪郭認識に関して特に有利である。
【0045】
照明装置は、少なくとも1つの光源、特にLEDを有することが好ましい。照明装置は、それぞれ異なる発光スペクトル、即ち異なる色、例えば赤、緑、青を有する、少なくとも2つの光源又はそれ以上の光源を有することが好ましい。このようにすると、画質を、特に後続のデジタル画像処理及び評価に関して、特に画像処理による物体の輪郭認識に関して最適化することができる。
【0046】
照明装置は、放射された光の波長が可視光の波長よりも大きい波長を有するか若しくはそれらの波長からなり、特に発光スペクトルが、特に780nm~1mmの波長を有する赤外線範囲、特に近赤外線(780nm~3000nm)又は中赤外線(3000nm~50000nm)にあり、又はそのような赤外線範囲を含む、少なくとも1つの光源を有することができる。この場合、カメラ装置は、対応する光、特に赤外光を検出するのに適した、少なくとも1台のカメラ若しくはカメラセンサを有する。照明装置は、放射された光の波長が可視光の波長よりも小さいか若しくは等しい少なくとも1つの光源を有することができる。この場合、カメラ装置は、相応の光を検出するのに適した少なくとも1台のカメラ若しくはカメラセンサを有する。
【0047】
少なくとも2つの光源は、互いに距離を置いて配置されていることが好ましい。これにより、1台以上のカメラの視野がより均質に照明され、個々の光の方向に依存する反射領域の強度を低減することができる。このことは、後続のデジタル画像処理及び評価に関して、特に画像処理による物体の輪郭認識に関して有利である。
【0048】
照明装置は、収納プレートの下側に配置若しくは固定されている、又は配置/固定可能である、少なくとも1つの光源を有することが好ましい。照明装置は、収納プレートの下側に沿って異なる位置に配置若しくは固定され、又は配置/固定可能な少なくとも2つ以上の光源を有することが好ましい。
【0049】
照明装置は、照明装置から放射された光が部分的に又は完全にフィルタリングされる、少なくとも1つの光学フィルタを有することが好ましい。光学フィルタは、特に最も望ましいフィルタ効果を発揮するために、カメラ装置の偏光フィルタと同調させた偏光フィルタであってよい。
【0050】
照明装置は、少なくとも1つの光拡散器を有し、それにより照明装置が拡散光を放射することが好ましい。光拡散板は、例えば乳白色のプレキシガラス板であるか又はこれを有することができる。光拡散器によって、特にくっきりした影や反射を低減又は防止することができ、このことは特に後続のデジタル画像処理及び評価に関して有利である。
【0051】
撮像システム、特にカメラ装置及び/又は照明装置は、照明の光の流れ又はカメラに入る光の流れを制御するために、少なくとも1つの絞り、好ましくは特に直径が可変な開口絞り、例えば虹彩絞りを有する。
【0052】
撮像装置、特にカメラ装置及び/又は照明装置は、少なくとも1つ以上の光学レンズを有することが好ましい。
【0053】
撮像システム、特にカメラ装置及び/又は照明装置は、少なくとも1つのレンズ、好ましくは広角レンズ、好ましくは広角魚眼レンズを有することが好ましい。
【0054】
撮像装置はタイマを有することが好ましい。データ処理装置は、好ましくは照明装置の少なくとも1つ以上の光源を所定の時間的順番でアクティブにし、特にそれぞれの所定の活動時間の後に再び非アクティブにし、及び/又は全ての又は複数の光源を同時にアクティブにするようにプログラムされており、好ましくはカメラ装置が収納領域の複数の画像を取得し、それぞれの画像が連続的に、特に照明の活動時間に同期して撮像されたようにプログラムされている。
【0055】
撮像システムは、物体がインキュベータチャンバに入る時刻及び/又は物体をインキュベータチャンバから取り出す時刻を取得して保存するように設定されていることが好ましい。
【0056】
撮像装置は、
照明装置によってこの収納領域にある少なくとも1つ又は2つの物体を照明し、
カメラ装置によってこの収納領域にある少なくとも1つ又は2つの物体の画像を取得し、
データ処理装置によって少なくとも1つ又は2つの物体の画像を画像データの形でデータ記憶装置に保存する、
ように設定されていることが好ましい。このようにして、画像データの様々な用途が可能になり、特に収納領域における物体の区別、特に第1の物体と第2の物体に異なる識別データを割り当て、物体をカウントし、物体クラスを認識し、個別特徴を分析、保存及び認識し、移動中の物体を追跡し、物体の進入又は取出しの時刻を認識して保存することが可能になる。
【0057】
データ処理装置は、
画像データの評価によって画像に現れた第1の物体と第2の物体を区別し、特に第1の物体と第2の物体に異なる識別データを割り当て、物体をカウントし、物体クラスを認識し、個別特徴を分析、保存、認識し、移動中の物体を追跡し、特に画像処理アルゴリズムによって画像中の第1の物体と第2の物体の輪郭を検出し、
特に第1の物体と第2の物体に関する情報、特に第1の物体と第2の物体の境界ボックス及び/又は輪郭を物体データの形でデータ記憶装置に保存する、
ようにプログラムされていることが好ましい。
【0058】
好適な実施例において、照明装置及び特にデータ処理装置は、照明装置が少なくとも2種類の照明モードで動作するように設定及びプログラムされていることが好ましく、撮像システム及び特にデータ処理装置は、
照明装置によってインキュベータチャンバの収納領域を、
i)最初に第1の照明モードで照明し、
ii)次にそれとは異なる第2の照明モードで照明し、
第1の照明モードと第2の照明モードの双方による照明中にカメラ装置によって収納領域の少なくとも1つの画像を取得し、
少なくとも1つの画像を、第1の照明モードと第2の照明モードの双方の間に取得された合成画像情報を含む画像データの形で提供するように設定及びプログラムされていることが好ましく、
データ処理装置は、画像データから合成画像情報を取得する画像評価プログラムを実行するようにプログラムされている。
この実施例により、特に収納領域の撮像の品質を改善若しくは最適化することができ、このことは特に後続の画像処理、特に画像評価に関して、特に1つ以上の物体若しくは細胞培養容器の境界ボックス及び/又は輪郭を取得するために有利である。
【0059】
第1の照明モードと第2の照明モードは、特に異なる光源、及び/又は異なる位置に配置された光源、及び/又は光源の異なる露光時間、及び/又は異なる発光スペクトル又は光色、及び/又は異なる光強度が使用されることによって区別できる。異なる照明モードにより、特に収納領域の撮像の品質を改善若しくは最適化することができ、このことは特に後続の画像処理、特に画像評価に関して、特に1つ以上の物体若しくは細胞培養容器の境界ボックス及び/又は輪郭を取得するために有利である。
【0060】
収納領域の少なくとも1つの画像は、収納領域の少なくとも1つの第1の画像と、それとは異なる収納領域の第2の画像を含み、第1の画像は第1の照明モードで撮像され、第2の画像は第2の照明モードで撮像され、第1の画像は第1の画像データの形で提供され、第2の画像は第2の画像データの形で提供されることが好ましく、
特にデータ処理装置及び/又は画像評価プログラムは、
第1の画像データと第2の画像データを合成して、特に第1の画像データと第2の画像データの加算及び/又は平均化によって生じる合成画像データを取得し、
合成画像データから合成情報が得られる、
ようにプログラムされている。
この実施例により、特に収納領域の撮像の品質を改善若しくは最適化することができ、このことは特に後続の画像処理、特に画像評価に関して、特に境界ボックスアルゴリズムによって収納領域の画像中の1つ以上の物体若しくは細胞培養容器の位置を検出するために有利である。
【0061】
好ましくは使用される画像処理による物体追跡のための典型的なプログラムコードは、画像の時間的シーケンスの評価に基づくものである。物体追跡のための典型的なプログラムコードは、画像中の物体を識別し、その衝突限界を定義し、特にその位置を特定するために、「境界ボックス」を出力フォーマットとして使用する。デジタル画像処理では、デジタル画像中に示された物体をほぼ又は完全に包囲する矩形枠の座標を「境界ボックス」と呼ぶ。物体追跡において境界ボックスを使用することにより、物体追跡は、より効率的になる。なぜなら、このような数値的な補助手段による画像評価は、特に物体の輪郭認識のアルゴリズムと比較して、必要な計算ステップ、したがって必要な計算能力が少なくて済むからである。更に、対応するアルゴリズムは、特殊なグラフィックプロセッサ(GPU)を用いることにより、効率的かつ費用対効果の高い方法で実行することができる。境界ボックスを用いる物体追跡のための適切なプログラミングインタフェース(API)は、OpenCVプログラムライブラリにおいて、BOOSTING、CSRT、GOTURN、KCF、MEDIANFLOW、MOSSE、MIL、TLDという名称で提供されている。これに対応して、OpenCVプログラムライブラリでは、同時に複数の物体を追跡するための「マルチトラッカー」(「multiple object tracking」)が提供されている。この代替として、複数物体追跡(MOT)のための「追跡バイディテクション」原理による深層学習アルゴリズムが知られている。
【0062】
しかしながら、物体追跡のために、画像中の追跡すべき物体の輪郭の決定、特に背景減算による物体(前景)と背景の分離の決定を行うことも可能かつ好適である。
【0063】
複数(N≧10)の照明モードを使用して、1つの画像を取得するか又は複数の画像を取得し、次にこれらの画像が合成画像情報を含む合成画像を合成画像データの形で提供することが好ましい。好ましくは2≦N≦300、好ましくは10≦N≦300、好ましくは100≦N≦300である。この場合、N≦500又はN≦1000であることが好ましい。
【0064】
収納領域の少なくとも1つの画像は、収納領域の多重露光画像を含んでいることが好ましく、撮像システムは、特に、
第1の照明モードと第2の照明モードの双方による照明中にカメラ装置によって収納領域の画像を露光して取得し、
多重露光画像を画像データの形で提供する、
ように設定されている。
【0065】
少なくとも1つの画像は、収納領域に配置された物体に関する情報、特に選択的に、
収納領域における物体の位置に関する情報、
物体の外輪郭に関する情報、
収納領域の平坦な面に平行な平面内で測定した、物体の面積に関する情報、
収納領域の平坦な面に平行な平面内で測定した、収納領域のうち物体によって占められていない面積に関する情報、
を含むことが好ましい。
【0066】
照明装置は、好ましくは第1の照明モードと第2の照明モードとで異なって動作する少なくとも1つの第1の光源と第2の光源を有し、特に第1の光源と第2の光源は収納領域の収納面の上方に距離を置いて配置されており、特に第1の光源と第2の光源は、収納領域の平坦な収納面に平行な平面内でずらして配置されており、特に収納領域は平坦な収納面を有し、第1の光源は収納面の前半分の垂直上方に配置され、第2の光源は収納面の後半分の垂直上方に配置されており、特に照明装置は複数のLED光源を備えたLEDライトストリップを有し、このLEDライトストリップは、収納領域の平坦な収納面に平行に位置する平面内に配置され、特に蛇行経路、螺旋経路、特に少なくとも部分的に直線経路で配置されており、特に撮像システムは、特にプログラム可能な電子制御装置を有しており、この電子制御装置は、
第1の光源は、第1の照明モードの照明段階の間は、第2の照明モードの照明段階の間とは異なって動作し、及び/又は、
第2の光源は、第1の照明モードの照明段階の間は、第2の照明モードの照明段階の間と異なって動作し、
特に、
第1の光源は、第1の照明モードの照明段階の間はアクティブであり、第2の照明モードの照明段階の間はあまりアクティブでない(即ち放射する)か非アクティブであり、及び/又は、
第2の光源は、第1の照明モードの照明段階の間はあまりアクティブでないか非アクティブであり、第2の照明モードの照明段階の間はアクティブであり、
特に、
第1の光源は、第1の照明モードの照明段階の間は、第2の照明モードの照明段階とは異なる発光スペクトルで動作し、及び/又は、
第2の光源は、第1の照明モードの照明段階の間は、第2の照明モードの照明段階とは異なる発光スペクトルで動作する、
ように設定若しくはプログラムされている。
【0067】
好ましくは、特に少なくとも1台のカメラが収納領域の収納面に対して垂直上方に距離を置いて配置されており、好ましくは少なくとも1台のカメラが広角光学系、特に広角レンズ若しくは魚眼レンズを有しており、好ましくは収納領域の収納面の中心に対して垂直上方の距離を置いて配置された正確に1台のカメラが設けられている。
【0068】
撮像システムは、好ましくはインキュベータのモジュラー型の、即ちユーザが選択的に使用可能な構成要素であり、特にインキュベータは、制御装置と、インキュベータチャンバの内部の温度を制御するための温度調節装置を有しており、撮像システムは、撮像システムを制御するように設定された他の制御装置を有していて、特にそのためにこの他の制御装置は撮像システムのデータ処理装置を備えている。撮像システムを備えたインキュベータのこのようなモジュール型の実施例は、好ましくは更に、例えば画像データをインキュベータディスプレイに表示できるように、インキュベータとのデータインタフェースを有している。
【0069】
特にインキュベータは、好ましくは制御装置と、インキュベータチャンバの内部の温度を制御するための温度調節装置を有しており、特に制御装置は撮像システムを制御するように設定されており、特にそのためにこの制御装置は撮像システムのデータ処理装置を備えている。これは、インキュベータと撮像システムの一体型の実施例である。
【0070】
インキュベータは、好ましくはディスプレイを有しており、このディスプレイ上に好ましくは画像を表示し、及び/又は好ましくは少なくとも1つの画像から取り出された画像情報を表示し、及び/又は合成画像情報を含む収納領域の画像を表示するように設定若しくはプログラムされている。
【0071】
撮像システムは、データ処理装置が少なくとも1つの画像の取得中に収納領域に配置された少なくとも1つの物体を、画像評価プログラムによって検出するようにプログラムされている物体検出システムであり、
特に、個別特徴に基づいて物体を認識し、及び/又は物体固有のクラス特徴に基づいて物体クラスを認識するための物体認識システムであり、
特に、初期位置から出発してその最終位置を検出するために、収納領域内の少なくとも1つの物体の位置変化を追跡するための物体追跡システムであることが好ましい。
【0072】
「下方」は重力の方向を表し、「上方」はその反対方向を表す。「垂直」は「重力のベクトルに沿っている」ことを意味し、「水平」は垂線に対して垂直であるか若しくは垂線に対して垂直な平面内にあることを意味する。正規の使用では、インキュベータは平坦な収納プレートの上側が水平になるように配置されている。
【0073】
インキュベータは、少なくとも1つの物体、特に細胞培養容器を処理するための処理装置を有することが好ましい。「処理」という用語は、特に物体、特に細胞培養物又は細胞培養容器を、特に物理的、化学的、生化学的又はその他の方法で移動及び/又は搬送及び/又は検査及び/又は変化させることを意味する。
【0074】
処理装置は、少なくとも1つの細胞培養容器内の細胞培養物が、好ましくは制御プログラムによって制御される運動プログラムによって動かされる運動装置であってよい。運動装置は、振動装置又は揺動装置であってよい。運動装置は、好ましくは1つ以上の細胞培養容器が載置及び/又は固定される支持装置、特にプレートを有する。運動装置は、好ましくは駆動装置を、特に振動装置の場合には例えば振動子駆動装置を、特に偏心器と組み合わせて有し、それによって所望の運動プログラムが実現される。処理装置は、少なくとも1つの細胞培養容器を揺動させる揺動装置であってよい。揺動装置の構成要素は、振動装置の構成要素に対応してよいが、揺動運動用に設定されている。
【0075】
処理装置は、少なくとも1つの細胞培養容器をインキュベータチャンバ内に搬送することができる搬送装置であってもよい。
【0076】
搬送装置は、少なくとも1つの物体、特に細胞培養容器、カメラ又は光源を載せることができる支持装置を備えた昇降装置であってよい。搬送装置若しくは昇降装置は、運動機構及び/又はこの運動機構を駆動するための電気的に制御可能な駆動機構を有することが好ましい。搬送装置は、更に少なくとも1つの細胞培養容器を把持及び保持するための電気的に制御可能な可動グリップアームであってよい。搬送装置は、載置又は配置された少なくとも1つの物体を移動させるためのコンベアベルト又はレールシステムを有することができる。搬送によって少なくとも1つの物体をインキュベータチャンバ内で、特に例えばインキュベータチャンバ内の加工ステーションの加工位置又は撮像位置に搬入し、この加工位置又は撮像位置から搬出することができる。制御装置は、事前に取得された画像データからの情報に応じて搬送装置を制御するように設定できる。
【0077】
処理装置は、カメラ装置の少なくとも1台のカメラ及び/又はインキュベータチャンバ内の少なくとも1つの光源を搬送することができる搬送装置であってもよい。搬送装置は、特に収納プレートの下方若しくは直下に、及び/又はインキュベータチャンバの天井壁の下方若しくは直下に配置することができる。移動した光源若しくは移動可能な光源により、異なる照明モードを実現することができる。特に、照明モードは占有状態に適合させることができ、例えば収納領域が物体で非常に密集している場合には適切な照明方向を可変的に実現することが可能である。複数のカメラにより、及びまた移動したカメラ若しくは移動可能なカメラにより、収納領域の異なる画像若しくは画像部分を作成し、それらを特にデジタル画像処理により収納領域の全体画像に合成することができる。移動可能なカメラの場合は更に、カメラの位置を占有状態に適合させることも可能であり、例えば収納領域が物体で非常に密集している場合に、適切な照明方向を可変的に実現することができる。
【0078】
特に、データ処理装置は、カメラ装置の少なくとも1台のカメラ及び/又はインキュベータチャンバ内の少なくとも1つの光源を、搬送装置によって所定の方法又は動的に適合された方法で搬送するようにプログラムすることができる。例えばデータ処理装置は、カメラ装置の少なくとも1台のカメラ及び/又はインキュベータチャンバ内の少なくとも1つの光源を搬送装置によって異なる撮像位置に搬送し、特にそこで作成された画像を画像処理アルゴリズムによってそれぞれ評価し、特に所望の画像情報、例えば細胞培養容器の個別特徴、特にバーコードが十分な品質で検出されて、例えばバーコードを一義的に読み取ることができるか否かをチェックするようにプログラムすることができる。データ処理装置は、所望の画像情報が取得されるまで、カメラ及び/又は光源を他の撮像位置に移動するようにプログラムすることができる。
【0079】
カメラ装置及び/又は照明装置を、搬送装置に固定することも可能である。カメラ装置及び/又は照明装置は、カメラ装置及び/又は照明装置をインキュベータチャンバ内で移動して位置決めできる位置決め機構に固定可能であり又は固定されてよい。位置決め機構は可動ロボットアームを含むことができ、好ましくは電気的に、特に制御装置の制御プログラムによって制御可能である。このようにして、異なる撮像状況を1つ又は少数のカメラ装置及び/又は照明装置で連続的に撮像することができる。位置決め機構は、インキュベータチャンバ内に挿入可能な構成要素として構成することができる。この構成要素のエネルギー供給は、インキュベータとのケーブル接続を介して、好ましくは壁の開口部、例えばポートを介して、又は外部電源とのこのようなケーブル接続を介して行うことができる。制御装置は、細胞モニタリングデータに応じて位置決め機構を制御するように設定することができる。
【0080】
インキュベータチャンバの温度調節装置も処理装置として理解され、この装置によりインキュベータチャンバ内の雰囲気は所望の値、特に37℃に制御される。温度調節という用語は、加熱及び冷却によって雰囲気の温度を上げたり下げたりすることをいう。内部の温度は、インキュベータの壁の温度変化によって調整することが好ましい。相応の温度調節装置の温度センサは、インキュベータチャンバの内部及び/又は外部、特にインキュベータチャンバの壁に分散配置されている。
【0081】
インキュベータは、ユーザがデータ処理装置若しくは制御装置にデータを入力することができ、及び/又はユーザに情報を出力することができるユーザインタフェース装置を有することが好ましい。インキュベータ若しくはこのユーザインタフェース装置は、ユーザがインキュベータ又は撮像システムを動作させるための少なくとも1つの動作パラメータを、ユーザがこのユーザインタフェース装置に入力でき、若しくはこのユーザインタフェース装置から情報を取得することができるように設定されていることが好ましい。このようにして、ユーザは単一のユーザインタフェース装置を用いて、インキュベータ及び/又は少なくとも1つの撮像システムに影響を与え、又は制御し、又はそこから情報を取得することができる。特に撮像システムは、インキュベータのユーザインタフェース装置を用いて行われたユーザの問い合わせに応答して、位置データ又は空き収納場所をユーザに表示し、又は位置データから導出された情報(例えば位置変化を引き起こしたユーザのID)、特にまた統計的情報、例えば物体(サンプル)の位置変化の頻度と時刻、及び/又は利用可能な空き収納場所(特にパーセンテージ)、及び/又は特に収納領域を含む又は含まない、少なくとも1つの物体の光学画像を表示するように設定することができる。このことがユーザにとって有利なのは、ユーザはこの情報に基づいて必要な情報を取得することができるからである。その情報は、一方では実験を実施する前に収納場所が利用可能であることを知ることによって、実験をより正確に計画することを可能にする。他方では、サンプルの位置変化は、特に付着性細胞の播種後の最初の数時間は、付着に悪影響を及ぼして、均一な細胞芝が形成されなくなる。本発明により位置変化若しくはその頻度に関する情報を提供することは、ユーザが不均一な細胞成長の原因を決定し、将来の実験で考慮できるようにする。
【0082】
インキュベータの装置制御による処理は、好ましくはプログラム制御処理、即ちプログラムによって制御される処理である。物体のプログラム制御による処理とは、処理の過程が実質的に複数の又は多数のプログラムステップを実施することによって行われるものと理解される。プログラム制御処理は、少なくとも1つのプログラムパラメータ、特にユーザによって選択された少なくとも1つのプログラムパラメータを用いて実行されることが好ましい。ユーザによって選択されたパラメータは、ユーザパラメータとも呼ばれる。プログラム制御処理は、特に制御装置の一部であるデジタルデータ処理装置によって実行されることが好ましい。データ処理装置は、少なくとも1つのプロセッサ、即ちCPUを有し、及び/又は少なくとも1つのマイクロプロセッサを有することができる。特にプログラム制御処理は、好ましくはプログラム、特に制御プログラムの指定条件に従って制御及び/又は実行される。特にプログラム制御処理においては、少なくともユーザ側で必要とするプログラムパラメータの取得後は、実質的にユーザ動作が必要とされない。インキュベータの装置制御による処理は、特に事前に取得された画像データに応じて行うことができる。撮像システムによる撮像は、特にプログラム制御処理、即ち収納領域若しくは物体の撮像である。
【0083】
データ記憶装置は、少なくとも1つのデータメモリを有し、このデータメモリは、特に揮発性又は不揮発性のデータメモリであることが好ましい。インキュベータによって検出又は受信されたデータは、この少なくとも1つのデータメモリに、特に少なくとも1つのデータメモリに保存可能な少なくとも1つのデータベースに保存することができる。このようなデータは、特に画像データ、静止画像データ、ビデオ画像データ、物体データ、合成画像データ、第1の画像データと第2の画像データ、識別データ、ID位置データ、ユーザ識別データ、ユーザ関連ID位置データ、物体識別データ、移動履歴データ、クラス関連ID位置データ、個別ID位置データ、占有状態データの少なくとも1つ又は全てのタイプのデータを含む。データ記憶装置は、好ましくはインキュベータの構成要素であり、特にインキュベータのハウジングに配置されている。しかしながらデータ記憶装置は、インキュベータ若しくはそのデータ処理装置が通信する外部データ処理機器の構成要素であってもよい。
【0084】
プログラムパラメータは、プログラム又はサブプログラム内で所定の方法で設定することができ、プログラム又はサブプログラムの少なくとも1回の実行(呼び出し)に対して有効な変数であると理解される。プログラムパラメータは、例えばユーザによって設定され、プログラム又はサブプログラムを制御し、このプログラムパラメータに応じてデータ出力を引き起こす。特にプログラムパラメータ及び/又はプログラムによって出力されたデータは、装置の制御、少なくとも1つの処理装置による処理の制御影響を及ぼし及び/又は制御する。
【0085】
プログラム又はプログラムコード若しくはコンピュータプログラムコードは、特に実行可能なコンピュータプログラムと理解される。これは、データメモリ又はデータ記憶媒体に保存されている。プログラムは、特に宣言及び命令からなる命令のシーケンスで、デジタルデータ処理装置において特定の機能、タスク又は問題設定を処理及び/又は解決できるようにする。プログラムは、通常、データ処理装置と使用されるソフトウェアとして存在する。プログラムは、特にファームウェアとして、本発明の場合は特にインキュベータの制御装置又はシステムのファームウェアとして存在できる。プログラムは、大抵、データキャリア上に実行可能なプログラムファイルとして、しばしば、いわゆるマシンコードで存在し、実行のためにデータ処理装置のコンピュータのメインメモリにロードされる。プログラムは機械命令、即ちプロセッサ命令のシーケンスとしてコンピュータのプロセッサによって処理され、これにより実行される。「コンピュータプログラム」という用語は、特に実験装置の制御過程で実行可能なコードから生じ得るプログラムのソーステキストとも理解される。
【0086】
ユーザインタフェース装置は、インキュベータの構成要素か、又はモジュールであってよい。ユーザインタフェース装置は、それぞれ好ましくはユーザインタフェース装置に対する制御装置、そのインタフェース装置を介して実験装置、特にインキュベータとのデータ接続を確立するための通信装置、ユーザによるユーザ入力を検出するための入力装置、ユーザに情報を出力するための出力装置、特に表示装置及び/又はディスプレイ、特にタッチセンサ式ディスプレイを有する。ユーザインタフェース装置の制御装置は、好ましくはデータ接続を介してインキュベータの制御装置とデータを交換するように設定されている。
【0087】
物体は、特に細胞培養容器である。細胞培養容器は、特に透明である。細胞培養容器は、プラスチック製、特にPE又はPS製で、細胞の成長面をなす平坦な底板を有する。底板は、細胞の接着を促進するための表面処理がなされてよい。細胞培養容器は、PEキャップ又はガス交換キャップ、特に任意選択でフィルタを含む蓋で閉鎖若しくは装備することができる。細胞培養容器は、特にスタッキング可能である。特にエッペンドルフ社の細胞培養瓶が適している。物体は、細胞培養容器のスタック、特にペトリ皿又は細胞培養瓶のスタックであってよい。
【0088】
データ処理装置は、1つ以上の画像から、物体の外観の(時間に依存する)変化(又は外観)を、特に、分、時間又は日という比較的長い時間間隔で検出するようにプログラムされていることが好ましい。このようにして、細胞培地の色変化、若しくは細胞培養容器内の色、又は細胞培養容器壁の凹凸、例えば滴を検出することができる。このような色、色の変化又は凹凸は、それぞれの細胞培養物の問題点、例えば栄養不足、pH変化、又はカビ、又は他の汚染の可能性を示唆する。データ処理装置は、細胞培養容器の外観若しくは細胞培養容器の外観の変化の検出に応じて、ユーザ又は操作担当者にユーザインタフェースを介して情報を出力し、及び/又はこの検出に関するデータ(特に何が、いつ検出されたか)をデータメモリに保存し、常時呼び出せるようにプログラムされていることが好ましい。
【0089】
画像処理による物体追跡技術は、例えば車両又は人物を追跡するためにドローンや運転支援システムに使用することが一般に知られている。物体追跡(object tracking)は、ビデオ画像データの画像処理若しくは画像評価に基づいている。このような物体追跡方法は、適当なカメラや画像処理アルゴリズムなど、比較的単純な手段で実現できる。物体追跡技術の理論的基礎と、その実用的な実現のための利用は知られている(例えば「物体追跡の基礎」、S.チャラ他、ケンブリッジ大学出版局、2011年)。物体追跡のためのすぐに使える画像処理アルゴリズムも無料で利用でき(OpenCV.org)、十分文書化されている。OpenCV(Open Computer Vision)は、画像処理とコンピュータビジョンのためのアルゴリズムを備えた無料のプログラムライブラリ(BSDライセンス)である。OpenCVプログラムライブラリには、複数の物体をリアルタイムで追跡する機能も含まれている。物体追跡のインキュベータへの応用はこれまで発表されておらず、革新的である。
【0090】
好ましくは物体追跡システムにおいても使用される、画像処理による物体追跡の典型的な動作方式は、画像の時間的シーケンスの評価に基づくものである。物体追跡のための典型的なプログラムコードは、画像中の物体を識別し、その衝突限界を定義し、特にその位置を特定するために、「境界ボックス」を出力フォーマットとして使用する。デジタル画像処理では、デジタル画像中に示された物体をほぼ又は完全に包囲する矩形枠の座標を「境界ボックス」と呼ぶ。物体追跡において境界ボックスを使用することにより、物体追跡は、より効率的になる。なぜなら、このような数値的な補助手段による画像評価は、特に物体の輪郭認識のアルゴリズムと比較して、必要な計算ステップ、したがって必要な計算能力が少なくて済むからである。更に、対応するアルゴリズムは、特殊なグラフィックプロセッサ(GPU)を用いることにより、効率的かつ費用対効果の高い方法で実行することができる。境界ボックスを用いる物体追跡のための適切なプログラミングインタフェース(API)は、OpenCVプログラムライブラリにおいて、BOOSTING、CSRT、GOTURN、KCF、MEDIANFLOW、MOSSE、MIL、TLDという名称で提供されている。これに対応して、OpenCVプログラムライブラリでは、同時に複数の物体を追跡するための「マルチトラッカー」(「multiple object tracking」)が提供されている。この代替として、複数物体追跡(MOT)のための「追跡バイディテクション」原理による深層学習アルゴリズムが知られている。
【0091】
しかしながら、物体追跡のために、画像中の追跡すべき物体の輪郭の決定、特に背景減算による物体(前景)と背景の分離の決定を行うことも可能かつ好適である。
【0092】
物体追跡システムの性能の可能性は、一方で、以下に説明するインキュベータの種々の典型的な使用シナリオにおいて、インキュベータ内の物体を確実に自動識別することに基づいている。他方で、この方策は物体の側に特別な適応を必要としないため効率的である。特に、物体は受動的識別手段(コード、文字列)又は能動的識別手段(例えば送信機)を含む必要がない。むしろ、通常の物体(細胞培養容器、装置など)を、特にメーカーや外見に関係なくインキュベータと共に使用することができる。特に、本発明によるインキュベータは、完全に同一の外観をした物体を追跡によって区別することができる。
【0093】
インキュベータ内の占有状態が変化する場合に考えられるシナリオは、以下のとおりである。
I.新規物体を入れる。
II.物体を取り出す。
III.ドアを開けて物体を移動するだけで、取り出したり新たに入れたりしない。
【0094】
副次的条件
i)物体を移動する。
ii)物体を移動しない。
iii)複数の物体を入れる/取り出す(順番)。
【0095】
前提:全ての細胞培養容器は、外見上同じに見える。本発明の開発の根底にある問いは、特にどのような画像ベースの方法が考えられるか、特にインキュベータの一般的な使用シナリオにおいて物体の識別を可能にするのに静止画像で十分かということであった。
【0096】
シナリオI(新規物体をインキュベータチャンバに入れる)では、最初に、インキュベータチャンバのドアを開ける前に、インキュベータ内に設置されたカメラで撮像された収納領域の現在の静止画像には、まだ新規物体は写っていないと仮定する。
【0097】
既存物体(既に収納領域に配置されて位置が特定されている物体)を移動することなく新規物体をインキュベータチャンバに入れると(ケースI.ii))、新規物体は次の(インキュベータドアを閉メータ後の)静止画像で(問題なく一義的に)識別できる。ケースI.ii)では、物体追跡は必要ない。II.ii)についても同様である。物体を取り出すケースでは、ドアを開ける前と後の静止画像の評価により、その識別が一義的に可能である。
【0098】
新規物体を入れ、その際に既存物体を移動すると(ケースI.i))、この新規物体を次の静止画像で一義的に識別できない。既に登録されている既存物体に関する位置情報は失われる。同じことは、物体を取り出し、その際に既存物体を移動する場合(ケースII.i))も該当する。移動する場合(条件i))に、物体追跡が用いられる。
【0099】
条件i)で、即ち既存物体を移動することなく複数の物体を入れると(ケースIII)、新規物体は前後の静止画像によって容易に識別できるが、入れる順番に関する情報は失われる。この情報を得ようとしたら、物体追跡が必要である。同様のことは、ケースi)+iii)で複数の物体を取り出す場合にも該当する。
【0100】
インキュベータの運用において既存物体を移動することは例外ではなく普通のことであるため、この場合に収納領域の前後静止画像の評価だけでは不十分である。
【0101】
インキュベータ内の物体追跡システムを開発する際に問われるのは、特に、物体は、いつ識別されるか、即ち、どの時刻に、若しくは、どのようなイベントで、物体に識別データが割り当てられるかということである。ほとんどの応用シナリオでは(場合によって物体を入れる順番を把握することが重要であるiii)+iのようなケースを除く)、新規物体を入れて、その際に既存物体を移動した場合には、これらの識別データを収集すれば十分である。なぜなら、既に登録されている既存物体の移動は、物体追跡の措置の下で行われるからである。次の静止画像において、即ち特にインキュベータドアが閉じているときに、静止画像を用いて新規物体の登録を行うことができる。順番の把握が望まれる場合は、物体が初めてカメラの視界領域に進入する瞬間に、即ちカメラによって撮像された画像(ここではビデオ画像である初期画像)に初めて現れる瞬間に、物体が登録され、即ち物体にID番号が割り当てられ、この物体がその最終位置まで追跡され、その際に既存物体の万一の移動やそれらの取出しも追跡されることが好ましい。
【0102】
別の実用的なシナリオでは、収納領域(複数の収納領域も)が、1つ以上の物体(既存物体)によって占有され、これらが最初の初期画像(この場合は例えば静止画像)に基づいて登録されることが前提とされる。ここで追跡する必要があるのは、これらの既存物体の最終的な移動のみである。新たに入れる物体の動きは、入れる過程で追跡する必要はない。なぜなら、それらの登録は次の静止画像で再び行うことができるからである。したがって、ビデオデータにこれらの新規物体が対応して存在していることは、無視できる。このシナリオでは、ドアを開けている間に複数の物体を入れる順番に関する情報は失われるが、この情報は必ずしも必要なものではない。
【0103】
したがって、本発明は好適な実施例において、種々の又は全ての状況で必要に応じて物体の正確な位置特定を保証するために、物体追跡を実施することを提案する。
【0104】
データ処理装置は、特に庫内に導入された少なくとも1つの物体に識別データを割り当てるようにプログラムされている。これは、特にカメラの画像データ(静止画像又はビデオデータ)において新規物体が検出されることを意味する。特に、新規物体は、外からカメラのカメラ視界領域内に移動したときに検出される。物体が検出されると、この物体に一方では識別データを割り当て、他方では位置データを割り当てることができる。位置データ、特に物体の初期位置と最終位置は、特に内部座標系に関して決定され、この内部座標系に基づいて少なくとも1つの収納領域の位置も、ひいては少なくとも1つの収納領域に対する少なくとも1つの物体の位置も定義される。この位置情報は、特に少なくとも1つの収納領域若しくはインキュベータチャンバ内の少なくとも1つの物体の位置を、ディスプレイ上でユーザにグラフィックに表示する場合に重要である。
【0105】
識別データは、識別番号であるか、又は識別番号を含むことができ、及び/又は任意の記号若しくは情報からなる識別コードを含んでもよい。これらの識別データは、特にインキュベータチャンバ内に新たに入れられた物体を他の既存物体の識別データに対して一義的に区別するのに適している限り、予め決められても、ランダムに生成されても、ユーザによって指定されてもよい。識別データは、予め決めておいて、単に選択することもできる。このケースは、識別データの新規作成と同様に、「割り当てる」という用語によって包含される。
【0106】
データ処理装置は、特に収納領域の初期画像から少なくとも1つの物体の初期位置を決定するようにプログラムされている。初期画像は、カメラの静止画像モードで撮像される静止画像であることが好ましい。それはビデオデータ、特にビデオフレームから得られた単一画像であってもよい。データ処理装置は、特に初期画像において包絡線図、好ましくは矩形又は包絡体、又は特に物体の境界ボックス、又は物体の外輪郭を確定し、及び特に物体を包絡線図、特に境界ボックス又は外輪郭として物体を定義するようにプログラムされていることが好ましい。
【0107】
データ処理装置は、特にビデオデータの評価によって、少なくとも1つの物体の位置変化を決定するようにプログラムされている。データ処理装置は、特に初期画像で境界ボックスによって定義された物体の移動を追跡するようにプログラムされている。データ処理装置は、特に初期画像で境界ボックスによって定義された、物体を包含する初期領域の移動を認識し、そのためにこの画像領域の位置変化をフレームごとに決定するようにプログラムされている。この場合、特に物体の移動によって位置が変化する画像領域を決定するために、境界ボックスの追跡を使用できる。ビデオデータは、特にビデオを特徴付ける個々の画像(「フレーム」、ビデオを表示する場合に単位時間当たり特定の数、即ち「フレームレート」で表示される)を再構成できる情報を含んでいる。非圧縮ビデオデータの場合、ビデオデータはフレームデータの完全なシーケンスを含むこともでき、1「セット」の画像データはそれぞれ単一画像を表す。圧縮画像データの場合、場合によりカメラ画像のピクセルの時間的変化も/時間的変化のみ撮像される。
【0108】
データ処理装置は、特に初期画像から収納領域内の物体の初期位置を決定するようにプログラムされている。初期位置は、特に画像シリーズの最初のフレームでそれまで動いていなかった物体が、後続フレームで物体の位置の変化を示すことによって決定することができる。物体が先行フレームに対して位置変化を示す最初のフレームは、初期フレームとして定義することができる。物体の移動は時刻T1に始まり、時刻T2に終わるので、時刻T1以前に撮像された画像(静止画像又はビデオ画像、画像を重ね合わせて得られる画像も含む)を、少なくとも1つの物体の初期位置を確定する初期画像として用いることができる。
【0109】
データ処理装置は、特に位置変化から収納領域の最終画像における少なくとも1つの物体の最終位置を決定するようにプログラムされている。最終位置は、特にフレームごとの物体の位置変化がもはや特定されなくなることによって決定できる。物体が先行フレームに対してもはや位置変化を示さない最初のフレームを最終画像と定義することができる。物体の移動は時刻T1で始まり、時刻T2で終わるため、時刻T2以降に撮像される画像(静止画像又はビデオ画像、画像を重ね合わせて得られる画像も含む)を、少なくとも1つの物体の最終位置を確定する最終画像として用いることができる。最終位置は、特にインキュベータドアの閉鎖がドアセンサによって検出される時刻によって決定することができる。最終位置は、特に画像領域に進入するユーザの腕又は手がもはや検出されなくなることによって決定できる。例えば画像は、画像の境界領域に位置する、例えば帯状の部分が、インキュベータチャンバ若しくはインキュベータの基準部分が完全に見える基準状態に対応しているか否かについて評価することができる。対応していない場合は、ユーザがまだインキュベータ内で操作しており、物体又は複数の物体はまだに動いていると結論付けることができ、特にビデオ画像の取得及び評価が継続される。物体の最終位置は、物体が先行の位置変化の後でもはや位置変化を示さない位置と理解することができ、したがって物体の移動の終了によって決定することができる。代替的又は追加的に、物体の最終位置は、インキュベータドアの閉鎖がドアセンサによって検出されたときに物体が占める位置が最終位置であると定義することができる。その結果、ほとんどの場合に最終位置は同じになる。
【0110】
データ処理装置は、センサがインキュベータで行われている活動を検出したときに、カメラによって初期画像及び/又はビデオデータの取得を開始するようにプログラムされていることが好ましい。センサは、インキュベータの外部に位置する検出領域における動きを検出するモーションセンサであってよい。センサは、ユーザが行ったインキュベータ、特にインキュベータのドアグリップの接触を検出するタッチセンサであってよい。センサは、特にインキュベータドア、特にインキュベータの外側ドアの開放を検出するドア開放センサであってよい。センサは画像評価によってカメラの視界領域内の動き及び/又は人を検出する、インキュベータの外部カメラであってよい。センサは、例えば電界の変化を検出することにより、人がインキュベータに近づいていることを検出する近接センサであってよい。
【0111】
データ処理装置は、センサがインキュベータで行われている活動を検出したときに、最終画像の取得を開始し、及び/又はビデオデータの取得を終了するようにプログラムされていることが好ましい。センサは、特にインキュベータドア、特にインキュベータの外側ドアの閉鎖を検出するドア開放センサであってよい。センサは画像評価によってカメラの視界領域内の動きの終了及び/又は人の消滅を検出する、インキュベータの外部カメラであってよい。センサは、例えば電界の変化を検出することによりインキュベータへの人の接近を検出する近接センサであってよい。センサは、インキュベータの外部カメラであってもよく、画像評価によって、カメラの視野内の動きの終了及び/又は人の消滅を検出するものである。センサは、例えば電界の変化を検出することによって、人がインキュベータから遠ざかっていることを検出する近接センサであってよい。
【0112】
データ処理装置は、特にインキュベータドアの開放がドアセンサによって検出されることに誘発されて、カメラによるビデオデータの取得を開始するようにプログラムされている。代替的又は追加的に、初期イベントセンサ、特にモーションセンサ、又は近接センサ、又は光センサ/受光器(例えばライトバリア)、又はマイクロフォン、又は加速度センサをインキュベータドアやインキュベータ内に配置することができ、これによって物体がインキュベータチャンバに近づいていることや別の初期イベントを検出することができる。カメラ及びビデオデータの開始の誘因は、インキュベータドアロックにコードを入力することであってもよく、これは上記のセンサの1の測定結果を使用せずにデータ処理装置によって実行することができる。データ処理装置は、このようなセンサのデータに基づいてビデオデータの取得を開始するようにプログラムすることができる。データ処理装置は、ビデオデータが存在すること及び/又は静止画像が存在することで、ビデオデータによって利用可能な画像(フレーム)又は静止画像中の新規物体の検索を開始するようにプログラムすることができる。代替的に、インキュベータでユーザが確認されたら直ちに、又は他の予め指定されたイベントで、ビデオデータの取得を開始できる。ビデオデータを常時取得することも可能である。データ処理装置は、特に最終画像の取得、若しくはカメラの視界領域視内に手/腕がないことが登録されて、又は上記のセンサ(ドアセンサ、モーションセンサなど)の1つの結果に基づいて、ビデオ画像データの取得を終了するようにプログラムされている。
【0113】
データ処理装置は、特に収納領域内の少なくとも1つの物体にそれぞれ識別データを割り当て、少なくとも1つの物体の各々の位置をそれぞれID位置データとして決定してデータメモリに保存するようにプログラムされている。データ処理装置は、特に収納領域内の少なくとも1つの物体の最終位置をID位置データとして、少なくとも1つの物体の識別データに応じてデータメモリに保存するようにプログラムされている。このステップによりインキュベータは「物体」とその位置を「知る」ことになる。このとき、インキュベータはこのデータを他のデータと共に一緒にユーザに出力し、特にインキュベータのディスプレイに表示することができるようになる。インキュベータはこれらのデータセットを、物体の所有者(所有者の定義:物体をインキュベータチャンバに入れたユーザ)又は物体のユーザ(例えば他のユーザの既存物体を移動したユーザ)に関するデータと共に、物体の識別データに応じて保存及び収集できる。位置変化が検出された根拠となる識別データは、ID位置データとして保存された識別データと同一である必要はなく、重要なのは、保存された識別データが少なくとも1つの物体を他の物体若しくは既存物体から一義的に区別するのに適していることである。したがって、IDコードは理論的には画像処理中に変更することができる。
【0114】
物体への所有者の割り当ては、様々な方法で行うことができる。データ処理装置は、インキュベータに物体を入れるユーザを登録又は識別し、このユーザにユーザ識別コードを割り当て、物体のユーザ関連ID位置データを保存するようにプログラムされていることが好ましい。登録のために、特にインキュベータの外部カメラ、網膜スキャナ又は指紋センサによって、ユーザの生体認識、特に顔認識、言語認識、及び/又は音声認識を行うことができる。登録された生体認識データ、特にユーザの顔認識データは、インキュベータのデータ記憶装置又は外部データ記憶装置に保存できる。ユーザの識別は、取得した生体認識データを既に登録された生体認識データと照合することによって行うことができる。生体認識の代替として、ユーザは、物体登録を実行する前、実行中、又は実行後、若しくは追跡された物体の最終位置を決定した後に、ユーザインタフェース装置を介してユーザ識別データを入力することも可能になる。ユーザインタフェース装置は、キーボード、タッチスクリーン、インキュベータ又は外部機器の一部であってよく、又はユーザ名/ユーザ標識を言語入力によって入力することができる。
【0115】
物体追跡の利点は、基本的に追跡する物体の個別特徴又はクラス特徴を知らなくても実行できることである。しかしながら、物体追跡は物体認識(及び物体再認識)及び/又は物体クラス認識若しくはクラス再認識の方法と組み合わせることもできる。これは、物体追跡システムによって複数の物体を並行して追跡する場合に特に有用である。
【0116】
物体認識は、特に個別物体認識及び/又は物体クラス認識として構成することができる。物体認識技術の理論的基礎とその実用化のための実装は知られている(例えば「物体検出及び認識における深層学習」X.Jiangら、シュプリンガーシンガポール、2019年)。画像中の物体認識のためのアルゴリズムは、例えばOpenCVの一部として一般に知られており利用可能である(例えばOpenCV3.3、ディープニューラルネットワーク(dnn)モジュール)。
【0117】
個別物体認識は、個々の物体の特徴(物体個別特徴)の認識に基づいており、それらの特徴によって個別物体を再認識し、他の個別物体に対して区別することが可能である。例えば細胞培養容器、例えば使い捨て製品は、バーコードやQRコード(登録商標)などの個別特徴を後から付けることができる。しかしながら、細胞培養容器は、区別を可能にするあらゆる特徴、例えば文字列、異なる内容物、容器表面のマイクロスクラッチパターンなどを介して識別することも可能である。
【0118】
物体クラス認識は、物体クラス特徴の知識に基づいており、それらの特徴を物体検査中に照合して、物体にクラスを割り当てる。例えば物体クラス認識によって、物体が特定のタイプの細胞培養瓶、特定のタイプのペトリ皿、又は特定のタイプのマイクロタイタープレートであるかを認識することができ、場合によっては別のクラス特徴、例えば製造業者、製造年、仕様などを考慮に入れる。
【0119】
インキュベータは、物体認識システムを有することが好ましい。物体追跡システムは、好ましくは物体認識に追加して設定されている。
【0120】
個別物体認識の場合、物体認識システム又は物体追跡システムのデータ処理装置は、静止画像、初期画像、ビデオデータ及び/又は最終画像から少なくとも1つの物体の個別特徴を認識し、b)これらの物体の個別特徴を個別物体データの形で、特に識別データに応じて保存するようにプログラムされていることが好ましい。データ処理装置は、好ましくは初期画像、ビデオデータ及び/又は最終画像から少なくとも1つの物体の物体個別特徴を抽出し、これらの物体個別特徴を個別物体データベースと照合し、個別物体データベースの物体個別特徴が個別物体標識と関連付けられている場合は、少なくとも1つの物体の物体個別特徴を識別し、個別物体データベース内の物体個別特徴が個別物体標識と関連付けられていない場合は、少なくとも1つの物体に個別物体標識を割り当てて個別物体データベースに保存し、及び/又は認識した個別物体標識を少なくとも1つの物体のID位置データに割り当てて個別関連ID位置データとして保存する。個別物体標識は、好ましくはその識別データと異なるが、物体個別特徴は好ましくはその識別データと同じであってもよい。
【0121】
物体クラス認識の場合、物体認識システム又は物体追跡システムのデータ処理装置は、a)静止画像、初期画像、ビデオデータ及び/又は最終画像に少なくとも1つの物体のクラス特徴を認識し、b)これらの物体のクラス特徴を物体クラスデータの形で、特に識別データに応じて保存するようにプログラムされていることが好ましい。データ処理装置は、静止画像、初期画像、ビデオデータ及び/又は最終画像に少なくとも1つの物体の物体クラス特徴を認識し、これらの物体クラス特徴を物体クラスデータベース(特に物体クラスと物体クラス特徴との間の予め知られた相関関係を含む)と照合し、少なくとも1つの物体の物体クラスを認識し、特に認識した物体クラスを少なくとも1つの物体のID位置データに物体クラスデータとして割り当て、特にクラス関連ID位置データとして保存するようにプログラムされていることが好ましい。
【0122】
インキュベータは、インキュベータを使用するユーザがユーザ識別データの形で識別可能なユーザ識別装置を備えていることが好ましい。インキュベータのデータ処理装置は、インキュベータを使用するユーザをユーザ識別装置によって識別し、ユーザにユーザ識別データを割り当て、これらの識別データ及び/又はID位置データを、ユーザ識別データに応じてユーザ関連識別データ及び/又はユーザ関連ID位置データとしてデータ記憶装置に保存するようにプログラムされていることが好ましい。
【0123】
ユーザ識別装置は外部カメラを備えていることが好ましく、ユーザ識別装置は、好ましくは外部カメラによって顔認識を行うように設定されており、及び/又はデータ処理装置はこの外部カメラによって顔認識を行い、それによってユーザが識別されるようにプログラムされている。好ましくはデータメモリに保存されたユーザデータベースが設けられており、データメモリは、インキュベータ、ユーザ識別装置又は物体追跡システムの一部であってよく、或いはユーザ識別装置若しくはデータ処理装置と、例えばイントラネット又はインターネットを介してデータ交換接続することができる。画像中の顔認識のアルゴリズムは一般に知られており、例えばOpenCVの一部(「FaceRecognizer class」)として利用可能である。
【0124】
ユーザデータベースは、ユーザ識別データとユーザ特徴データの相関関係を含むことができ、決定された又は読み取られたユーザ特徴データに基づいてユーザ又はユーザのユーザ識別コード(ユーザ識別データ)を決定することができる。ユーザ特徴データは、ユーザの顔の特徴に関する情報、又は他の生体データ、例えば指紋データ又は音声認識データを含むことができる。ユーザデータベースは、ユーザ識別データとユーザ標識の相関関係を含むことができ、ユーザ標識はユーザの個人識別コード、例えば複数桁の文字列であってよく、これをユーザインタフェース装置のキーボードで入力するとユーザが識別される。
【0125】
外部カメラは、特にインキュベータドア、特にインキュベータの外側ドアに、その上に又はその横に配置若しくは固定することができる。外部カメラは、好ましくはインキュベータ又はインキュベータドアの固定された構成要素である。しかしながら外部カメラは、信号接続を介して、特に有線又は無線であってよいデータ交換接続を介して、ユーザ識別装置又はデータ処理装置に接続することもできる。例えばフレキシブルケーブルを介して外部カメラをインキュベータ若しくはそのユーザ識別装置若しくはデータ処理装置に接続して、ユーザがカメラをインキュベータ上に自由に配置できるようにすることが可能である。
【0126】
ユーザ識別装置は、ユーザ識別データを読み取ることができるユーザインタフェース装置を有することが好ましい。ユーザインタフェース装置は、キーボード、及び/又はタッチスクリーン、及び/又は言語入力用若しくは言語認識によるユーザ識別を実現するためのマイクロフォンを含むことができる。ユーザインタフェース装置は、外部データ処理機器(以下「外部機器」ともいう)とデータを交換するように設定することができる。外部機器は、PC、スマートフォン、タブレットコンピュータ、又はユーザインタフェースを有する他の携帯コンピュータであってよい。
【0127】
外部機器は、ユーザを識別及び/又は認証する手段を有することができる。特に現在入手可能なスマートフォンは、ユーザ認証、特に顔認識のための様々な手段を備えている。外部機器は、ユーザを識別及び/又は認証し、特にこのプロセスの結果を、ユーザインタフェース装置を介してインキュベータのユーザ識別装置に伝送するようにプログラムされたソフトウェア、例えばアプリを有することが好ましい。外部機器はまた、顔認識を実施できる固有のカメラ、又は指紋センサ、又はユーザ識別及び認証のための他のハードウェアを有することが多いため、インキュベータをインキュベータの外部機器と接続する場合に必要なハードウェアコンポーネントを不要にすることができる。
【0128】
インキュベータのユーザ識別装置は、インキュベータの制御ソフトウェアの構成要素としてプログラムすることができる。インキュベータは、好ましくは特にユーザ識別装置の全部又は一部の機能を含むように、特に外部機器とのデータの交換を制御するようにプログラムされたデータ処理装置を有する制御装置を備えていてもよい。
【0129】
ユーザ識別装置は、ユーザ識別データを選択できるユーザインタフェース装置を有することが好ましい。このために、ユーザ識別装置は特にディスプレイ又はタッチスクリーンを有することができ、これを介して可能なユーザのリストを、例えばユーザの名前又は画像を指定することによって表示することができる。次に、キー、キーボード、タッチパッド、タッチスクリーンなどの入力手段を用意し、ユーザがリストから選択することができる。
【0130】
ユーザ識別装置は、上記のユーザ識別データの読み取り又は上記のリストからの選択がパスワードで保護されていることによって、認証に成功したとき初めてユーザが識別されたとみなされるように、ユーザ認証を実行するようにプログラムすることができる。
【0131】
ユーザ識別装置は、ユーザを識別するコードを読み取るための読取装置を備えていることが好ましく、この読取装置は特にRFID読取装置、バーコード読取装置、又はQRコード(登録商標)読取装置である。
【0132】
ユーザ識別装置若しくはそのデータ処理装置は、ロックされたインキュベータドアをユーザ識別に応じてロック解除及び/又はロックするように、特にユーザが正常に識別されたときにロックされたインキュベータドアをロック解除するようにプログラムすることができる。この場合、これはユーザがインキュベータにアクセスする権限も与えられていることを意味する。しかしながら、追加のアクセス権限者リストが存在し、それに基づいてインキュベータは、識別されたユーザがアクセス権限を有するか、又は場合によって識別されたユーザがどのような種類のアクセス権限を有するかを決定する。アクセス権限は、例えば特定の時間、特に特定の曜日、時刻、又は権限付与時間帯に制限することができる。インキュベータが複数のインキュベータドアを有する場合、アクセス権限は、ユーザがこれらのインキュベータドアのうち所定の選択に対してのみアクセス権限を有するように規定することができる。
【0133】
インキュベータは、チャンバ開口部を閉じるための正確に1つ又は複数のインキュベータドアを有することが好ましい。インキュベータドアは閉じた状態で、特にインキュベータのインキュベータチャンバの熱絶縁体として機能するインキュベータハウジングの一部を形成する。インキュベータドアはその外側にユーザインタフェース装置、特にディスプレイを備えることができる。インキュベータ若しくはユーザインタフェース装置のデータ処理装置は、インキュベータのカメラによって撮像されたインキュベータの少なくとも1つの収納領域の画像を表示するようにプログラムすることができる。
【0134】
インキュベータは、インキュベータドアの開放若しくは閉鎖を検出するためのドアセンサを有することが好ましい。インキュベータは、インキュベータに近づく人を検出するためのモーションセンサ又は近接センサを有することが好ましい。データ処理装置は、インキュベータの内部の監視、特にビデオデータ/静止画像データの生成を、インキュベータドアの開放及び/又は人の接近の検出に応じて開始するようにプログラムされていることが好ましい。データ処理装置は、インキュベータの内部の監視、特にビデオデータ/静止画像データの生成を、特にユーザ識別装置によって識別されたユーザによるドア開放の検出に応じて開始するようにプログラムされていることが好ましい。データ処理装置は、インキュベータの内部の監視、特にビデオデータの生成を、インキュベータドアの閉鎖の検出に応じて終了するようにプログラムされていることが好ましい。データ処理装置は、ユーザ識別装置及び物体追跡装置からの情報によって、どのユーザによってどの物体が庫内で移動されたかを確認し、このユーザのユーザ識別データをこの物体の物体識別データと共にデータメモリに保存するようにプログラムされていることが好ましい。
【0135】
データ処理装置は、初期画像、ビデオデータ及び/又は最終画像からインキュベータチャンバ内の少なくとも1つの物体の移動経路を決定して、移動履歴データの形でデータメモリに保存し、特に時間に依存して保存するようにプログラムされていることが好ましい。データ処理装置は、初期画像、ビデオデータ及び/又は最終画像からインキュベータチャンバ内の少なくとも1つの物体の移動履歴を決定して、移動履歴データの形でデータメモリに保存し、特に時間に依存して保存するようにプログラムされていることが好ましく、好ましくはドアセンサによって決定されたインキュベータドアのドア開口部の状態(開/閉)の変化の回数及び/又は時刻に関する情報を含む。移動経路は、好ましくは物体の保存された位置データを含み、これらの位置データは物体の移動経路を、特に初期画像と最終画像との間で、特に物体の動かない又は動く初期位置と、特に物体の動かない最終位置との間でマーキングする。移動履歴データは、好ましくは時間に依存して保存された位置データ若しくは移動経路を、好ましくは少なくとも1つの時間区分内又はこの物体がインキュベータ内に滞在している時間全体において含む。移動履歴データは、位置変更を引き起こすユーザに関する情報もユーザ識別データの形で含むことができる。これは、特に貴重なサンプルを含む物体の場合に有利である。
【0136】
インキュベータは、ディスプレイ(=スクリーン)を有することが好ましい。スクリーンは、好ましくはインキュベータ、特にインキュベータドアの固定された構成要素である。しかしながらスクリーンは、インキュベータから離して配置することもでき、特にインキュベータのデータ処理装置とデータ交換接続することができる外部機器の構成要素であってよい。
【0137】
データ処理装置は、インキュベータチャンバの内部、特に少なくとも1つの収納領域のグラフィック表現をスクリーン上に表示するようにプログラムされていることが好ましい。グラフィック表現は、インキュベータの1つ以上の既存物体を表示できる収納領域の写真を含むことができる。収納領域は、特にインキュベータ内の収納プレート又はその所定の範囲であってよい。写真は、カメラで撮像された画像を表示することができ、これは場合により後処理されていることがある。この後処理は、好ましくはカメラで撮像された歪みのある画像を補正することを含む。このような後処理のためのアルゴリズムは一般に知られており、無料で利用できる(例えば、OpenCV、「全方位カメラキャリブレーション」)。歪みは特に光学的な原因で発生し、広角光学系若しくは魚眼光学系の使用に起因することがある。
【0138】
グラフィック表現は、特にカメラによって撮像された画像又は画像部分の抽象化された表現であってよい。例えばグラフィック表現は、鳥瞰(又は別の視点)から示される抽象化された収納領域、特に長方形のグラフィック表現又は立方体の透視表現であってよい。既存物体も同様に抽象化された形で、例えば長方形又は立方体のグラフィック画像物体として表現することができる。このような表現の目的は、特にインキュベータ若しくは収納領域における1つ以上の物体の位置をユーザに知らせることである。これによってユーザは1つ以上の所望の物体に迅速にアクセスでき、インキュベータドアが開いている時間を最小化することができる。物体のスタックに含まれた個々の物体の区別を可能にする場合には、スタックの個々の物体をグラフィックに強調できるように、鳥瞰とは異なる視点、例えば横方向の視点からのグラフィック表現が有効である。
【0139】
データ処理装置は、物体位置データによって識別された物体が収納領域若しくはインキュベータチャンバの内部のどこに位置しているかをグラフィックに表示するように、或いは庫内に置かれた全ての物体がどこに配置しているかをグラフィックに表示するようにプログラムされていることが好ましい。
【0140】
データ処理装置は、少なくとも1つの条件パラメータに応じて1つ以上の物体をディスプレイでグラフィックに強調するようにプログラムされていることが好ましい。条件パラメータは、ユーザ識別データを表すことができる。強調することは、抽象化された表現においても、カメラによって撮像された収納領域の画像又は画像部分をインキュベータのディスプレイに写真で表示する場合も可能である。
【0141】
データ処理装置は、ユーザに所有物として割り当てられた1つ以上の物体を、ユーザ(個々のユーザ、ユーザグループ、又は複数のユーザ)のユーザ識別データに応じて、即ち例えばユーザ関連ID位置データがこのユーザのユーザ識別データを含むことによって、ディスプレイ上でグラフィックに強調するようにプログラムされていることが好ましい。所有者は、物体を管理し、ほとんどの場合に自分で又は補助者の助けを借りてインキュベータチャンバに入れた者である。データ処理装置は、所定のユーザ識別データに基づいて、ユーザ関連物体位置データによってこのユーザ識別データに関連付けられた物体がどこに配置されているかを決定し、特にこれらの物体をグラフィックに強調するようにプログラムされていることが好ましい。
【0142】
条件パラメータは、時間又は時刻、例えば物体が既にインキュベータチャンバ内に配置されていた時間に関する情報も含むことができる。これにより、ユーザは、1つ以上の物体が既にどのくらい長くインキュベータチャンバ内に収納されているか、場合によってはそれらの所有者が入れたたまま忘れてしまったかということについて素早く見通しを得ることができる。或いは、インキュベータのセンサによって検出されたイベントに応じて、又はインキュベータ若しくは外部機器に保存できるスケジュールに応じて、ユーザ若しくはラボスタッフが注意を払う必要がある1つ以上の物体をグラフィックに強調することができる。
【0143】
或いは、条件パラメータは、物体クラス認識を実施する場合には、特定の物体クラスに関する情報を含むことができる。したがって、例えばインキュベータ庫内における全てのペトリ皿(あるいは細胞培養瓶)の置き場所を強調するために、同じ物体クラス(又はそれと異なる物体クラス)の1つ以上の物体をグラフィックに強調することができる。
【0144】
或いは、条件パラメータは、個別物体認識を実施する場合には、特定の個別物体に関する情報を含むことができる。このようにして、例えばインキュベータが個別特徴、例えばバーコード、QRコード(登録商標)、個々の文字列又は個々の物体の写真を入力する手段を有することにより、個別特徴に基づく物体検索を実施することができる。したがって個々の物体をグラフィックに強調して、容易に見つけることができる。
【0145】
データ処理装置は、インキュベータチャンバの内部、特に少なくとも1つの収納領域のグラフィック表現をスクリーンに表示し、特にインキュベータ内で利用可能な空き収納場所をグラフィックに表示又は強調するようにプログラムされていることが好ましい。例えば収納領域を抽象化して示し、空いている収納位置(又は複数の利用可能な空き収納場所)をグラフィックに強調することができ、そのために対応する領域を例えば緑色又は白色、或いは時間的に変化する(点滅する)、背景との対照色で表示する。このようにすると、ユーザは可能な空き収納場所を探し、又は既存物体を移動させて空き収納場所を作ることに時間を費やす必要がない。
【0146】
更に、データ処理装置は駐車場係員の機能と同様に、インキュベータチャンバの内部又は少なくとも1つの収納領域の占有を計画し、特にこのようにして利用可能な収納場所の使用を最適化するようにプログラムすることができる。このために、データ処理装置は、1つ以上の既存物体と新たに入れられる物体との間の所定の距離を考慮し、特に空き収納場所をそれぞれ利用可能及び/又は利用不能として強調表示することによってユーザに提示するようにプログラムすることができる。これらの例に従い、インキュベータは、インキュベータの内部を占有するためのコンピュータ/ソフトウェアに実装された計画プログラムを有することができる。この計画プログラムは、特に庫内における少なくとも1つの物体(既存物体)の位置及び/又は特に利用可能な空き収納場所、場合によっては少なくとも1つの既存物体が新たに入れられた時刻、或いは今後別の物体をインキュベータに入れる予定の時刻も考慮する。このような時刻は、特にインキュベータが実験室情報システム(LIS)又は他の(実験室)データ交換ネットワークに接続されていれば知ることができる。インキュベータは、好ましくは時間発生器、時計、又はタイマを有する。
【0147】
インキュベータのデータ処理装置が、インキュベータチャンバの内部の占有状態を決定するようにプログラムされており、及び/又は、好ましくは以下のステップの1つ以上を即ち、庫内に配置された少なくとも1つの物体のID位置データに応じて、インキュベータチャンバの内部の占有状態を決定するステップと、庫内に配置された少なくとも1つの物体のクラス関連ID位置データに応じてインキュベータチャンバの内部の占有状態を決定するステップと、庫内に配置された少なくとも1つの物体の個別関連ID位置データに応じてインキュベータチャンバの内部の占有状態を決定するステップと、を実行するようにプログラムされていることが可能であり、特に好適である。
【0148】
庫内の占有状態は、庫内で少なくとも1つの物体によって占められた容積を表す情報、及び/又は庫内で少なくとも1つの物体によって占められていない容積、即ち空き容積を表す情報、及び/又はインキュベータチャンバの内部において少なくとも1つの収納領域若しくは利用可能な全収納領域で少なくとも1つの物体によって占められた収納面積を表す情報、及び/又はインキュベータチャンバの内部において少なくとも1つの収納領域若しくは利用可能な全収納領域で少なくとも1つの物体によって占められていない、即ち空いている収納面積を表す情報によって定義できる。これらのデータは、それぞれ全庫内容積若しくは全収納面積を基準とすることができ、これらの情報は、例えば庫内の全容積に対する利用できない(占有された)庫内容積又は空いている(占有されていない)庫内容積の比を含むことができ、或いは庫内における全収納面積に対する利用できない(占有された)収納面積又は空いている(占有されていない)収納面積の比を含むことができる。
【0149】
占有状態に関する情報を含む占有状態データは、ID位置データ、クラス関連ID位置データ及び/又は個別関連ID位置データも含むことができる。このようにして占有の位置分解の指定、即ち庫内における占有の位置特定若しくは庫内における物体の密度分布に関する指定が可能となる。
【0150】
インキュベータのデータ処理装置が、インキュベータの占有状態に関する情報を占有状態データの形でデータ記憶装置に記憶し、特に外部のデータ処理装置、特に実験装置、PC、又は携帯コンピュータ、特にタブレットコンピュータ又はスマートフォンに転送するようにプログラムされていることが可能であり、特に好適である。
【0151】
インキュベータのデータ処理装置が、特にデータメモリから取り出すことができる占有状態データに応じて、インキュベータの占有状態に関する情報をインキュベータ又は外部のデータ処理装置のスクリーンに表示するようにプログラムされていることが可能であり、特に好適である。外部データ処理機器は、実験装置、PC、携帯コンピュータ、特にタブレットコンピュータ又はスマートフォンの一部であってよい。
【0152】
本発明の実施例に基づく試験シリーズにおいて、インキュベータドアを開けた後に温度制御の結果として生じるインキュベータチャンバ内の温度の経時的変化は、インキュベータチャンバの占有状態に依存することが確認された。チャンバ内部のより大きな容積が既存物体によって占められている場合、チャンバ内部と物体によって占められた占有容積の差から生じるチャンバ内部の空き容積は小さくなる。このような状況では、庫内容積全体を制御するように設計された温度制御は、場合によっては別の望ましくない結果を招くであろう。急激なオーバーシュートを生じることがあり、これは望ましくないが、例えば37℃の目標温度の回復が加速されて回復時間が短くなる可能性はある。目標温度より低い温度の複数の新規物体を新たに入れると回復時間の遅延が生じる可能性があるが、新たに入れた、より低温の物体に関する知識を用いて、同様に温度制御を適合させることができる。インキュベータチャンバの内部における温度の温度制御は、制御パラメータに依存する。
【0153】
インキュベータの電子制御装置は、インキュベータチャンバの温度調節のために配置されているインキュベータの少なくとも1つの温度調節装置が、温度制御中に時間tに依存して電力Ptemp(t)で作動されるように設定若しくはプログラムされていることが好ましい。インキュベータは、特に温度調節装置が電流のパルス幅変調(PWM)により作動されるように設定できる。電流の振幅は好ましくは一定であるため、電力は特にPWMのデューティサイクルによって決定される。特に上記の値は、温度制御の変数、即ち制御パラメータであってよい。
【0154】
インキュベータの電子制御装置は、温度制御又はインキュベータガス供給(例えばCO、N、及び/又はO)の制御、特に少なくとも1つの制御パラメータを、インキュベータの占有状態に応じて適合できるように設定若しくはプログラムされていることが好ましい。このようにして、インキュベータチャンバの内部に配置された物体が、制御されたシステムの応答挙動に及ぼす影響を考慮することができる。特に、庫内の占有度が高い場合に回復時間を短縮することができる。
【0155】
撮像システム又は他のシステムのデータ処理装置は、好ましくは、インキュベータの第1のデータ処理装置とは別個のものであることが好ましい。しかしながら、データ処理装置はインキュベータの機能を制御するインキュベータの制御装置(「第1の制御装置」とも呼ばれる)の一部であってもよい。制御装置の機能は、特に電子回路によって実装されている。撮像システムのデータ処理装置は、少なくとも1つのCPUと、任意選択で少なくとも1つのGPUを有することができる。GPUは、画像処理又は深層学習プロセスの実行のために設けることができる。データ処理装置は、CPU又はGPUの代替として、画像処理又は深層学習プロセスの実行のための専用チップ、例えばNVIDIA Jetsonを備えることもでき、これは物体追跡、特に可能な物体クラス認識又は個別物体認識において使用できることが好ましい。このような専用チップは、計算アクセラレータとしてデータ処理装置に追加することができる。GPUは、既に多くのSoC(System on a Chip)システム(画像及びビデオの表示用)に存在している。Rasberry PIも、同様にSOCの一部として専用GPUユニットを搭載することができる。
【0156】
物体追跡システムは、第1の制御装置とは別個に設けることができる制御ユニットを備えてもよい。本明細書において、「制御装置」及び「制御ユニット」という用語は、同義語として使用される。制御装置は、データ処理装置を備えることができるマイクロプロセッサを有してよい。マイクロプロセッサは、「Rasberry PI」タイプであってよい。制御ユニット及び/又はデータ処理装置は、それぞれインキュベータ及び/又は物体追跡システムに関連する制御手順(制御ソフトウェア又は制御プログラムとも呼ばれる)を実行するように構成されていることが好ましい。インキュベータ及び/又は物体追跡システム及び/又は制御装置及び/又はデータ処理装置の機能は、方法ステップで記述することができる。方法ステップは、制御プログラムの構成要素として、特に制御プログラムのサブプログラムとして実現することができる。
【0157】
本発明の文脈において、制御装置は一般に、特にデータ処理装置、特にデータを処理するための演算装置(CPU)及び/又はマイクロプロセッサを有しているか、又はデータ処理装置である。インキュベータの制御装置のデータ処理装置は、物体追跡システムを制御するように設定できることが好ましい。
【0158】
撮像システムのデータ処理装置は、好ましくはインキュベータチャンバ又はインキュベータの外部に、特に任意選択でこれらとは分離して配置された装置であり、外部機器若しくは外部データ処理機器とも呼ばれる。データ処理装置とインキュベータは好ましくはデータ接続しており、データ交換のためのネットワークの構成要素であることが好ましい。
【0159】
撮像システムの少なくとも1台のカメラは、ケーブル接続を介して撮像システムの制御装置若しくはデータ処理装置と接続されていることが好ましい。このために、インキュベータチャンバは、ケーブル接続のケーブルが通される貫通口(ポート)を有する。この場合、インキュベータ内の雰囲気に影響することを(可能な限り)防止するために、ポートを密閉するシール、特にシリコンシールが設けられていることが好ましい。代替的に、カメラは無線データ交換のために、例えばBluetooth(登録商標)又はWLANを介して、制御装置若しくはデータ処理装置と接続されている。
【0160】
インキュベータは、特に(インキュベータ及び/又は物体追跡システムの)少なくとも1つの制御装置が配置されている部分ハウジングを有することができる。部分ハウジングは、インキュベータの後ろ側、即ち特にインキュベータドアの反対側に配置されていることが好ましい。
【0161】
システム、インキュベータ及び/又は撮像システム及び/又はデータ処理装置及び/又は制御装置は、電子文書ファイルを作成するために少なくとも1つの物体又は複数の物体の位置データを使用するように設定されていることが好ましく、電子文書ファイルには、物体の位置及び/又は移動及び/又は物体の滞在時間及び/又はインキュベータ内の移動を引き起こすユーザの識別データが記録及び文書化される。次に、この文書ファイルは、特にデータ記憶装置に保存され、好ましくは連続的に更新される。このようにして、標準プロトコルに従った物体の「正しい」取り扱いを必要に応じて証明することができる。他方、後から標準プロトコルからの逸脱を特定でき、及び/又は情報の相関関係を決定することができる。このようなデータを把握することによって、細胞ベースの実験作業や医学、生物学、薬学の手順の質を大幅に向上させ、より信頼性の高いものにすることができる。細胞ベースの実験作業の再現性を高め、正常な特徴からの逸脱を早期に検出して、ユーザが実験を修正し、又は早期に反復することを可能にする。文書ファイルは、制御装置からユーザ又は外部のデータ処理装置にデータ交換によって提供することができる。このような文書化は、重要な応用、例えば法医学に関連するものや、相当な価値のある細胞が培養されるものにおいて特に有用である。
【0162】
本発明は、特に生きた細胞培養物を培養するためのシステムにも関し、このシステムは生きた細胞培養物を培養するためのインキュベータを有しており、このインキュベータは、
物体、特に細胞培養容器を受容するためのインキュベータチャンバと、インキュベータに後付けするように設計された画像を処理する撮像システムとを有しており、
上記のインキュベータチャンバは、対向する内壁と、ユーザが物体を入れたり出したりするためのチャンバ開口部とを備え、更に対向する内壁の間に延びている、物体を収納するための少なくとも1つの収納領域と、チャンバ開口部を閉じるためのインキュベータドアとを有しており、
上記の撮像システムは、データメモリを備えたデータ処理装置と、照明装置と、インキュベータチャンバの少なくとも1つの収納領域を撮像するように設定されたカメラ装置とを有しており、
上記の撮像システム、特にデータ処理装置は、
照明装置によって内壁の間に延びるインキュベータの収納領域を照明し、
カメラ装置によって内壁の間に延びる収納領域の少なくとも1つの画像を取得し、
データ処理装置によって少なくとも1つの画像を画像データの形でデータ記憶装置に保存する、
ように設定され、特にプログラムされている。
【0163】
したがって、上記のシステムは、後付け可能な撮像システムを増備できるインキュベータに基づいており、この撮像システムは請求項1においてインキュベータの固定した構成要素でもあり、後付け可能な撮像システムは、いわゆる「コンパチブルインキュベータ」として相応に両立可能でなければならない。「後付け」は、好ましくはそれぞれ、カメラ装置がインキュベータチャンバ内に適当に配置若しくは固定可能であること、照明装置がインキュベータチャンバ内に適当に配置若しくは固定可能であること、特にデータメモリを備えたデータ処理装置がインキュベータの内部若しくは側部に適当に配置若しくは固定可能であること、特にカメラ装置及び/又は照明装置及び/又はデータメモリを備えたデータ処理装置がデータ伝送を目的としてインキュベータのデータ処理装置又は外部コンピュータに接続されているか若しくは接続可能であること、特に、カメラ装置及び/又は照明装置及び/又はデータメモリを備えたデータ処理装置が、撮像システム又はインキュベータの一部であり得るエネルギー供給源に接続されているか若しくは接続可能であることを包含している。特に代替的又は付加的に、撮像システムのデータ処理装置がインキュベータのデータ処理装置によって形成され、そのためにカメラ装置及び/又は照明装置がデータ伝送を目的としてインキュベータのデータ処理装置に接続されているか若しくは接続可能であるようにすることもできる。
【0164】
特にインキュベータチャンバ内の雰囲気パラメータ(温度、ガス分圧CO、HOなど)も制御できる、本発明によるインキュベータ又はコンパチブルインキュベータの制御装置若しくはそのデータ処理装置は、撮像システムからのデータ、特に位置データ若しくは収納領域内の少なくとも1つの物体の最終位置に応じて、インキュベータの少なくとも1つの動作パラメータ、特にインキュベータのスクリーン上の情報表示を制御するパラメータ又はインキュベータのスクリーン上に表示されるパラメータを決定するように設定若しくはプログラミングされていることが好ましい。特に、少なくとも1つの物体の位置データ若しくは最終位置をスクリーン上に表示できる。
【0165】
生きた細胞培養物を培養するためのシステムは、インキュベータとは分離してインキュベータとデータ交換接続している外部機器、特にユーザ識別装置、特に携帯型ユーザ識別装置、及び特にデータ処理装置と外部機器とのデータ交換を可能にし、特にユーザ識別装置によってユーザ識別データを決定できるデータ交換装置を有することが好ましい。
【0166】
本発明は、生きた細胞培養物の培養に用いるインキュベータにおいて画像を取得する方法にも関し、このインキュベータは、
対向する内壁と、ユーザが物体を入れたり出したりするためのチャンバ開口部とを備え、更に対向する内壁の間に延びている、物体を収納するための少なくとも1つの収納領域とを備えた、物体、特に細胞培養容器を受容するためのインキュベータチャンバと、
チャンバ開口部を閉じるためのインキュベータドアと、
撮像システムと、を有しており、この撮像システムは、
照明装置と、
カメラ装置と、
データメモリを備えたデータ処理装置と、を含み、
該方法は、
照明装置によって内壁の間に延びる収納領域を照明するステップと、
照明中にカメラ装置によって内壁の間に延びる収納領域の少なくとも1つの画像を取得するステップと、
少なくとも1つの画像を画像データの形でデータ記憶装置に保存するステップと、を含む。
【0167】
本発明は、特にインキュベータを後付けするために設計された、画像を処理する撮像システムにも関し、この撮像システムは、
照明装置と、
少なくとも1台のカメラ装置と、
データメモリを備えたデータ処理装置と、を有し、
ここで、撮像システムは、
照明装置によって内壁の間に延びる収納領域を照明し、
カメラ装置によって内壁の間に延びる収納領域の少なくとも1つの画像を取得し、
データ処理装置によって少なくとも1つの画像を画像データの形でデータ記憶装置に保存する、
ように設定されている。
【0168】
本発明による方法の別の好適な構成は、本発明によるインキュベータ及びその好適な構成の説明から明らかになる。更に、本発明の別の変形例は、図示した実施例から明らかになる。実施例の同じ部材は、別途記載のない限り、又は文脈から明らかな場合を除き、実質的に同一の参照符号を付している。
【図面の簡単な説明】
【0169】
図1図1は、本発明によるインキュベータの一実施例の斜視図である。
図2図2は、図1のインキュベータの正面図である。
図3図3は、ユーザに関連付けたカラーコードで強調された物体によるインキュベータチャンバの占有をグラフィックに表示した、図1のインキュベータの正面図である。
図4a図4aは、図3のインキュベータ1とスマートフォン69を含むシステム400の一部であり得る外部機器として、カメラとディスプレイ63を備えたスマートフォンを示す図である。
図4b図4bは、図3のスクリーンでユーザ関連物体を強調するために使用されるカラーコードの凡例を示す図である。
図5a図5aは、図1図4bのインキュベータの構成要素である撮像システムを、単一の監視された収納プレートを有するチャンバの例で示す概略側面図である。
図5b図5bは、図1図4bのインキュベータの構成要素である撮像システムを、複数の監視された収納プレートを有するチャンバの例で示す概略側面図である。
図5c図5cは、図5a及び図5bの物体追跡システムによって監視される収納領域、並びに座標系を基準に追跡された物体の初期位置P1、位置変化dP及び最終位置P2を示す斜視図である。
図5d図5dは、図5a及び図5bで使用された撮像システムの広角魚眼カメラで撮像し、光学系に起因して歪んで見えるデジタル画像である。
図5e図5eは、撮像システムによって直線化アルゴリズムを用いて歪が除去された図5dの画像である。
図5f図5fは、図5a及び図5bで使用された撮像システムの広角魚眼カメラで撮像した、インキュベータのスクリーンに出力するための静止画像であり、撮像システムの境界ボックス、識別番号、及びユーザ/所有者を特定するカラーコードが示されている。
図5g図5gは、図5fに示した画面を説明するためにインキュベータのスクリーン上に表示可能なスクリーン内容を示す図である。
図6図6は、図1図5fのインキュベータの収納領域を、撮像システムのカメラの撮像範囲に配置された物体を含めて模式的に示す上面図である。
図7図7は、図6の撮像範囲に基づき2つの既存物体の間に新たにインキュベータ内に入れられた物体の撮像を示す図である。
図8図8は、本発明による例示的な方法のシーケンスを模式的に示す図である。
【発明を実施するための形態】
【0170】
図1は、実験用サンプルを収納するためのインキュベータ1、より正確には、生きた細胞培養物を定義された雰囲気において制御された温度、例えば37℃で保存するためのCOインキュベータを示す。この目的のために、インキュベータのチャンバ庫内5は断熱され、周囲に対してガス密に密閉することができ、庫内のガス組成も調節され、ガス接続部43を介して変更することができる。インキュベータのチャンバハウジング2は、ベース44上に載って庫内5を包囲し、インキュベータの前面3が開口している。この前面はチャンバ開口部4を有しており、これを通ってチャンバ庫内5にアクセスすることができる。透明な内側チャンバドア6は、チャンバドアの閉鎖位置でチャンバ開口部を閉鎖する役割を果たす。インキュベータ1においてチャンバハウジング2は外部ハウジング40の庫内に配置されており、チャンバハウジング2と外部ハウジング40は互いに間隔をあけて配置され、互いに断熱されている。チャンバ内部には、引出し棚板45と加湿トレイ46が見える。この例では、チャンバハウジングの前面3と外部ハウジングの前面とは一致している。
【0171】
外側インキュベータドア41とチャンバドア6は、開いた位置で示されている。外側ドア41は、外部ハウジングの外縁にヒンジで揺動可能に支持され、周縁シール、特にシリコンシール42を有している。
【0172】
外側ドア41が開かれたとき、インキュベータの内側チャンバドア6は、最初は、まだ閉じている。このために閉鎖装置(10、7a、7b)が働いている。チャンバドア6が閉じている状態で、ユーザはまず透明なドア壁を通して庫内5を見ることができ、それからドアを開いて実験用サンプルを入れたり取り出したりする。それにもかかわらず、外側インキュベータドア41を開けることは、既にインキュベータ雰囲気を潜在的に損ない得る干渉に相当する。
【0173】
インキュベータは、ドア41に組み込まれて前方に向けられた外部カメラ65を有し、その画像はインキュベータの適切にプログラムされたデータ処理装置によって評価可能であり、特に顔認識によってユーザを識別し、それによってデータ処理装置と接続された外部カメラ65はユーザ識別装置66として機能することができる。これはスマートフォン69のカメラを介して行うことも可能である。
【0174】
収納された実験用サンプルを保護するために、インキュベータにおいてはインキュベータの内部が周囲に曝露される時間(開放時間間隔)を最小限にすることが有効である。本発明は、撮像システム200によって、開放時間間隔を短縮することができるという観察結果に基づいている。インキュベータ1は、撮像システム(図1及び図2には図示せず)を有する。
【0175】
図2に示すように、外側インキュベータドアの外側には第1のスクリーンであるタッチスクリーン61があり、これを介してインキュベータ1の動作パラメータ、例えばインキュベータ雰囲気の温度又は庫内5のガス分圧が表示される。
【0176】
外側インキュベータドア41の外側には、第2のスクリーン62が設けられており、これもタッチスクリーンであってよい。しかしながら、第2のスクリーンの代わりに、全てのスクリーン出力を1つのスクリーン上で行うこともできる。インキュベータ1のデータ処理装置(図示せず)は、インキュベータの内部の占有をスクリーン62に表示するようにプログラムされている。スクリーン62は、ユーザがインキュベータ内部を(仮想的に)見ることができる「デジタルウィンドウ」としての役割を果たす。この場合、インキュベータの内部若しくは少なくとも1つの収納領域及びその既存物体による占有のグラフィック表示は、特定の既存物体が特定の基準若しくは条件パラメータに応じてグラフィック的に強調されるようにプログラムすることができる。
【0177】
図3について、インキュベータ1のデータ処理装置は、1つ以上の物体を、ここではユーザ識別データに依存する少なくとも1つの条件パラメータに応じて、しかも撮像システムによって決定されたインキュベータの内部におけるそれぞれの位置に従ってディスプレイ62に表示するようにプログラムされている。それぞれ特定のユーザを標識する特定のユーザ識別データと関連付けられた既存物体は、特定のユーザごとの色で強調表示されている。この種のカラーコードに関する凡例61aは、ここでは上部ディスプレイ61のサブ領域61aでユーザに示される。この凡例61aは、図4bに拡大して示されている。ユーザ標識「ジェーン」、「ジョー」などには、ディスプレイ62、63で使用された対応する強調表示カラーが割り当てられている。
【0178】
図4には、出力ディスプレイ61及び/又は62は、代替的又は追加的に、インキュベータとデータ交換接続して、ここではインキュベータシステムの構成要素として機能するディスプレイ63を有する外部機器、ここではスマートフォン69であってよいことが示されている。
【0179】
図5aは、物体のための収納プレートとして、インキュベータ1の互いに上下に配置された引出し棚板45a、45bの概略正面図である。インキュベータにおけるこのような引出し棚板45の上下間隔は通常大きくなく、例えば10~40cmであり、インキュベータ1の場合は約15cmである。そのため、全収納領域45、ここでは引出し棚板45bの全収納面とその上にある引出し棚板45aまでの「領空」を捕捉するためには複数のカメラを使用しなければならない。カメラ70若しくはカメラ装置70’は、約200°の対角線画像角度を有する広角レンズカメラ若しくは広角魚眼レンズカメラであるか又はこれを含んでいる。
【0180】
図5aは、インキュベータ1内に設置された撮像システム20を示しており、これは後付けシステムとして構成された場合には参照符号200も付されている。撮像システム20は、広角魚眼カメラであるカメラ70を含み、これは好ましくは160°~220°の視界領域若しくは視野角71aで、カメラの下に位置する引出し棚板45bの収納領域と、インキュベータ内壁部分72a、72bの表面の約80%という大部分を捕捉する。インキュベータ内壁部分72a、72bはそれらの間に延びる収納プレート45a、45bと共に、インキュベータチャンバのコンパートメント73を画定する。広い視野角のために1台のカメラで、その下にある引出し棚板45bの全収納領域、特に(既存)物体80’、80、即ち細胞培養容器のスタック80’、及び細胞培養容器80が突出している空間も捕捉できる。広角魚眼カメラの名目視野角はここでは200°であるが、好ましくは160°~170°の範囲から取られた視野角に対応する画像範囲のみが評価される。
【0181】
カメラは、引出し棚板45bの収納面の幾何学的中心の垂直上方に配置されている。撮像システム20は、照明装置90と制御装置23も含んでおり、制御装置23は撮像システム20のその他の構成要素であるデータ処理装置21とデータメモリ22を有する。データ処理装置21若しくは制御装置23は、インキュベータチャンバ後壁のポート47を通ってインキュベータチャンバに入るケーブル接続25を介して、カメラ70及び図5aには図示しない他のカメラと接続されている。これらのカメラは、それぞれ全ての収納領域(引出し棚板45の全ての上面、図1参照)が監視されるように設けられている。制御装置23は更に、例えばインキュベータのディスプレイ61、62、63にデータ若しくは信号を出力するために、インキュベータ機器構成要素へのデータ接続を可能にするデータインタフェース24を有する。複数のLED90’、90”を備えた照明装置90は、収納プレート45bの上方に取り付けられて、接続線25を介して制御装置23と接続されている。図示された2つのLEDの代わりに、複数のLEDを設けることができる。撮像の目的のために適切であれば、オプションの照明装置90によって収納領域45bを照明することができる。
【0182】
図5bは、複数の監視された収納プレート45a、45b、45cを有するチャンバの例における、図1から図4bまでのインキュベータの構成要素である撮像システムの概略側面図である。この表現は図5aの原理の拡張であり、インキュベータチャンバは複数のコンパートメント5a、5b、5cに分割されている。これらのコンパートメントは、ここでは互いに上下に配置されてガス交換のために接続されており、これは収納プレート45a、45b、45cの穴を介して行われる。コンパートメント5aの収納領域若しくは収納プレート45aはカメラ70’によって監視され、コンパートメント5bの収納領域若しくは収納プレート45bはカメラ70によって監視され、コンパートメント5cの収納領域若しくは収納プレート45cはカメラ70”によって監視され、カメラ70’と70”は図5aのカメラ70に類似して構成及び配置されている。全てのカメラは、インキュベータチャンバ内の接続ケーブル束26を介して制御装置23と接続されている。接続ケーブル束26は、既に図5aに示したケーブル接続25に移行してインキュベータチャンバ後壁内のポート47を通ってインキュベータチャンバから出ている。制御装置23のデータ処理装置21は、3つのコンパートメント5a、5b、5c全てにおける全ての物体を監視するように設定されている。図5bに示すインキュベータの撮像システム20は、ここでは3台のカメラ70、70’、70”、照明装置90、データ処理装置21、データ記憶装置22及び接続線を有する。
【0183】
図5cは、図5a及び図5bの撮像システムによって監視されるコンパートメント5b若しくは収納領域45bの斜視図と、直交座標系(x,y,z)を基準にした物体位置P1、P2を示している。撮像システムが、ビデオデータの取得とデジタル画像処理手段により物体追跡システムとして構成されている場合は、移動経路B上を移動する物体の位置変化dPも追跡することもできる。座標系の原点は、コンパートメントの隅に固定配置することができる。
【0184】
図5dは、図5a及び図5bで使用された撮像システムの広角魚眼カメラで撮像し、光学系に起因して歪んで見えるデジタル画像を示している。
【0185】
図5eは、撮像システムによって直線化アルゴリズムを用いて歪が除去された図5dの画像を示している。
【0186】
図5fは、図5a、図5bで使用された撮像システムの広角魚眼カメラで撮像し、インキュベータのスクリーンに出力した静止画で、撮像システムの境界ボックス、ユーザ/所有者を特定する識別番号やカラーコードが示されている。
【0187】
図5gは、図5fに示した画面を説明するためにインキュベータのスクリーン上に表示可能なスクリーン内容を示している。識別番号による物体の識別に加えて、ユーザ/所有者を識別するカラーコード、並びに任意選択でインキュベータによって登録された、物体をインキュベータチャンバに入れる時刻も表示されている。
【0188】
図6は、収納領域、即ち、引出し棚板45bの上面を鳥瞰図若しくは俯瞰図で示したものである。更に、カメラ70が捕捉する撮像範囲71が模式的に示されている。撮像範囲71は、カメラ70はその視野角や位置を変えないため、1つの画像若しくは各画像においてカメラ70によって捕捉される範囲である。したがって各画像が、この範囲71を示している。図では、範囲71の下縁は、インキュベータチャンバ開口部4に近い領域を表している。しかしながら、カメラ70及び/又は2つの光源(LED)90’及び90”を有する照明装置90は、搬送装置95、ここでは電動レールシステムによって移動可能若しくは変位可能に支持することもできる。
【0189】
撮像システム20、200は、ここでは、
照明装置90によって内壁72a、72bの間に延びるインキュベータの収納領域49を照明し、
カメラ装置70によって内壁72a、72bの間に延びる収納領域49の少なくとも1つの画像を取得し、
データ処理装置21によって少なくとも1つの画像を画像データの形でデータ記憶装置22に保存する、
ように設定されている。
【0190】
撮像システムは、更に、
照明装置90によって、この収納領域49に配置された少なくとも2つの物体を照明し、
カメラ装置70によって、この収納領域上の少なくとも2つの物体の画像、即ち、これらの少なくとも2つの物体が示された画像を取得し、
データ処理装置21によって、少なくとも2つの物体80、80’の画像を画像データの形でデータ記憶装置22に保存する、
ように設定されている。
【0191】
データ処理装置は、ここでは任意選択で、
画像データの評価により画像中に現れた第1の物体80と第2の物体80’を区別し(特に第1の物体と第2の物体に異なる識別データを割り当て、物体をカウントし、物体クラスを認識し、個別特徴を分析、保存、認識し、移動中の物体を追跡し)、特に画像処理アルゴリズムにより画像中の第1の物体80と第2の物体80’の輪郭を検出し、
特に第1の物体80と第2の物体80’に関する情報、特に第1の物体80と第2の物体80’の輪郭を物体データの形でデータ記憶装置22に保存する、
ようにプログラムされている。
【0192】
照明装置90は、ここでは任意選択で操作可能であり、データ処理装置は、ここでは任意選択で、照明装置90が少なくとも2種類の照明モードで操作されるようにプログラムされており、撮像システム20、200は、
照明装置90によってインキュベータチャンバの収納領域49を、
最初に第1の照明モードで、特にアクティブなLED90’と非アクティなブLED90”で照明し、
次にそれとは異なる第2の照明モードで、特にアクティブなLED90”と非アクティブなLED90’で照明し、
第1の照明モードと第2の照明モードの双方による照明中にカメラ装置70によって収納領域49の少なくとも1つの画像を取得し、
少なくとも1つの画像を、第1の照明モードと第2の照明モードの双方の間に取得された合成画像情報を含む画像データの形で提供するように、
設定されており、データ処理装置は、画像データから合成画像情報を取得する画像評価プログラムを実行するようにプログラムされている。
【0193】
収納領域49の少なくとも1つの画像は、収納領域49の少なくとも1つの第1の画像と、それとは異なる収納領域49の第2の画像を含んでおり、第1の画像は第1の照明モードで撮像され、第2の画像は第2の照明モードで撮像され、第1の画像は第1の画像データの形で提供され、第2の画像は第2の画像データの形で提供され、データ処理装置と画像評価プログラムは、
第1の画像データと第2の画像データを合成して、特に第1の画像データと第2の画像データの加算及び/又は平均化によって生じる合成画像データを取得し、
合成画像データから合成情報が得られる、
ようにプログラムされている。
【0194】
撮像システム20、200のデータ処理装置は、インキュベータの外側ドア41の閉鎖状態の検出に応じて、照明中にカメラ70によって画像データを取得し評価するようにプログラムされている。時間的に連続する画像を比較することにより、新規物体81が撮像範囲71に達したかを確認できる。
【0195】
図7で撮像範囲71に、新たに出現した、庫内に入れられた物体81に割り当て可能な輪郭81aを含む画像を、変化した画像と見なす。この変化した画像から出発して、これは新たにインキュベータ内に入れられる物体81であると仮定して、この新たに出現した輪郭81aに識別データが割り当てられる。
【0196】
図8は、先の図の上記の説明の中でも既に間接的に述べた、本発明による方法のシーケンスを示している。
【0197】
方法300は、生きた細胞培養物を培養するために用いるインキュベータにおいて撮像するためのものであり、
対向する内壁と、ユーザが物体を入れたり出したりするためのチャンバ開口部とを備え、更に対向する内壁の間に延びている、物体を収納するための少なくとも1つの収納領域とを備えた、物体、特に細胞培養容器を受容するためのインキュベータチャンバと、
チャンバ開口部を閉じるためのインキュベータドアと、
撮像システムと、を有しており、この撮像システムは、
照明装置と、
カメラ装置と、
データメモリを備えたデータ処理装置と、を含み、
方法300は、次のプログラム制御されたステップ、即ち
照明装置によって内壁の間に延びる収納領域を照明するステップ(301)と、
照明中にカメラ装置によって内壁の間に延びる収納領域の少なくとも1つの画像を取得するステップ(302)と、
少なくとも1つの画像を画像データの形でデータ記憶装置に保存するステップ(303)と、を含んでいる。
【0198】
好ましくは、
少なくとも1つの物体80、80’、81が入れられるインキュベータチャンバの内部に少なくとも1つの収納領域49を撮像するために設置されたインキュベータのカメラ装置70’の少なくとも1台のカメラ70によって、インキュベータチャンバ2、5を経時的に監視するステップ(304)と、
収納領域に位置決めされた後で、少なくとも1台のカメラ70によって撮像された収納領域49の画像で捕捉される少なくとも1つの物体80、81に識別データを割り当てるステップ(305)と、
収納領域49における少なくとも1つの物体80、81の位置を、少なくとも1つの物体のID位置データとして識別データに応じてデータ記憶装置に保存するステップ(308)と、を含む。
【0199】
方法300は、好ましくは、
少なくとも1つの物体80、81をインキュベータチャンバに導入したインキュベータ1のユーザを識別するユーザ識別データを、ユーザ識別装置を用いて読み取るステップ(307)と、
これらのユーザ識別データをインキュベータのデータメモリに保存するステップ(308)と、を含む。
【0200】
方法300は、好ましくは、
ID位置データを、ユーザ識別データに応じてユーザ関連ID位置データとして保存するステップ(309)を含む。
図1
図2
図3
図4a
図4b
図5a
図5b
図5c
図5d-5e】
図5f
図5g
図6
図7
図8
【国際調査報告】