IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ エフ ホフマン−ラ ロッシュ アクチェン ゲゼルシャフトの特許一覧

特表2024-519309試料取扱システムを監視するための監視装置
<>
  • 特表-試料取扱システムを監視するための監視装置 図1
  • 特表-試料取扱システムを監視するための監視装置 図2
  • 特表-試料取扱システムを監視するための監視装置 図3
  • 特表-試料取扱システムを監視するための監視装置 図4
  • 特表-試料取扱システムを監視するための監視装置 図5
  • 特表-試料取扱システムを監視するための監視装置 図6
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-05-10
(54)【発明の名称】試料取扱システムを監視するための監視装置
(51)【国際特許分類】
   G01N 35/02 20060101AFI20240501BHJP
   G06T 7/593 20170101ALI20240501BHJP
   G06T 7/00 20170101ALI20240501BHJP
   G06V 10/82 20220101ALI20240501BHJP
【FI】
G01N35/02 G
G06T7/593
G06T7/00 350C
G06V10/82
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023568131
(86)(22)【出願日】2022-05-04
(85)【翻訳文提出日】2023-12-18
(86)【国際出願番号】 EP2022061972
(87)【国際公開番号】W WO2022233932
(87)【国際公開日】2022-11-10
(31)【優先権主張番号】21172225.1
(32)【優先日】2021-05-05
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
(71)【出願人】
【識別番号】501205108
【氏名又は名称】エフ ホフマン-ラ ロッシュ アクチェン ゲゼルシャフト
(74)【代理人】
【識別番号】110001896
【氏名又は名称】弁理士法人朝日奈特許事務所
(72)【発明者】
【氏名】メータ、クマール ローシャン
【テーマコード(参考)】
2G058
5L096
【Fターム(参考)】
2G058CB16
2G058CD23
2G058CF01
2G058CF17
2G058GE10
5L096AA02
5L096AA06
5L096BA02
5L096CA04
5L096CA05
5L096DA01
5L096DA02
5L096FA02
5L096FA64
5L096FA66
5L096FA69
5L096GA51
5L096HA11
5L096JA11
5L096JA22
(57)【要約】
試料取扱システム(112)を監視するための監視装置(110)が開示される。監視装置(110)は、少なくとも1つの摺動面(116)を備える少なくとも1つの摺動ユニット(114)であって、摺動ユニット(114)が、試料取扱システム(112)の少なくとも1つの試料輸送装置(118)上を摺動するように構成される、少なくとも1つの摺動ユニット(114)と、少なくとも1つのカメラ(122)を備える少なくとも1つの撮像ストリーミングユニット(120)であって、カメラ(122)が複数の画像を撮像するように構成され、撮像ストリーミングユニット(120)が、撮像された複数の画像を試料取扱システム(112)の少なくとも1つの輸送制御システム(126)に提供するための少なくとも1つの撮像通信インターフェース(124)を備える、少なくとも1つの撮像ストリーミングユニット(120)とを備える。試料取扱システム(112)の複数の試料容器ホルダ(150)の輸送を制御するための輸送制御システム(126)、複数の試料(160)を取り扱うための試料取扱システム(112)、少なくとも1つの障害物(156)を識別するための方法、少なくとも1つの障害物(156)と監視装置(110)との間の距離を決定するための方法、および監視装置(110)を制御するための方法、ならびにさらに本方法を実行するためのコンピュータプログラムおよびコンピュータ可読記憶媒体がさらに開示される。
【特許請求の範囲】
【請求項1】
少なくとも1つの障害物(156)と監視装置(110)との間の距離を決定するための方法であって、前記方法が、
a.少なくとも1つの監視装置(110)を使用することにより、前記監視装置(110)の少なくとも1つの第1の位置および前記第1の位置とは異なる前記監視装置(110)の少なくとも1つの第2の位置において、少なくとも1つの障害物(156)を識別することであって、前記障害物(156)を識別することが、
i.前記監視装置(110)を使用して前記監視装置(110)の複数の位置で複数の画像を撮像し、少なくとも1つの撮像通信インターフェース(120)を介して前記複数の画像を提供することと、
ii.少なくとも1つの輸送制御システム(126)の少なくとも1つの制御通信インターフェース(152)を介して前記複数の画像を取り出すことと、
iii.前記輸送制御システム(126)の少なくとも1つの処理ユニット(154)を使用して前記複数の画像に少なくとも1つの訓練済み物体分類および検出モデルを適用することによって前記障害物(156)を識別することと
を含み、
前記監視装置(110)が、
少なくとも1つの輸送面(116)を含む少なくとも1つの輸送ユニット(114)であって、前記輸送ユニット(114)が、試料取扱システム(112)の少なくとも1つの試料輸送装置(118)上で前記監視装置(110)を輸送するように構成される、少なくとも1つの輸送ユニット(114)と、
少なくとも1つのカメラ(122)を備える少なくとも1つの撮像ストリーミングユニット(120)であって、前記カメラ(122)が複数の画像を撮像するように構成され、前記撮像ストリーミングユニット(120)が、撮像された前記複数の画像を前記試料取扱システム(112)の前記輸送制御システム(126)に提供するための前記撮像通信インターフェース(124)を備える、少なくとも1つの撮像ストリーミングユニット(120)と
を備え、
前記輸送制御システム(126)が前記制御通信インターフェース(152)を備え、前記輸送制御システム(126)が、複数の画像を評価し、それによって前記障害物(156)に関する少なくとも1項目の情報を導出するための前記処理ユニット(154)をさらに備え、前記少なくとも1項目の情報を導出することが、前記複数の画像に少なくとも1つの訓練済み物体分類および検出モデルを適用することを含み、前記輸送制御システム(126)が、前記情報の項目に基づいて前記試料取扱システム(112)の前記試料輸送装置(118)の機能を制御するように構成される、
少なくとも1つの障害物(156)を識別することと、
b.前記第1の位置で撮像された少なくとも1つの第1の画像および前記第2の位置で撮像された少なくとも1つの第2の画像を分析することにより、かつ、
に従って距離dを決定することによって、前記障害物(156)と前記監視装置(110)との間の前記距離を決定することであって、
1が、前記第1の位置における前記画像内の前記障害物(156)の高さを示し、y2が、前記第2の位置における前記画像内の前記障害物(156)の高さを示し、mが、前記第1の位置から前記第2の位置まで移動した距離を示し、dが、前記障害物(156)と前記第1の位置における前記監視装置(110)との間の距離を示す、
前記障害物(156)と前記監視装置(110)との間の前記距離を決定することと
を含み、
前記障害物(156)が、前記試料輸送装置(118)上の試料容器ホルダ(150)の輸送を妨げる任意の物体である、方法。
【請求項2】
前記方法が、
I.前記障害物(156)を識別することであって、前記監視装置(110)を使用することにより、前記第1の画像が前記監視装置(110)の前記第1の位置で撮像され、前記第2の画像が前記第1の位置とは異なる前記監視装置(110)の前記第2の位置で撮像され、前記監視装置(110)が、前記第1の位置から前記第2の位置まで第1の方向に輸送され、前記第1の画像および前記第2の画像が、前記監視装置(110)の前記撮像通信インターフェース(120)および前記輸送制御システム(126)の前記制御通信インターフェース(152)を介して前記輸送制御システム(126)に提供され、前記訓練済み物体分類および検出モデルが、前記輸送制御システム(126)の前記処理ユニット(154)を使用して前記第1の画像および前記第2の画像に適用される、前記障害物(156)を識別することと、
II.障害物(156)が識別された場合、前記第1の方向とは異なる方向で、ステップIIIに先行して、前記監視装置(110)の第3の位置に前記監視装置(110)を輸送し、そうでない場合、前記第1の方向を維持し、前記第3の位置に前記監視装置(110)を輸送し、前記障害物(156)が識別されるまでステップIを繰り返すことと、
III.識別された前記障害物(156)と前記監視装置(110)との間の距離を決定することと、
IV.ステップIII.で決定された前記距離が所定の閾値を下回る場合、識別された前記障害物(156)に関する前記情報の項目を前記輸送制御システム(126)に提供し、そうでない場合、ステップIIを繰り返すことと
をさらに含む、請求項1に記載の方法。
【請求項3】
複数の試料(160)を取り扱うための試料取扱システム(112)であって、前記試料取扱システム(112)が、少なくとも1つの障害物(156)と監視装置(110)との間の距離を決定するための前記方法を実行するように構成され、前記試料取扱システム(112)が、
各々が試料容器(162)を受け入れるように構成された、複数の試料容器ホルダ(150)と、
前記監視装置(110)と、
前記複数の試料容器ホルダ(150)および前記監視装置(110)を輸送するように構成された少なくとも1つの試料輸送装置(118)であって、前記試料輸送装置(118)が前記試料容器ホルダ(150)および前記監視装置(110)の2次元輸送のために構成され、前記試料輸送装置(118)が、前記監視装置(110)を駆動するための駆動面(166)を備え、前記監視装置(110)が、前記駆動面(166)上を輸送されるように構成され、前記試料容器ホルダ(150)が、前記試料輸送装置(118)の前記駆動面(166)上を輸送されるように構成された少なくとも1つの輸送ユニット(114)を備える、少なくとも1つの試料輸送装置(118)と、
前記少なくとも1つの障害物(156)に関する情報の項目を考慮して、前記試料輸送装置(118)を介した前記複数の試料容器ホルダ(150)の輸送を制御するための輸送制御システム(126)と
を備える、試料取扱システム(112)。
【請求項4】
前記試料容器ホルダ(150)が、少なくとも1つの輸送ユニット(114)および少なくとも1つの保持ユニット(164)を備え、前記試料容器ホルダ(150)の前記輸送ユニット(114)が、前記監視装置(110)の前記輸送ユニット(114)と同一に具現化される、請求項3に記載の試料取扱システム(112)。
【請求項5】
前記撮像ストリーミングユニット(120)が前記輸送ユニット(114)に取り付けおよび/または装着される、請求項3または4に記載の試料取扱システム(112)。
【請求項6】
前記撮像ストリーミングユニット(120)の前記カメラ(122)が、IPカメラ(140)、ワイヤレスカメラ、ネットワークカメラ、軽量カメラ、単焦点カメラ、広角カメラ、固定焦点レンズカメラのうちの少なくとも1つを含む、請求項3から5のいずれか一項に記載の試料取扱システム(112)。
【請求項7】
前記撮像ストリーミングユニット(120)の前記カメラ(122)が、少なくとも1つのカラーカメラを含む、請求項3から6のいずれか一項に記載の試料取扱システム(112)。
【請求項8】
前記撮像ストリーミングユニット(120)が少なくとも4つのカメラを備え、前記4つのカメラの視野が互いに対して90°回転している、請求項3から7のいずれか一項に記載の試料取扱システム(112)。
【請求項9】
前記障害物(156)に関する前記情報の少なくとも1つの項目が、前記障害物(156)の存在、前記障害物(156)の分類、駆動面(166)上の前記障害物(156)の位置、前記障害物(156)の移動状況、前記障害物(156)の色、前記監視装置(110)と前記障害物(156)との間の距離のうちの少なくとも1つを含む、請求項3から8のいずれか一項に記載の試料取扱システム(112)。
【請求項10】
前記訓練済み物体分類および検出モデルが、事前訓練済み畳み込みニューラルネットワークを含み、前記事前訓練済み畳み込みニューラルネットワークが、AlexNet、ビジュアルジオメトリグループネット、残差ニューラルネットワーク、YOLO(You Only Look Once)、高速化された領域ベースの畳み込みネットワーク方法、領域ベースの完全畳み込みネットワーク、単一ショット検出器、空間ピラミッドプーリングからなる群から選択される少なくとも1つの畳み込みニューラルネットワークを含み、および/または
前記訓練済み物体分類および検出モデルが、k近傍法アルゴリズム、サポートベクターマシンのうちの1つまたは複数を含む事前訓練済み古典的な分類機械学習アルゴリズムを含む、
請求項3から9のいずれか一項に記載の試料取扱システム(112)。
【請求項11】
前記輸送制御システム(126)が、前記試料輸送装置(118)上の試料容器ホルダ(150)の輸送を制御するように構成され、前記輸送制御システム(126)が、前記試料輸送装置(118)上の前記監視装置(110)の輸送を制御するように構成される、請求項3から10のいずれか一項に記載の試料取扱システム(112)。
【請求項12】
命令を含むコンピュータプログラムであって、前記プログラムがコンピュータまたはコンピュータネットワークによって実行されると、前記命令が、前記コンピュータまたはコンピュータネットワークに、請求項1または2に記載の少なくとも1つの障害物(156)と監視装置(110)との間の距離を決定するための方法を実行させる、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、試料取扱システムを監視するための監視装置、試料取扱システムの複数の試料容器ホルダの輸送を制御するための輸送制御システム、および複数の試料を取り扱うための試料取扱システムに関する。本発明はさらに、少なくとも1つの障害物を識別するための方法、少なくとも1つの障害物と監視装置との間の距離を決定するための方法、および監視装置を制御するための方法に関する。さらに、方法を実行するためのコンピュータプログラムおよびコンピュータ可読記憶媒体が本明細書に開示される。本発明の装置および方法は、一例として、通常、複数の試料が処理される必要がある医学または化学の検査室の分野で使用されてもよい。試料は、液体試料、例えば、血液、血漿、血清、尿、唾液、もしくは他のタイプの体液などの生物学的試料、および/または試薬、反応剤、もしくは溶媒などの化学的試料を含んでもよい。一例として、試料取扱システムは、処理される試料を用いて分析および/または分析前ステップを実行するためなど、複数の試料を処理するために使用されてもよい。しかしながら、試料の処理を含む他のタイプの用途も実現可能である。
【背景技術】
【0002】
医学または化学の検査室の分野では、一般に、複数の試料、例えば液体試料は、自動的に処理される必要がある。これらの検査室では、複数の試料は、ある場所から別の場所に、例えば、分析前モジュールから分析モジュールなどに検査室を通って輸送されてもよい。試料は、通常、キャップで密封され得るか、または開封され得る容器内で処理される。したがって、輸送される試料が輸送装置にこぼれるリスクがあり得る。
【0003】
米国特許第9,470,702号明細書は、メンテナンスキャリアを自動化トラックに自動的に配備するための装置およびシステムを記載している。これらのメンテナンスキャリアは、トラックの清掃、ピペットの位置合わせ、および自動化システムの部分の検査などのメンテナンス作業を提供するのに適したツールを含むことができる。メンテナンスキャリアを選択的に配備および/または回収し、メンテナンスキャリアによって使用されるキャリアまたはカートリッジの再充電、再充填、または廃棄を実現するために、オートローダを設けることができる。
【0004】
欧州特許出願公開第2995959号明細書は、回収装置を有する検査室試料分配システム、およびそのような検査室試料分配システムを有する検査室自動化システムを開示している。回収装置は、エラー状態の場合に検査室試料分配システムの輸送面上で試料容器キャリアまたは試料容器などの物品を操作するように適合されている。
【0005】
中国特許出願公開第106443650号明細書、中国特許出願公開第109443319号明細書、中国特許出願公開第108209746号明細書、および中国特許出願公開第105203034号明細書は、カメラモジュールを使用して幾何学的特性を光学的に決定するための方法および装置を記載している。
【0006】
国際公開第2019/139930号は、作業スペースと、作業スペース内の検査室構成要素であって、検査室構成要素が検査室技法を実行するように適合された、検査室構成要素と、検査室技法で使用されるように適合された作業スペース内の実験機器構成要素と、検査室および実験機器構成要素に動作可能に接続された作業スペース内のローバ構成要素であって、ローバ構成要素が自律型移動ロボットである、ローバ構成要素とを備える、自律型移動ロボットを含むローバベースの統合検査室システムを記載している。
【0007】
既知の方法および装置によって実現される利点にもかかわらず、検査室システムの分野ではいくつかの技術的な課題が残っている。具体的には、検査室システム内の試料の処理を開始または終了するとき、検査室システム内の障害物、特に、動いていない試料の位置に関する情報を有することが重要であり得る。同様に、検査室システムの動作中、検査室システム内の障害物に関する情報は、特に、近くにある他の試料が動き続けているとき、動いていない試料に関して取得することは困難であり得る。したがって、一般に、検査室のオペレータは、障害物を位置付けするための、特に動いていない試料を位置付けするためのコンテキスト情報および/または視覚情報を必要とする。さらに、検査室システム内のこぼれた液体試料などの障害物の位置および特性を決定することは、非常に重要である。具体的には、適切な措置をとるために、検査室システムの動作中にオンデマンドでそのような情報を提供することが望ましい場合がある。検査室システムのオペレータは、特に、検査室システムの表面全体を監視する必要があり得る。一般に、検査室システムは通常大型のシステムなので、オペレータは、困難をもたらすこぼれた試料などの障害物を見つけるために検査室システムの表面を手作業で調査する必要がある。
【発明の概要】
【0008】
解決すべき課題
したがって、上述された技術的な課題に少なくとも部分的に対処する装置および方法を提供することが望ましい。具体的には、試料取扱システム内の障害物を簡単かつ費用効率が高い方法で自動的に検出することを可能にする装置および方法が提案されるべきである。
【0009】
この問題は、試料取扱システムを監視するための監視装置、試料取扱システムの複数の試料容器ホルダの輸送を制御するための輸送制御システム、複数の試料を取り扱うための試料取扱システム、ならびに少なくとも1つの障害物を識別するための方法、少なくとも1つの障害物と監視装置との間の距離を決定するための方法、および独立請求項の特徴を有する監視装置を制御するための方法によって対処される。単独で、または任意の組合せで実現されてもよい有利な実施形態は、従属請求項ならびに明細書全体にわたって列挙されている。
【0010】
以下で使用される「有する」、「備える」、もしくは「含む」という用語、またはそれらの任意の文法的変形は、包括的に使用される。したがって、これらの用語は、これらの用語によって紹介される特徴に加えて、この文脈で記載されるエンティティにさらなる特徴が存在しない状況と、1つまたは複数のさらなる特徴が存在する状況の両方を指してもよい。一例として、「AはBを有する」、「AはBを備える」、および「AはBを含む」という表現は、両方とも、B以外に、他の要素がAに存在しない状況(すなわち、Aが単独かつ排他的にBからなる状況)、および、B以外に、要素C、要素CおよびD、またはさらなる要素などの1つまたは複数のさらなる要素がエンティティAに存在する状況を指してもよい。
【0011】
さらに、特徴または要素が1回または2回またはそれより多く存在する場合があることを示す「少なくとも1つ」、「1つまたは複数」という用語または同様の表現は、通常、それぞれの特徴または要素を紹介するときに1回だけ使用されることに留意されたい。以下では、ほとんどの場合、それぞれの特徴または要素に言及するとき、「少なくとも1つ」または「1つまたは複数」という表現は、それぞれの特徴または要素が1回または2回またはそれより多く存在する場合があるという事実にもかかわらず、繰り返されない。
【0012】
さらに、以下で使用される「好ましくは」、「より好ましくは」、「詳細に」、「より詳細に」、「具体的に」、「より具体的に」という用語または同様の用語は、代替の可能性を制限することなく、任意の特徴とともに使用される。したがって、これらの用語によって紹介される特徴は任意の特徴であり、多少なりとも特許請求の範囲を制限するものではない。本発明は、当業者が認識するように、代替の特徴を使用して実行されてもよい。同様に、「本発明の実施形態において」または同様の表現によって紹介される特徴は、任意の特徴であることが意図され、本発明の代替の実施形態に関するいかなる制限も伴わず、本発明の範囲に関するいかなる制限も伴わず、そのような方法で紹介される特徴を本発明の他の任意の特徴または任意でない特徴と組み合わせる可能性に関するいかなる制限も伴わない。
【0013】
第1の態様では、試料取扱システムを監視するための監視装置が開示される。
【0014】
本明細書で使用される「試料取扱システム」という用語は、広義の用語であり、当業者にとってその通常の慣習的な意味が与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定されないが、少なくとも1つの試料容器に収容された少なくとも1つの試料を処理する少なくとも1つの機能を実行するように構成された少なくとも1つの構成要素を備える任意のシステムを指してもよい。試料は、例えば、試料容器に収容された液体試料であってもよい。詳細には、試料取扱システムは、試料を処理する少なくとも1つの機能を実行するために一緒に相互作用するように構成され得る複数の構成要素を備える。さらに、試料取扱システムの構成要素の各々は、試料を処理する少なくとも1つの機能を実行するように構成されてもよい。試料取扱システムは、液体試料を処理する複数の異なる機能を実行するように構成されてもよい。試料取扱システムは、具体的には、試料を自動的に取り扱うように、特に試料を次々に、および/または複数の試料を同時に取り扱うなど、試料を個別に取り扱うように構成されてもよい。試料取扱システムは、複数の試料を取り扱うように、特に複数の試料容器に収容された複数の液体試料を取り扱うように構成されてもよい。試料取扱システムは、自動化された検査室、特に自動化されたワークフローシリーズの一部であってもよい。
【0015】
本明細書で使用される「試料」という用語は、広義の用語であり、当業者にとってその通常の慣習的な意味が与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定されないが、化学的または生物学的な化合物などの物質のアリコートを指してもよい。具体的には、試料は、血液、血清、血漿、尿、唾液のうちの1つまたは複数などの少なくとも1つの生物試料であってもよく、それらを含んでもよい。追加または代替として、試料は、化学物質もしくは化合物および/または試薬であってもよく、それらを含んでもよい。試料は、具体的には、化学的または生物学的な化合物の流体物質のアリコートなどの液体試料であってもよい。例えば、液体試料は、少なくとも1つの化学物質および/または生物学的物質を備える、液体物質および/または1つもしくは複数の液体物質を含む溶液などの、少なくとも1つの純粋な液体であってもよく、それらを含んでもよい。別の例として、液体試料は、懸濁液、乳液、および/または1つもしくは複数の化学物質および/もしくは生物学的物質の分散などの液体混合物であってもよく、それらを含んでもよい。しかしながら、他の、特に非液体試料が可能である。例えば、試料容器は試薬容器であってもよい。他の試料タイプは、例えば、組織、または均質化された材料などであってもよい。
【0016】
本明細書で使用される「試料容器」という用語は、広義の用語であり、当業者にとってその通常の慣習的な意味が与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定されないが、試料、特に液体試料を収容、保管、および/または輸送のうちの1つまたは複数のために構成された容器を指してもよい。さらに、試料容器は、試料取扱システム内で処理されるように構成されてもよい。具体的には、試料容器は、医学および/または化学の検査室の分野で使用されてもよい。例えば、試料容器は、容器、バイアル、注射器、カートリッジ、アンプル、チューブからなる群から選択されてもよい。例えば、試料容器は、試料を収容するための試料容器本体と、試料容器を密封するための蓋などの試料容器閉鎖部とを備えてもよい。例えば、試料容器は試料チューブを備えてもよく、試料チューブは、一例として、開放端が上向きを指す状態で試料容器ホルダ内に配置されてもよい。試料チューブは、試料チューブによって受け入れられた内容物を輸送、保管、および/または処理するための任意の個々の容器であってもよい。試料チューブは、任意にその上端に蓋を備える実験用のガラス製品またはプラスチック製品であってもよい。例えば、試料チューブは、ガラスチューブまたは透明なプラスチックチューブであってもよい。試料チューブは、円筒状チューブ、例えば、円形および/または多角形の断面を有する円筒状チューブであってもよい。他のタイプまたは形状の試料チューブも可能である。
【0017】
本明細書で使用される「監視」という用語は、広義の用語であり、当業者にとってその通常の慣習的な意味が与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定されないが、データ、特に装置またはシステムの状態を記述するデータを連続的に、不連続的に、または定期的に受信および/または取得するプロセス、特に自動化されたプロセスを指してもよい。この用語は、データから二次情報を導出することをさらに含んでもよい。例えば、試料取扱システムの状態は、受信または取得されたデータおよび二次情報のうちの少なくとも1つを使用して判定されてもよい。監視のプロセスは、自動的に、詳細には完全に自動的に実行されてもよい。監視のプロセスは、ユーザまたはオペレータの相互作用なしに実行されてもよい。この目的のために、監視は、1つまたは複数の測定信号を生成し、任意に評価することを含んでもよく、そこから所望の情報が決定されてもよい。信号は、固定もしくは可変の時間間隔内に、または代替もしくは追加として、少なくとも1つの所定の事象の発生時に記録されてもよい。
【0018】
例えば、試料取扱システムを監視することは、試料取扱システム内の障害物に関するデータを取得することを含んでもよい。監視は、試料取扱システム内の障害物に関する取得データから二次情報を導出することをさらに含んでもよい。監視のプロセスは、具体的には、障害物が試料取扱システム内に存在するかどうかを判定すること、障害物を識別すること、および試料取扱システム内の、特に試料輸送装置上の障害物の位置を決定することのうちの1つまたは複数を含んでもよい。
【0019】
本明細書で使用される「障害物」という用語は、広義の用語であり、当業者にとってその通常の慣習的な意味が与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定されないが、試料輸送装置上の試料容器ホルダの輸送を妨げる任意の物体を指してもよい。障害物は、具体的には、試料輸送装置の駆動面上のこぼれた液体、試料容器を収容しているか、または収容していない、動いていない試料容器ホルダのうちの少なくとも1つを含んでもよい。
【0020】
本明細書で使用される「監視装置」という用語は、広義の用語であり、当業者にとってその通常の慣習的な意味が与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定されないが、別の装置またはシステムを監視するように構成された装置を指してもよい。具体的には、監視装置は、試料取扱システムの状態の判定、監視、試験、および検査のうちの少なくとも1つの機能を実行するように構成されてもよい。監視装置は、監視される試料取扱システムと相互作用するように構成されてもよい。監視装置は、試料取扱システム内で移動可能であるように設計されてもよい。監視装置は、試料取扱システムの少なくとも2つの異なる位置で試料取扱システムを監視するように設計されてもよい。監視装置の移動は、以下でより詳細に記載されるように、試料取扱システムの少なくとも1つの輸送制御システムによって制御されてもよい。
【0021】
監視装置は、
少なくとも1つの輸送面を含む少なくとも1つの輸送ユニットであって、輸送ユニットが、試料取扱システムの少なくとも1つの試料輸送装置上の監視装置を輸送するように構成される、少なくとも1つの輸送ユニットと、
少なくとも1つのカメラと、任意に少なくとも1つの電源とを備える少なくとも1つの撮像ストリーミングユニットであって、カメラが複数の画像を撮像するように構成され、撮像ストリーミングユニットが、撮像された複数の画像を試料取扱システムの少なくとも1つの輸送制御システムに提供するための少なくとも1つの撮像通信インターフェースを備える、少なくとも1つの撮像ストリーミングユニットと
を備える。
【0022】
監視装置は、
少なくとも1つの摺動面を備える少なくとも1つの摺動ユニットであって、摺動ユニットが、試料取扱システムの少なくとも1つの試料輸送装置上を摺動するように構成される、少なくとも1つの摺動ユニットと、
少なくとも1つのカメラと、任意に少なくとも1つの電源とを備える少なくとも1つの撮像ストリーミングユニットであって、カメラが複数の画像を撮像するように構成され、撮像ストリーミングユニットが、撮像された複数の画像を試料取扱システムの少なくとも1つの輸送制御システムに提供するための少なくとも1つの撮像通信インターフェースを備える、少なくとも1つの撮像ストリーミングユニットと
を備えてもよい。
【0023】
本明細書で使用される「輸送ユニット」という用語は、広義の用語であり、当業者にとってその通常の慣習的な意味が与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定されないが、試料輸送装置上を第1の位置から第2の位置に監視装置を輸送するように構成された監視装置の構成要素を指してもよい。輸送ユニットは、摺動、ホイールの使用、および浮揚のうちの1つまたは複数により、試料輸送装置上を第1の位置から第2の位置に監視装置を輸送するように構成されてもよい。例えば、輸送ユニットは摺動ユニットである。以下では、例示的な実施形態として「摺動」が参照される。例えば、輸送面は摺動面として設計されてもよい。
【0024】
本明細書で使用される「摺動」という用語は、広義の用語であり、当業者にとってその通常の慣習的な意味が与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定されないが、接触している2つの面の間、特に摺動面と試料輸送装置の駆動面との間の摩擦運動による移動を指してもよい。摺動は、連続的な移動、例えば均一な移動、および/または不連続な移動、例えば段階的な移動であってもよく、それらを含んでもよい。
【0025】
本明細書で使用される「摺動ユニット」という用語は、広義の用語であり、当業者にとってその通常の慣習的な意味が与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定されないが、試料輸送装置上の摺動移動を可能にする監視装置の構成要素を指してもよい。具体的には、摺動ユニットは、単一のユニットに組み合わされた1つまたは複数の構成要素を備えてもよい。摺動ユニットの1つまたは複数の構成要素は、摺動を可能にするために互いに相互作用するように構成されてもよい。
【0026】
本明細書で使用される「摺動面」という用語は、広義の用語であり、当業者にとってその通常の慣習的な意味が与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定されないが、摺動に使用される監視装置の面を指してもよい。摺動面は、試料輸送装置の駆動面と摺動接触するように構成された少なくとも1つの機械部品であってもよい。摺動面は、摺動面と接触している駆動面との間の摩擦運動が可能であるように、平坦および/または均一であってもよい。摺動面は、試料輸送装置上の摺動ユニットの移動中に、摺動面と試料輸送装置の駆動面との間の摩擦が低減されるように、平坦および/または均一な面であってもよい。
【0027】
摺動ユニットは、少なくとも1つの作動要素を備えてもよい。本明細書で使用される「作動要素」という用語は、広義の用語であり、当業者にとってその通常の慣習的な意味が与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定されないが、試料輸送装置の少なくとも1つの駆動手段と相互作用するように構成された摺動ユニットの少なくとも1つの機械部分を指してもよい。作動要素は、磁気作動要素であってもよい。作動要素は、少なくとも1つの磁石を備えてもよい。具体的には、摺動ユニットは、永久磁化または非永久磁化を有するような磁性材料または強磁性材料を備えてもよい。作動要素は、試料輸送装置、特に試料輸送装置の駆動手段と磁気的に相互作用するように構成されてもよい。試料輸送装置の駆動手段は、変動磁場を生成し、摺動ユニットに接触することなく駆動力、特に磁力を加えるように構成されてもよく、それによって監視装置が移動する。試料輸送装置上の摺動ユニットの摺動は、磁気作動要素に駆動力を加えることによって制御可能であり得る。さらに、摺動は、少なくとも1つのエアクッションを使用することによって実行されてもよい。摺動は、任意のレール、トラック、または他の所定のコースを必要とせずに実行されてもよい。
【0028】
摺動ユニットは、作動要素を収容するように構成された少なくとも1つのハウジングを備えてもよい。本明細書で使用される「ハウジング」という用語は、広義の用語であり、当業者にとってその通常の慣習的な意味が与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定されないが、作動要素を包み込むように構成された機械部品を指してもよい。ハウジングは、作動要素によって生成された所望の磁束分布を提供するように構成されてもよい。ハウジングは、少なくとも1つの鉄の筐体を備えてもよい。
【0029】
摺動ユニットは、位置決定またはさらなる装置の取り付けの可能性などの追加の機能を摺動ユニットに提供するように構成された1つまたは複数の追加の構成要素を備えてもよい。
【0030】
例えば、摺動ユニットは、撮像ストリーミングユニットを受け入れ、ならびに/または撮像ストリーミングユニットを取り付け、ならびに/または撮像ストリーミングユニットと接続するように構成された少なくとも1つの機械インターフェースおよび/もしくは電気インターフェースを備えてもよい。本明細書で使用される「機械インターフェースおよび/または電気インターフェース」という用語は、広義の用語であり、当業者にとってのその一般的かつ普通の意味が与えられるべきであり、特殊または特別な意味に限定されるべきではない。この用語は、具体的には、限定されないが、摺動ユニットと撮像ストリーミングユニットとの間の機械的および/または電気的な接続を提供するように構成された少なくとも1つの要素を指してもよい。摺動ユニットおよび撮像ストリーミングユニットは、例えば、形状嵌合接続および圧入接続のうちの少なくとも1つによって互いに接続されてもよい。機械インターフェースおよび/または電気インターフェースは、少なくとも1つのフック、少なくとも1つのクランプを備えてもよい。
【0031】
摺動ユニットは、試料輸送装置上を摺動することによって電子信号を提供するための少なくとも1つの電子信号装置を備えてもよい。以下でさらに詳細に概説されるように、試料輸送装置は、複数の誘導センサを備えてもよい。電子信号装置は、試料輸送装置の誘導センサと相互作用するように構成されてもよい。具体的には、試料輸送装置上を摺動することにより、電子信号装置は、試料輸送装置の誘導センサに信号を誘導するように構成されてもよい。電子信号装置は、具体的には少なくとも1つの導電性要素からなる電気伝導要素を備えてもよい。例えば、電子信号装置は、銅ディスクを備えてもよい。電子信号装置は、具体的には試料輸送装置の複数の誘導センサを介して電子信号を検出することにより、試料輸送装置上の摺動ユニットの位置を決定するために使用されてもよい。試料輸送装置上の輸送ユニット、例えば摺動ユニットの位置は、「摺動位置」と呼ばれる場合もある。
【0032】
監視装置、特に摺動ユニットは、少なくとも1つのパッシブ型またはアクティブ型のRFIDチップを備えてもよい。試料取扱システムは、監視装置の識別および/または試料輸送装置上の摺動ユニットの位置の決定のために構成された少なくとも1つのRFIDリーダを備えてもよい。
【0033】
本明細書で使用される「試料輸送装置」という用語は、広義の用語であり、当業者にとってその通常の慣習的な意味が与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定されないが、ある位置から別の位置に物体を移動および/または輸送および/または移送および/または運搬するように構成された装置を指してもよい。試料輸送装置は、試料取扱システムを通して試料容器ホルダおよび/または監視装置のうちの少なくとも1つを移動させるように構成されてもよい。具体的には、試料輸送装置は、複数の試料容器ホルダおよび/または1つもしくは複数の監視装置を、第1の位置から第1の位置とは異なる試料輸送装置の第2の位置へなど、試料取扱システムを通して同時に移動させるように構成されてもよい。試料輸送装置は、複数の輸送要素を有するマルチレーン輸送システムであってもよく、それらを備えてもよい。試料輸送装置は、複数の平行輸送要素であってもよく、それらを備えてもよい。輸送装置は、共通の平面、および/または互いの上などの異なる平面に配置されてもよい。試料輸送装置は、国際公開第2011/138448号に開示されているように設計されてもよい。
【0034】
試料輸送装置は、少なくとも1つの駆動面を備えてもよい。本明細書で使用される「駆動面」という用語は、広義の用語であり、当業者にとってその通常の慣習的な意味が与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定されないが、試料容器ホルダおよび監視装置がそれを介して輸送することができる、例えば、試料容器ホルダおよび監視装置がそれを介して摺動することができる少なくとも1つの輸送面を指してもよい。試料輸送装置は、複数の電磁アクチュエータ、例えば複数の電磁コイルを備えてもよい。複数の電磁アクチュエータは、駆動面の下に、例えば市松模様に配置されてもよく、摺動ユニットと磁気的に相互作用するように構成されてもよい。
【0035】
輸送面は、監視装置の要素であってもよい。輸送面は、試料容器ホルダの要素であってもよい。駆動面は、試料輸送装置の要素であってもよい。監視装置および試料容器ホルダの駆動面および輸送面は、監視装置および試料容器ホルダが駆動面上を例えば摺動を介して輸送され得るように相互作用するように構成されてもよい。
【0036】
試料輸送装置は、駆動面上の輸送ユニット、例えば摺動ユニットの位置を決定するための複数のセンサを備えてもよい。試料輸送装置は、複数の誘導センサを備えてもよい。複数の誘導センサは、試料輸送装置の駆動面上の摺動ユニットの位置を決定するように構成されてもよい。
【0037】
本明細書で使用される「撮像ストリーミングユニット」という用語は、広義の用語であり、当業者にとってその通常の慣習的な意味が与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定されないが、画像データを収集または取得すること、および収集または取得された画像データを提供することのうちの少なくとも1つのために構成されたアイテムまたは要素を指してもよい。画像撮像ストリーミングユニットは、少なくとも1つのカメラを備える。撮像ストリーミングユニットは、カメラ以外に、取得された画像データをコンピュータネットワークを介して直接提供するための1つまたは複数のデータ処理装置、例えば1つまたは複数のデータプロセッサを備えてもよい。撮像ストリーミングユニットは、具体的には、画像データを取得し、取得された画像データをコンピュータネットワーク内で提供するように構成されてもよい。
【0038】
本明細書で使用される「画像」という用語は、広義の用語であり、当業者にとってその通常の慣習的な意味が与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定されないが、カメラチップのピクセルなどの、カメラからの複数の電子読取り値などの、少なくとも1つのカメラを使用して撮像されたものを指してもよい。本明細書で使用される「撮像する」という用語は、広義の用語であり、当業者にとってその通常の慣習的な意味が与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定されないが、イメージング、画像記録、画像取得のうちの1つまたは複数を指してもよい。「撮像」という用語は、一連の画像などの複数の画像を撮像することを含み得る。例えば、複数の画像の撮像は、ビデオまたは動画などの一連の画像を連続的に記録することを含んでもよい。複数の画像の撮像は、試料取扱システムのオペレータのアクションによって開始されてもよく、または例えば、カメラの視野内および/または視野の所定のセクタ内の少なくとも1つの物体の存在が自動的に検出されると、自動的に開始されてもよい。自動画像取得技法は、例えば、自動バーコード読取りアプリなどの自動バーコードリーダの分野で知られている。画像の撮像は、一例として、カメラで画像のストリームまたは「ライブストリーム」を取得することによって行われてもよい。本明細書で使用される、ビデオストリームとも示される、「ストリーム」という用語は、広義の用語であり、当業者にとってその通常の慣習的な意味が与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定されないが、少なくとも1つの時間フレーム内に撮像された複数の画像を含む任意のサイズまたは長さの画像データストリームを指してもよい。例えば、時間フレームは時間間隔であってもよい。本明細書で使用される「ストリーミングする」という用語は、広義の用語であり、当業者にとってその通常の慣習的な意味が与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定されないが、絶えず画像を撮像し、撮像された画像を輸送制御システムに提供することを指してもよい。カメラは、ビデオストリームを撮像するように構成されてもよい。例えば、カメラは、毎秒少なくとも10枚、具体的には少なくとも20枚、より具体的には少なくとも30枚の画像を撮像するように構成されてもよい。撮像ストリーミングユニットは、特に無線ネットワークを介して、輸送制御システムなどの別のコンピュータに撮像されたフレームをストリーミングするように構成されてもよい。輸送制御システムは、カメラによって撮像されたフレームを連続的に把持し得る。これにより、検査室のオペレータがほぼリアルタイムで障害物を見ることができる。本明細書で使用される「フレーム」という用語は、広義の用語であり、当業者にとってその通常の慣習的な意味が与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定されないが、ビデオストリームに含まれる単一の画像を指してもよい。フレームは、具体的には、複数の画像のうちの1つの画像を指してもよい。
【0039】
本明細書で使用される「カメラ」という用語は、広義の用語であり、当業者にとってその通常の慣習的な意味が与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定されないが、空間的に分解された1次元、2次元、または3次元の光学データまたは情報を記録するかまたは撮像するように構成された少なくとも1つの撮像素子を有する装置を指してもよい。一例として、カメラは、画像を記録するように構成された少なくとも1つのCCDチップおよび/または少なくとも1つのCMOSチップなどの、少なくとも1つのカメラチップを備えてもよい。
【0040】
カメラは、少なくとも1つのカメラチップまたは撮像チップ以外に、1つまたは複数の光学素子、例えば、1つまたは複数のレンズなどのさらなる素子を備えてもよい。一例として、カメラは、カメラに対して固定して調整される少なくとも1つのレンズを有する固定焦点カメラであってもよい。しかしながら、代替として、カメラはまた、自動または手動で調整され得る1つまたは複数の可変レンズを備えてもよい。しかしながら、他のカメラも実現可能である。
【0041】
カメラは、少なくとも1つのカラーカメラを備えてもよい。例えば、ピクセルごとに、R、G、Bの3色の色値などの色情報が提供または生成されてもよい。ピクセルごとに4つの色、例えばR、G、G、Bなどのより多くの数の色値も実現可能である。カラーカメラは、一般に、当業者に知られている。例えば、カメラチップの各ピクセルは、赤(R)用の1ピクセル、緑(G)用の1ピクセル、および青(B)用の1ピクセルなどの、3つまたはそれより多い異なるカラーセンサを有してもよい。R、G、Bなどのピクセルの各々について、0から255の範囲のデジタル値などの値は、それぞれの色の強度に応じて、ピクセルによって記録されてもよい。ピクセルの色感度は、カラーフィルタによって、またはカメラピクセル内で使用されるセンサ素子の適切な固有感度によって生成されてもよい。これらの技法は、一般に、当業者に知られている。
【0042】
カメラは、IPカメラ、ワイヤレスカメラ、ネットワークカメラ、軽量カメラ、単焦点カメラ、広角カメラ、固定焦点レンズカメラのうちの少なくとも1つを備えてもよい。
【0043】
撮像ストリーミングユニットは、少なくとも4つのカメラを備えてもよい。4つのカメラの視野は、互いに対して90°回転し得る。視野は、カメラを通して見える環境の範囲であり得る。カメラは、広角視野および/または駆動面に向かう方向を有するように配置されてもよい。カメラは、駆動面に向かって傾斜し得る。一例として、カメラの視野は、少なくとも90°の水平画角を有し得る。特に4つのカメラを備える撮像ストリーミングユニットは、全方向視野を提供するように構成されてもよい。撮像ストリーミングユニットのカメラは、試料輸送装置に、具体的には試料輸送装置の駆動面に向けられ、すなわち試料輸送装置に向かって少なくとも15°の水平角で傾斜してもよい。2つ、3つ、または4つを超えるカメラを有する他の実施形態も実現可能である。
【0044】
本明細書で使用される「通信インターフェース」という用語は、広義の用語であり、当業者にとってその通常の慣習的な意味が与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定されないが、データまたは情報を転送するように構成された境界を形成するインターフェースを指してもよい。詳細には、通信インターフェースは、例えば別の装置にデータまたは情報を送信または出力するためなどに、計算装置、例えばコンピュータからデータまたは情報を転送するように構成されてもよい。追加または代替として、通信インターフェースは、情報を受信するためなどに、計算装置、例えばコンピュータにデータまたは情報を転送するように構成されてもよい。通信インターフェースは、具体的には、データまたは情報を転送または交換するための手段を提供し得る。詳細には、通信インターフェースは、データ転送接続、例えば、ブルートゥース(登録商標)、NFC、誘導結合などを提供し得る。一例として、通信インターフェースは、ネットワークまたはインターネットポート、USBポート、およびディスクドライブのうちの1つまたは複数を備える少なくとも1つのポートであってもよく、それらを備えてもよい。通信インターフェースは、少なくとも1つのウェブインターフェースであってもよい。撮像ストリーミングユニットは、撮像通信インターフェースとして示された少なくとも1つの通信インターフェースを備えてもよい。撮像ストリーミングユニットの撮像通信インターフェースは、撮像されたビデオストリームを輸送制御システムに提供するように構成されてもよい。例えば、撮像通信インターフェースは、具体的には、カメラによって取得された画像データを、輸送制御システムのコンピュータまたはコンピュータネットワークなどの計算装置に転送するように構成されてもよい。例えば、撮像通信インターフェースは、撮像された複数の画像を計算装置に転送するように構成されてもよい。撮像通信インターフェースから計算装置への画像データの転送は、伝送制御プロトコルなどのインターネットベースのプロトコルを含んでもよい。通信インターフェースは、少なくとも1つのワイヤレス通信インターフェースを含んでもよい。
【0045】
監視装置、具体的には撮像ユニットは、撮像ストリーミングユニットに電力を供給するための少なくとも1つの電源を備えてもよい。電源は、少なくとも1つの電力ソースであってもよく、それらを備えてもよい。例えば、電源は、複数の、特に垂直に積み重ねられたバッテリを備えるバッテリシステム、または単一のバッテリを備えるバッテリシステムなどの、少なくとも1つのバッテリシステムを備えてもよい。電源は、少なくとも4.8Vの電圧を撮像ストリーミングユニットに供給するように構成されてもよい。例えば、撮像ストリーミング装置は、少なくとも1つのIPカメラを有するESP32モジュールを備えてもよく、少なくとも4.8Vを提供する電源により、例えば充電式バッテリシステムによって電力を供給されてもよい。
【0046】
さらなる態様では、試料取扱システムの複数の試料容器ホルダの輸送を制御するための輸送制御システムが開示される。例えば、試料取扱システムの定義および実施形態については、監視装置の文脈で概説された定義および実施形態を参照されたい。
【0047】
本明細書で使用される「試料容器ホルダ」という用語は、広義の用語であり、当業者にとってその通常の慣習的な意味が与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定されないが、少なくとも1つの試料容器を受け入れるように構成された任意の装置を指してもよい。試料容器の受け入れは、試料容器を少なくとも部分的に包み込み保持することを含んでもよい。具体的には、試料容器ホルダは、試料容器ホルダが少なくとも1つの試料容器を受け入れることを可能にし得るように整形されてもよい。例えば、試料容器が試料チューブ、例えば、円筒形の細長い形状を有する試料容器を含む場合、試料容器ホルダは、試料チューブを少なくとも部分的に包み込み保持するように構成された円形の吸入口を含んでもよい。例えば、試料容器ホルダは、単一の試料容器ホルダであってもよい。本明細書で使用される「単一の」試料容器ホルダという用語は、広義の用語であり、当業者にとってその通常の慣習的な意味が与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定されないが、各試料容器ホルダがただ1つの試料容器を運搬するという事実を指してもよい。単一の試料容器ホルダは、単一の試料容器を受け入れるように構成されてもよい。別の例として、試料容器ホルダは、複数の試料容器を受け入れるように構成されてもよい。例えば、その内容が参照により本明細書に含まれる欧州特許出願公開第3070479号明細書に開示されているように、試料容器ホルダは、5つの試料容器を輸送するように構成されてもよい。例えば、試料容器ホルダは、複数の試料容器を輸送するための少なくとも1つのラックであってもよく、それらを備えてもよい。例えば、試料容器ホルダは、複数の試料容器を輸送するように構成されたマルチアダプタを有する単一のホルダであってもよい。例えば、試料容器ホルダは、単一の試料容器ホルダであってもよく、試料容器は、複数の試料を輸送するための複数のサブ容器を備える試料チューブであってもよい。試料容器ホルダは、試料輸送装置によって移動するように構成されてもよい。
【0048】
試料容器ホルダは、少なくとも1つの輸送ユニット、例えば摺動ユニットと、少なくとも1つの保持ユニットとを備えてもよい。試料容器ホルダの輸送ユニット、例えば摺動ユニットは、具体的には、監視装置の輸送ユニット、例えば摺動ユニットと同一に具現化されてもよい。監視装置および試料容器ホルダは、同じ輸送原理を使用し得る。再び、例示的な実施形態として「摺動ユニット」が以下で参照される。摺動ユニットおよび保持ユニットは、例えば、形状嵌合接続および圧入接続のうちの少なくとも1つによって互いに接続されてもよい。接続は、フック、クランプなどの少なくとも1つを備えてもよい。保持ユニットは、試料容器を受け入れ保持するように構成されてもよい。上記で概説されたように、試料容器ホルダの摺動ユニットは、試料輸送装置上を摺動するように構成されてもよい。
【0049】
本明細書で使用される「輸送を制御すること」という用語は、広義の用語であり、当業者にとってその通常の慣習的な意味が与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定されないが、試料輸送装置上の試料容器ホルダの移動の決定、評価、検証、維持、または設定のうちの1つまたは複数のプロセスを指してもよい。具体的には、輸送を制御することは、輸送速度、輸送方向などの1つまたは複数の輸送特性を決定および設定することを含んでもよい。上記で概説されたように、試料輸送装置上の試料容器ホルダの輸送は、単一の輸送ホルダの個々の輸送であってもよい。したがって、輸送を制御することは、各試料容器ホルダの輸送特性を個別に制御することを含んでもよい。
【0050】
本明細書で使用される「輸送制御システム」という用語は、広義の用語であり、当業者にとってその通常の慣習的な意味が与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定されないが、試料容器ホルダの輸送を制御するプロセスを実行するように構成されたシステムを指してもよい。具体的には、輸送制御システムは、試料輸送装置を制御し、それによって試料輸送装置上の試料容器ホルダの輸送を制御するように構成されてもよい。輸送制御システムは、試料輸送装置上の試料容器ホルダの摺動を制御するように構成されてもよい。輸送制御システムは、試料輸送装置上の監視装置の摺動を制御するように構成されてもよい。
【0051】
輸送制御システムは、試料輸送装置上の試料容器ホルダの位置を決定するように構成されてもよい。上記で概説されたように、試料輸送装置は、試料輸送装置の駆動面上の輸送容器ホルダおよび/または輸送ユニット、例えば摺動ユニットの位置を決定するための複数の誘導センサを備えてもよい。輸送制御システムは、駆動面上の輸送ユニット、例えば摺動ユニットの位置を示す複数の誘導センサの信号を決定し、輸送ユニット、例えば摺動ユニットの位置を決定するように構成されてもよい。
【0052】
輸送制御システムは、少なくとも1つの制御通信インターフェースを備える。輸送制御システムは、複数の画像を評価し、それによって少なくとも1つの障害物に関する情報の少なくとも1つの項目を導出するための少なくとも1つの処理ユニットをさらに備える。情報の少なくとも1つの項目を導出することは、複数の画像に少なくとも1つの訓練済み物体分類および検出モデルを適用することを含む。輸送制御システムは、情報の項目に基づいて試料取扱システムの試料輸送装置の機能を制御するように構成される。
【0053】
本明細書で使用される「制御通信インターフェース」という用語は、広義の用語であり、当業者にとってその通常の慣習的な意味が与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定されないが、輸送制御システムの通信インターフェースを指してもよい。制御通信インターフェースは、具体的には、監視装置の撮像通信インターフェースとデータまたは情報を交換するように構成されてもよい。制御通信インターフェースは、撮像通信インターフェースによって提供された撮像された複数の画像を取り出し得る。
【0054】
本明細書で使用される「処理ユニット」という用語は、広義の用語であり、当業者にとってその通常の慣習的な意味が与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定されないが、少なくとも1つのプロセッサなどの少なくとも1つの計算要素を備える単一の装置または複数の装置などの装置を指してもよい。本明細書で使用される「プロセッサ」という用語は、コンピュータもしくはシステムの基本動作を実行するように構成された任意の論理回路を指してもよく、および/または、一般に、計算または論理演算を実行するように構成された装置を指してもよい。詳細に、プロセッサは、コンピュータまたはシステムを駆動する基本命令を処理するように構成されてもよい。一例として、プロセッサは、少なくとも1つの算術論理演算ユニット(ALU)と、数値演算コプロセッサまたは数値コプロセッサなどの少なくとも1つの浮動小数点ユニット(FPU)と、複数のレジスタ、具体的にはALUにオペランドを供給し、演算結果を格納するように構成されたレジスタと、L1およびL2キャッシュメモリなどのメモリとを含んでもよい。詳細には、プロセッサは、マルチコアプロセッサであってもよい。具体的には、プロセッサは、中央処理装置(CPU)であってもよく、それを備えてもよい。具体的には、プロセッサは、少なくとも1つのグラフィック処理ユニット(GPU)であってもよく、それらを備えてもよい。追加または代替として、プロセッサは、マイクロプロセッサであってもよく、それを備えてもよく、したがって、具体的には、プロセッサの要素は、単一の集積回路(IC)チップに含まれてもよい。追加または代替として、プロセッサは、1つもしくは複数の特定用途向け集積回路(ASIC)および/または1つもしくは複数のフィールドプログラマブルゲートアレイ(FPGA)および/または1つもしくは複数のテンソル処理ユニット(TPU)および/または専用機械学習最適化チップなどの1つもしくは複数のチップであってもよく、それらを備えてもよい。処理ユニットは、具体的には、ソフトウェアプログラミングなどにより、1つまたは複数の評価動作を実行するように構成されてもよい。
【0055】
上記で概説されたように、処理ユニットは、複数の画像を評価し、それによって障害物に関する情報の項目を駆動するように構成される。具体的には、処理ユニットは、複数の画像内の障害物を識別および分類するように構成されてもよい。処理ユニットは、少なくとも1つの障害物の色を検出するように構成されてもよい。
【0056】
本明細書で使用される「情報の項目」という用語は、広義の用語であり、当業者にとってその通常の慣習的な意味が与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定されないが、1つまたは複数の数値および/または英数字値を含む変数またはパラメータを指してもよい。情報の項目は、物体または装置の少なくとも1つの特質、品質、特徴、または特性を定量化し得る。情報の項目は、具体的には、障害物に関する情報を含んでもよい。例えば、障害物に関する情報の項目は、障害物の存在、障害物の分類、駆動面上の障害物の位置、障害物の移動状況、障害物の色、監視装置と障害物との間の距離のうちの少なくとも1つを含んでもよい。
【0057】
情報の項目は、複数の画像に少なくとも1つの訓練済み物体分類および検出モデルを適用することによって導出されてもよい。例えば、訓練済み物体分類および検出モデルは、各カメラからのフレームに適用されてもよい。
【0058】
物体分類および検出モデルは、具体的には、事前訓練済み畳み込みニューラルネットワークを含んでもよい。本明細書で使用される「物体分類および検出モデル」という用語は、広義の用語であり、当業者にとってその通常の慣習的な意味が与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定されないが、複数の画像内の物体の物体認識および/または識別、ならびに検出された物体の分類、特に検出物体へのクラスラベルの割当てのために構成された少なくとも1つの機械学習および/または深層学習アーキテクチャを指してもよい。物体分類および検出モデルは、少なくとも1つの畳み込みニューラルネットワークを含んでもよい。畳み込みニューラルネットワークは、マルチレイヤ畳み込みニューラルネットワークであってもよい。畳み込みニューラルネットワークは、複数の畳み込みレイヤを備えてもよい。畳み込みレイヤは1次元レイヤであってもよく、すなわち、畳み込みは1次元時間領域に適用される。畳み込みレイヤの後に、複数の全結合レイヤが続いてもよい。畳み込みニューラルネットワークは、複数のプーリングレイヤを備えてもよい。畳み込みニューラルネットワークの構造は、一般に、https://en.wikipedia.org/wiki/Convolutional_neural_network#Convolutionalなどから当業者に知られている。物体分類および検出モデルは、AlexNet、ビジュアルジオメトリグループ(「VGG」)ネット、残差ニューラルネットワーク(「ResNet」)、You Only Look Once(「YOLO」)、高速化された領域ベースの畳み込みネットワーク方法(「R-CNN」)、領域ベースの完全畳み込みネットワーク(「R-FCN」)、単一ショット検出器(「SSD」)、空間ピラミッドプーリング(SPP-Net)からなる群から選択される少なくとも1つの畳み込みニューラルネットワークを含んでもよい。追加または代替として、k近傍法アルゴリズム(「KNN」)、サポートベクターマシン(「SVM」)などの古典的な分類機械学習アルゴリズムを使用することが可能であり得る。特にこぼれた液体の場合、こぼれた液体の形状は、通常、試料容器ホルダとは非常に異なるので、KNNまたはSVMなどの古典的な分類機械学習アルゴリズムを使用して、検出された障害物を分類および位置付けすることが可能であり得る。また、カラーカメラを使用することにより、血液と尿との間の区別が可能であることなど、尿試料の色が血液試料と異なってもよい。
【0059】
本明細書で使用される「訓練済み物体分類および検出モデル」という用語は、広義の用語であり、当業者にとってその通常の慣習的な意味が与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定はされないが、「訓練データ」とも示された少なくとも1つの訓練データセットで訓練された、物体を検出および分類するためのモデルを指してもよい。詳細には、訓練済み物体分類および検出モデルは、専門家によって事前に分類された既存のデータで訓練された。物体分類および検出モデルは、駆動面上の試料容器ホルダおよび/または駆動面上の液体を分類するように事前に訓練された。具体的には、畳み込みニューラルネットワークモデルは、提案された概念を研究するために使用されたYOLOV3小型深層学習アーキテクチャに基づく。YOLOV3小型深層学習アーキテクチャに関しては、その内容が参照により本明細書に含まれる、Joseph RedmonおよびAli Farhadi、「YOLOv3:An Incremental Improvement」2018、arXiv:1804.02767を参照されたい。YOLOV3小型深層学習アーキテクチャは、同様のまたはより良い予測精度で、領域ベース畳み込みニューラルネットワーク(R-CNN)よりも1000倍高速であり、高速R-CNNよりも100倍高速であり得る。分類のための迅速な推論時間は、CNNアーキテクチャを選択するための重要な考慮事項であり得る。訓練画像データは、試料容器の有無にかかわらず、こぼれた液体、例えば血液試料のこぼれ、尿試料のこぼれ、および試料キャリアのような異なる障害物を有する輸送面の複数の画像を含んでもよい。複数の画像は、様々な屋内照明条件および/または視点と障害物との間の距離を有する異なる状態の輸送面の画像を含んでもよい。具体的には、方法は、少なくとも1つの訓練ステップを含んでもよく、訓練ステップは、少なくとも1つの訓練データセットを生成することを含んでもよい。訓練データセットは、ラベル付けされた試料データのセットであり得る。訓練データセットは、輸送面の少なくとも一部の複数の画像のセットを撮像することによって生成されてもよい。さらに、照明および照明条件は、複数の画像のセットに対して変化してもよい。さらに、監視装置カメラと障害物との間の距離は、複数の画像のセットに対して変化してもよい。撮像された複数の画像のセットは、手作業で注釈付けされてもよく、境界ボックスなどの対象領域は、障害物としてラベル付けされてもよい。障害物は、尿、血液などのようなカテゴリにさらに分類されてもよい。
【0060】
モデルの訓練は、訓練時間を節約し、通常、ニューラルネットワークのより良い性能をもたらし、多くの訓練データを必要としないので、転移学習技法を使用することを含んでもよい。具体的には、モデル、特にYOLOv3小型モデルは、例えば、J.Deng、W.Dong、R.Socher、L.Li、Kai Li、およびLi Fei-Fei、「ImageNet:A large-scale hierarchical image database」、2009 IEEE Conference on Computer Vision and Pattern Recognition、Miami、FL、2009、pp.248~255、doi:10.1109/CVPR.2009.5206848に記載されているImageNetデータセットなどの画像データで事前訓練済み畳み込み重みを使用し得る。転送学習技法、人間、車、バイクなどの一般的な物体を検出するようにすでに訓練されているモデルを使用することの利害は、CNNモデル内の下位畳み込みレイヤとして輸送面上の障害物を判定する方法を迅速に学習することができ、線、エッジ、ドットなどの小さい特徴を識別する方法をすでに知っていることである。輸送面上の障害物を正確に判定できるようにモデルを訓練するために、訓練データセットは、例えば、4:1の割合に訓練セットと試験セットに分割されてもよく、次いで、これは、検出精度を高めるために最小化されなければならない場合がある損失関数値を計算するために、モデルの訓練段階中に使用される。標準的なYOLOV3小型モデルの設定がさらに調整されてもよく、ハイパーパラメータは、輸送面上の障害物を検出し、すでに訓練済みモデルの追加の訓練、特に再訓練を可能にすることができるように調整されてもよい。モデルのパラメータ、特にYOLOV3小型モデルの畳み込み重みは、訓練中に更新されてもよい。対象のさらなる画像が収集される場合、精度を高めるために同じ訓練済みモデルを再訓練することができる。訓練済みモデルは、画像領域内の複数の障害物を分類するように構成されてもよい。
【0061】
試料輸送装置の機能を制御することは、監視装置および試料容器ホルダのうちの1つまたは複数の輸送、例えば摺動を制御することを含んでもよい。試料輸送装置は、監視装置および試料容器ホルダのうちの1つまたは複数を第1の位置から第2の位置に輸送する、例えば摺動させるように構成されてもよい。例えば、摺動の場合、摺動は、監視装置および/または試料容器ホルダの摺動ユニットに加えられる磁力によって誘導されてもよい。輸送制御システムは、試料輸送装置、特に試料輸送装置の電磁アクチュエータを制御するように構成されてもよい。監視装置および/または試料容器ホルダの摺動方向は、国際公開第2011/138448号に例示的に記載されているように、対応する電磁アクチュエータを制御することによって調整可能であり得る。
【0062】
情報の項目に基づいて試料輸送装置の機能を制御することは、具体的には、障害物に関する情報の項目を考慮に入れて試料容器ホルダの輸送を適応させることを含んでもよい。輸送制御システムは、複数の試料容器ホルダの経路選択を管理するように構成されてもよい。したがって、予期しない試料容器ホルダまたはこぼれた液体試料などの障害物が処理ユニットによって検出された場合、試料輸送装置上の障害物の位置が決定されてもよく、導出された情報の項目が輸送制御システムによって使用されて、経路選択を適応させ、他の試料容器ホルダおよび/または監視装置が障害物に対してまたはその上を摺動するのを回避してもよい。
【0063】
輸送制御システムは、少なくとも1つの表示装置などの少なくとも1つのユーザインターフェースを備えてもよい。障害物に関する情報の項目は、ユーザインターフェースによって表示されてもよい。例えば、少なくとも1つの画像またはビデオがユーザインターフェースによって表示される。加えて、訓練済み物体分類および検出モデルによって決定された検出された障害物の境界ボックスは、特にほぼリアルタイムで表示されてもよい。本明細書で使用される「ユーザインターフェース」という用語は、広義の用語であり、当業者にとってその通常の慣習的な意味が与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定されないが、データまたはコマンドのうちの1つまたは複数の交換などのために、一方向または双方向に情報を交換する目的などのために、その環境と相互作用するように構成された輸送制御システムの機能を指してもよい。例えば、輸送制御装置のユーザインターフェースは、ユーザと情報を共有し、ユーザが情報を受け取るように構成されてもよい。輸送制御装置のユーザインターフェースは、ディスプレイなどのユーザと視覚的に相互作用する機能、またはユーザと音響的に相互作用する機能であり得る。ユーザインターフェースは、一例として、グラフィカルユーザインターフェース、ワイヤレスおよび/または有線のデータインターフェースなどのデータインターフェースのうちの1つまたは複数を含んでもよい。ユーザインターフェースは、障害物に関する情報の項目をユーザに表示すること、および撮像された複数の画像、特にビデオストリームをユーザに表示することのうちの少なくとも1つのために構成されてもよい。
【0064】
処理ユニットは、具体的には、複数の画像内の障害物を検出し、監視装置と障害物との間の距離を決定するように構成されてもよい。上記に概説されたように、輸送制御システムは、試料輸送装置上の監視装置の位置を決定するように構成されてもよい。処理ユニットは、
に従って監視装置と障害物との間の距離dを決定するように構成されてもよく、
1は、第1の位置における画像内の障害物の高さを示し、y2は、第1の位置とは異なる第2の位置における画像内の障害物の高さを示し、mは、第1の位置から第2の位置まで移動した距離を示し、dは、障害物と第1の位置における監視装置との間の距離を示す。
【0065】
第1の位置および第2の位置、y1、ならびにy2で撮像された画像内の障害物の高さは、撮像された画像上の輪郭およびエッジの検出を使用して決定されてもよい。画像内の障害物の高さは、ピクセル単位で決定されてもよい。第1の位置から第2の位置まで移動した距離、すなわちmは、試料輸送装置上の監視装置の移動を分析することによって決定されてもよい。監視装置は、試料輸送装置上で水平および/または垂直に輸送することができるようにしてもよい。試料輸送装置は複数の駆動面を備えてもよく、各駆動面の寸法は既知であり得る。監視装置は、試料輸送装置の1つの電磁作動要素から別の電磁作動要素に摺動し得る。輸送制御システムは、試料輸送装置上の監視装置の位置を決定するように構成されてもよい。隣接する電磁作動要素間の距離は既知であり得る。したがって、特に試料輸送装置上を移動した垂直距離および水平距離を考慮することにより、第1の位置から第2の位置まで監視装置が移動した距離を決定することが可能であり得る。さらに、複数の画像内で試料輸送装置の2つの駆動面の間の可視境界を検出することが可能であり得る。可視境界は、決定された距離の精度を向上させるための基準位置として使用されてもよい。
【0066】
輸送制御システムは、上記に開示された実施形態のいずれか1つおよび/または以下にさらに詳細に開示される実施形態のいずれか1つなどによる、本発明による少なくとも1つの監視装置を備えてもよい。
【0067】
さらなる態様では、複数の試料を取り扱うための試料取扱システムが開示される。例えば、試料取扱システムの定義および実施形態については、監視装置および輸送制御システムの文脈で概説された定義および実施形態を参照されたい。
【0068】
試料取扱システムは、
各々が試料容器を受け入れるように構成された複数の試料容器ホルダと、
上記に開示された実施形態のいずれか1つによる、および/または以下にさらに詳細に開示される実施形態のいずれか1つによるなど、本発明による少なくとも1つの監視装置と、
複数の試料容器ホルダおよび監視装置を輸送するように構成された少なくとも1つの試料輸送装置であって、試料輸送装置が試料容器ホルダおよび監視装置を2次元輸送するように構成される、少なくとも1つの試料輸送装置と、
少なくとも1つの障害物に関する情報の項目を考慮して、試料輸送装置を介した複数の試料容器ホルダの輸送を制御するための少なくとも1つの輸送制御システムと
を備える。
【0069】
試料容器ホルダは、少なくとも1つの輸送ユニット、例えば摺動ユニットと、試料容器を保持するための少なくとも1つの保持ユニットとを備えてもよい。具体的には、試料容器の輸送ユニット、例えば摺動ユニットは、監視装置の輸送ユニット、例えば摺動ユニットと同一に具現化されてもよい。
【0070】
上記に概説されたように、試料輸送装置は、少なくとも1つの駆動面を備えてもよい。
【0071】
駆動面は、監視装置を駆動するように構成されてもよい。監視装置は、駆動面上を輸送されるように構成されてもよい。試料容器ホルダは、試料輸送装置の駆動面上を輸送されるように構成された少なくとも1つの輸送ユニットを備えてもよい。輸送ユニット、例えば摺動ユニット、具体的には試料容器ホルダおよび監視装置のうちの少なくとも1つに含まれる摺動ユニットは、試料輸送装置の駆動面上を、例えば摺動することによって輸送されるように構成されてもよい。
【0072】
試料取扱システムに含まれる輸送制御システムは、上記に開示された実施形態のいずれか1つによる、および/または以下でさらに詳細に開示される実施形態のいずれか1つによるなど、本発明による輸送制御システムである。
【0073】
さらなる態様では、少なくとも1つの障害物を識別するための方法が開示される。方法の定義および実施形態については、監視装置、輸送制御システム、および/または試料取扱システムの文脈で開示された定義および実施形態を参照されたい。
【0074】
方法は、一例として、所与の順序で実行され得る以下のステップを含む。しかしながら、異なる順序も可能であることに留意されたい。さらに、方法ステップの1つまたは複数を1回または繰り返し実行することも可能である。さらに、方法ステップの2つまたはそれより多くを同時にまたは適時にオーバーラップして実行することが可能である。方法は、列挙されていないさらなる方法ステップを含んでもよい。
【0075】
方法は、
i.上記に開示された実施形態のいずれか1つ、および/または以下でさらに詳細に開示される実施形態のいずれか1つなどによる、本発明による少なくとも1つの監視装置を使用して監視装置の複数の位置で複数の画像を撮像し、少なくとも1つの撮像通信インターフェースを介して複数の画像を提供することと、
ii.上記に開示された実施形態のいずれか1つ、および/または以下でさらに詳細に開示される実施形態のいずれか1つなどによる、本発明による少なくとも1つの輸送制御システムの少なくとも1つの制御通信インターフェースを介して複数の画像を取り出すことと、
iii.輸送制御システムの少なくとも1つの処理ユニットを使用して複数の画像に少なくとも1つの訓練済み物体分類および検出モデルを適用することによって障害物を識別することと
を含む。
【0076】
具体的には、ステップi.は、監視装置を使用して複数の位置で少なくとも1つのビデオストリームを撮像することを含んでもよい。複数の画像を提供することは、少なくとも1つのインターネットプロトコルを介して、具体的には撮像通信インターフェースを使用してビデオストリームをストリーミングすることを含んでもよい。
【0077】
さらなる態様では、少なくとも1つの障害物と監視装置との間の距離を決定するための方法が開示される。方法の定義および実施形態については、監視装置、輸送制御システム、および/または試料取扱システムの文脈で開示された定義および実施形態を参照されたい。
【0078】
方法は、一例として、所与の順序で実行され得る以下のステップを含む。しかしながら、異なる順序も可能であることに留意されたい。さらに、方法ステップの1つまたは複数を1回または繰り返し実行することも可能である。さらに、方法ステップの2つまたはそれより多くを同時にまたは適時にオーバーラップして実行することが可能である。方法は、列挙されていないさらなる方法ステップを含んでもよい。
【0079】
方法は、
a.上記に開示された実施形態のいずれか1つ、および/または以下でさらに詳細に開示される実施形態のいずれか1つなどによる、本発明による少なくとも1つの監視装置を使用することにより、監視装置の少なくとも1つの第1の位置および第1の位置とは異なる監視装置の少なくとも1つの第2の位置において、上記に開示された実施形態のいずれか1つ、および/または以下でさらに詳細に開示される実施形態のいずれか1つなどによる、本発明による少なくとも1つの障害物を識別するための方法を使用して少なくとも1つの障害物を識別することと、
b.第1の位置で撮像された少なくとも1つの第1の画像および第2の位置で撮像された少なくとも1つの第2の画像を分析することにより、かつ、
に従って障害物と監視装置との間の距離dを決定することにより、障害物と監視装置との間の距離を決定することであって、
1は、第1の位置における画像内の障害物の高さを示し、y2は、第2の位置における画像内の障害物の高さを示し、mは、第1の位置から第2の位置まで移動した距離を示し、dは、障害物と第1の位置における監視装置との間の距離を示す、
障害物と監視装置との間の距離を決定することと
を含む。
【0080】
具体的には、方法ステップa.は、試料輸送装置を使用することにより、試料取扱システムの第1の位置から第2の位置に監視装置を移動させることをさらに含んでもよい。
【0081】
障害物と監視装置との間の距離を決定するための方法、具体的にはステップa.および/またはステップb.は、輸送制御システムの処理ユニットを使用して実行されてもよい。処理ユニットは、具体的には障害物と監視装置との間の距離を決定するための方法を実行することにより、障害物と監視装置との間の距離を決定するように構成されてもよい。
【0082】
さらなる態様では、監視装置を制御するための方法が開示される。方法の定義および実施形態については、監視装置、輸送制御システム、および/または試料取扱システムの文脈で開示された定義および実施形態を参照されたい。
【0083】
方法は、一例として、所与の順序で実行され得る以下のステップを含む。しかしながら、異なる順序も可能であることに留意されたい。さらに、方法ステップの1つまたは複数を1回または繰り返し実行することも可能である。さらに、方法ステップの2つまたはそれより多くを同時にまたは適時にオーバーラップして実行することが可能である。方法は、列挙されていないさらなる方法ステップを含んでもよい。
【0084】
方法は、
I.上記に開示された実施形態のいずれか1つ、および/または以下でさらに詳細に開示される実施形態のいずれか1つなどによる、本発明による少なくとも1つの障害物を識別するための方法を実行することであって、上記に開示された実施形態のいずれか1つ、および/または以下でさらに詳細に開示される実施形態のいずれか1つなどによる、本発明による少なくとも1つの監視装置を使用することにより、少なくとも1つの第1の画像が少なくとも1つの監視装置の第1の位置で撮像され、少なくとも1つの第2の画像が第1の位置とは異なる第2の位置で撮像され、監視装置が、第1の位置から第2の位置まで第1の方向に輸送され、例えば摺動され、第1の画像および第2の画像が、監視装置の少なくとも1つの撮像通信インターフェースおよび輸送制御システムの少なくとも1つの制御通信インターフェースを介して、上記に開示された実施形態のいずれか1つ、および/または以下でさらに詳細に開示される実施形態のいずれか1つなどによる、本発明による少なくとも1つの輸送制御システムに提供され、少なくとも1つの訓練済み物体分類および検出モデルが、輸送制御システムの少なくとも1つの処理ユニットを使用して第1の画像および第2の画像に適用される、少なくとも1つの障害物を識別するための方法を実行することと、
II.障害物が識別された場合、例えば摺動により、第1の方向とは異なる方向で、ステップIIIに先行して、第3の位置に監視装置を輸送し、そうでない場合、第1の方向を維持し、第3の位置に監視装置を輸送し、障害物が識別されるまでステップIを繰り返すことと、
III.上記に開示された実施形態のいずれか1つ、および/または以下でさらに詳細に開示される実施形態のいずれか1つなどによる、本発明による少なくとも1つの障害物と監視装置との間の距離を決定するための方法を使用することにより、識別された障害物と監視装置との間の距離を決定することと、
IV.ステップIII.で決定された距離が所定の閾値を下回る場合、識別された障害物に関する情報の少なくとも1つの項目を輸送制御システムに提供し、そうでない場合、ステップIIを繰り返すことと
を含む。
【0085】
本明細書で使用される、具体的には、画像、監視装置の位置および方向の文脈で使用される「第1の」、「第2の」、「第3の」という用語は、広義の用語であり、当業者にとってその通常の慣習的な意味が与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。これらの用語は、具体的には、限定されないが、時間的順序の指示を示してもよい。したがって、例えば、監視装置の第1の位置における第1の画像は、監視装置の第2の位置における第2の画像より前に撮像されてもよい。
【0086】
本明細書で使用される「所定の閾値」という用語は、広義の用語であり、当業者にとってその通常の慣習的な意味が与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定されないが、監視装置と障害物との間の距離の値を指してもよく、それを上回ると、監視装置が、例えば摺動により、識別された障害物の方向に輸送され、それを下回ると、監視装置、識別された障害物に関する情報の項目が輸送制御システムに提供される。閾値は、具体的には、所定の閾値、例えば、監視装置を制御するための方法を実行する前に設定されるか、または決定可能な閾値であり得る。例えば、所定の閾値は、試料取扱システムのオペレータによって調整可能であり得る。
【0087】
さらに、ステップII.は、具体的には、第3の位置に監視装置を輸送することを含んでもよく、それによって障害物と監視装置との間の距離が減少する。したがって、ステップII.では、監視装置は識別された障害物に向かって移動し得る。試料取扱システムを制御するための方法の間、監視装置は、試料輸送装置の駆動面上に留まってもよく、具体的には、分析装置または分析前装置などの試料取扱システムのさらなる装置に転送されなくてもよい。具体的には、監視装置を制御するための方法では、監視装置は、1ステップ移動を使用してもよく、駆動面の完全なカバレッジを保証する各論理位置を通って移動してもよい。これは、試料取扱システムで使用される既知の経路選択アルゴリズムを使用することによって達成され得る。ステップII.は、具体的には、試料容器ホルダの輸送を制御するように構成された輸送制御システムによって実行され得る。
【0088】
本発明による方法は、少なくとも部分的にコンピュータ実装されてもよい。コンピュータまたはコンピューティングシステムは、本発明による方法のうちの少なくとも1つ、具体的には方法ステップのうちの1つまたは複数をコンピュータまたはコンピューティングシステムに実行させ得るプログラムを実行するように構成されてもよい。方法は、具体的には、コンピュータまたはコンピューティングシステムによって自動的に実行されてもよい。
【0089】
本発明のさらなる態様では、コンピュータプログラムが開示される。コンピュータプログラムは、プログラムがコンピュータまたはコンピュータネットワークによって実行されると、上記に開示された実施形態のいずれか1つ、および/または以下でさらに詳細に開示される実施形態のいずれか1つなどによる、本発明による少なくとも1つの障害物を識別するための方法をコンピュータまたはコンピュータネットワークに実行させる命令を含む。同様に、プログラムがコンピュータまたはコンピュータネットワークによって実行されると、上記に開示された実施形態のいずれか1つ、および/または以下でさらに詳細に開示される実施形態のいずれか1つなどによる、本発明による少なくとも1つの障害物を識別するための方法をコンピュータまたはコンピュータネットワークに実行させる命令を含むコンピュータ可読記憶媒体が開示される。
【0090】
本明細書で使用される「コンピュータ可読記憶媒体」という用語は、具体的には、コンピュータ実行可能命令を記憶したハードウェア記憶媒体などの非一時的データ記憶手段を指してもよい。コンピュータ可読データキャリアまたは記憶媒体は、具体的には、ランダムアクセスメモリ(RAM)および/または読取り専用メモリ(ROM)などの記憶媒体であっもてよく、それらを備えてもよい。
【0091】
本発明のさらなる態様では、コンピュータプログラムが開示される。コンピュータプログラムは、プログラムがコンピュータまたはコンピュータネットワークによって実行されると、上記に開示された実施形態のいずれか1つ、および/または以下でさらに詳細に開示される実施形態のいずれか1つなどによる、本発明による少なくとも1つの障害物と監視装置との間の距離を決定するための方法をコンピュータまたはコンピュータネットワークに実行させる命令を含む。同様に、プログラムがコンピュータまたはコンピュータネットワークによって実行されると、上記に開示された実施形態のいずれか1つ、および/または以下でさらに詳細に開示される実施形態のいずれか1つなどによる、本発明による少なくとも1つの障害物と監視装置との間の距離を決定するための方法をコンピュータまたはコンピュータネットワークに実行させる命令を含むコンピュータ可読記憶媒体が開示される。
【0092】
本発明のさらなる態様では、コンピュータプログラムは、プログラムがコンピュータまたはコンピュータネットワークによって実行されると、上記に開示された実施形態のいずれか1つ、および/または以下でさらに詳細に開示される実施形態のいずれか1つなどによる、本発明による監視装置を制御するための方法をコンピュータまたはコンピュータネットワークに実行させる命令を含むコンピュータプログラムが開示される。同様に、プログラムがコンピュータまたはコンピュータネットワークによって実行されると、上記に開示された実施形態のいずれか1つ、および/または以下でさらに詳細に開示される実施形態のいずれか1つなどによる、本発明による監視装置を制御するための方法をコンピュータまたはコンピュータネットワークに実行させる命令を含むコンピュータ可読記憶媒体が開示される。
【0093】
本発明による装置、システム、および方法は、同様の種類の既知の方法および装置と比較して多数の利点を提供する。具体的には、監視装置は、試料輸送装置の撮像された複数の画像、具体的にはビデオストリームを輸送制御システムに提供することができるようにしてもよい。したがって、複数の画像のライフストリームを試料取扱システムのオペレータに提供することが可能であり得る。したがって、本発明による装置は、試料取扱システムに関する視覚情報を運営スタッフに提供するように構成されてもよい。
【0094】
さらに、輸送制御システムは、試料輸送装置上の障害物を自動的に検出し、障害物に関する導出された情報の項目を使用して、試料輸送装置を介した試料容器ホルダの経路選択を適応させるように構成されてもよい。したがって、試料輸送装置上に存在する障害物は自動的に識別され得、試料容器ホルダの輸送は、障害物に対してまたはその上を移動、例えば摺動することを回避するように自動的に適応され得る。
【0095】
監視装置は、輸送ユニット、例えば摺動ユニットを備える。輸送ユニット、例えば摺動ユニットは、試料容器のための試料取扱システムを操作する際にすでに使用されている既知の輸送ユニット、例えば摺動ユニットと同一および/または類似して設計されてもよい。既知の摺動ユニットを使用することにより、試料取扱システムを通って監視装置を移動させるための既知の輸送手段を使用することが可能になり得る。本発明による監視装置は、複数の試料容器ホルダを移動させるためにも使用される試料輸送装置上で、例えば摺動によって輸送されるように構成されてもよい。具体的には、米国特許第9,470,702号明細書に開示されているような既知の方法および装置とは対照的に、本発明による装置および方法は、試料取扱システムを監視するために使用される構成要素の数を削減し得る。具体的には、監視装置は、複数の試料容器ホルダの移動にも使用される同じ試料輸送装置によって移動してもよい。本発明による方法および装置は、当技術分野で知られている他の装置と比較して複雑さを低減し得る。
【0096】
要約すると、さらに可能な実施形態を除外することなく、以下の実施形態が想定され得る。
【0097】
実施形態1:試料取扱システムを監視するための監視装置であって、
少なくとも1つの摺動面を備える少なくとも1つの摺動ユニットであって、摺動ユニットが、試料取扱システムの少なくとも1つの試料輸送装置上を摺動するように構成される、少なくとも1つの摺動ユニットと、
少なくとも1つのカメラと、任意に少なくとも1つの電源とを備える少なくとも1つの撮像ストリーミングユニットであって、カメラが複数の画像を撮像するように構成され、撮像ストリーミングユニットが、撮像された複数の画像を試料取扱システムの少なくとも1つの輸送制御システムに提供するための少なくとも1つの撮像通信インターフェースを備える、少なくとも1つの撮像ストリーミングユニットと
を備える、監視装置。
【0098】
実施形態2:撮像ストリーミングユニットが、摺動ユニットに取り付けおよび/または装着される、実施形態1に記載の監視装置。
【0099】
実施形態3:撮像ストリーミングユニットのカメラが、IPカメラ、ワイヤレスカメラ、ネットワークカメラ、軽量カメラ、単焦点カメラ、広角カメラ、固定焦点レンズカメラのうちの少なくとも1つを含む、実施形態1または2に記載の監視装置。
【0100】
実施形態4:撮像ストリーミングユニットのカメラが、ビデオストリームを撮像するように構成される、実施形態1から3のいずれか1つに記載の監視装置。
【0101】
実施形態5:撮像ストリーミングユニットの撮像通信インターフェースが、撮像されたビデオストリームを輸送制御システムに提供するように構成される、実施形態1から4のいずれか1つに記載の監視装置。
【0102】
実施形態6:撮像ストリーミングユニットのカメラが、少なくとも1つのカラーカメラを含む、実施形態1から5のいずれか1つに記載の監視装置。
【0103】
実施形態7:撮像ストリーミングユニットが少なくとも4つのカメラを備え、4つのカメラの視野が互いに対して90°回転している、実施形態1から6のいずれか1つに記載の監視装置。
【0104】
実施形態8:撮像通信インターフェースが、有線通信インターフェースおよびワイヤレス通信インターフェースのうちの少なくとも1つを含む、実施形態1から7のいずれか1つに記載の監視装置。
【0105】
実施形態9:監視装置が、撮像ストリーミングユニットに電力を供給するための少なくとも1つの電源を備える、実施形態1から8のいずれか1つに記載の監視装置。
【0106】
実施形態10:摺動面が、試料輸送装置の少なくとも1つの駆動面との摺動接触を提供するように構成された少なくとも1つの機械部品である、実施形態1から9のいずれか1つに記載の監視装置。
【0107】
実施形態11:摺動ユニットが少なくとも1つの作動要素を備え、摺動ユニットが、作動要素を収容するように構成された少なくとも1つのハウジングを備える、実施形態1から10のいずれか1つに記載の監視装置。
【0108】
実施形態12:作動要素が磁気作動要素であり、ハウジングが、作動要素によって生成された所望の磁束分布を提供するように構成される、実施形態1から11のいずれか1つに記載の監視装置。
【0109】
実施形態13:作動要素が、試料取扱システムの試料輸送装置と磁気的に相互作用するように構成され、試料輸送装置上の摺動ユニットの摺動が、磁気作動要素に磁力を加えることによって制御可能である、実施形態1から12のいずれか1つに記載の監視装置。
【0110】
実施形態14:摺動ユニットが、試料輸送装置上の摺動によって電子信号を提供するように構成された少なくとも1つの電子信号装置を備える、実施形態1から13のいずれか1つに記載の監視装置。
【0111】
実施形態15:電子信号装置が、具体的には少なくとも1つの導電性要素、より具体的には銅から作られた電気伝導要素を備える、実施形態1から14のいずれか1つに記載の監視装置。
【0112】
実施形態16:少なくとも1つの制御通信インターフェースを備える、試料取扱システムの複数の試料容器ホルダの輸送を制御するための輸送制御システムであって、輸送制御システムが、複数の画像を評価し、それによって少なくとも1つの障害物に関する情報の少なくとも1つの項目を導出するための少なくとも1つの処理ユニットをさらに備え、情報の少なくとも1つの項目を導出することが、複数の画像に少なくとも1つの訓練済み物体分類および検出モデルを適用することを含み、輸送制御システムが、情報の項目に基づいて試料取扱システムの試料輸送装置の機能を制御するように構成される、輸送制御システム。
【0113】
実施形態17:監視装置を参照する実施形態1から15のいずれか1つに記載の少なくとも1つの監視装置をさらに備える、実施形態16に記載の輸送制御システム。
【0114】
実施形態18:障害物に関する情報の少なくとも1つの項目が、障害物の存在、障害物の分類、駆動面上の障害物の位置、障害物の移動状況、障害物の色、監視装置と障害物との間の距離のうちの少なくとも1つを含む、実施形態16または17に記載の輸送制御システム。
【0115】
実施形態19:訓練済み物体分類および検出モデルが、事前訓練済み畳み込みニューラルネットワークを含む、実施形態16から18のいずれか1つに記載の輸送制御システム。
【0116】
実施形態20:事前訓練済み畳み込みニューラルネットワークが、AlexNet、VGG Net、ResNet、YOLO、R-CNN、R-FCN、SSD、SPP-Netからなる群から選択される少なくとも1つの畳み込みニューラルネットワークを含み、かつ/または 物体分類および検出モデルが、KNNまたはSVMなどの古典的な分類機械学習アルゴリズムを含んでもよい、実施形態16から19のいずれか1つに記載の輸送制御システム。
【0117】
実施形態21:処理ユニットが、少なくとも1つの障害物の色を検出するように構成される、実施形態16から20のいずれか1つに記載の輸送制御システム。
【0118】
実施形態22:処理ユニットが、複数の画像内の障害物を検出し、監視装置と障害物との間の距離を決定するように構成される、実施形態16から21のいずれか1つに記載の輸送制御システム。
【0119】
実施形態23:輸送制御システムが、試料輸送装置上の監視装置の摺動位置を決定するように構成される、実施形態16から22のいずれか1つに記載の輸送制御システム。
【0120】
実施形態24:処理ユニットが、
に従って、監視装置と障害物との間の距離dを決定するように構成され、
1が、第1の摺動位置における画像内の障害物の高さを示し、y2が、第1の位置とは異なる第2の摺動位置における画像内の障害物の高さを示し、mが、第1の摺動位置から第2の摺動位置まで移動した距離を示し、dが、障害物と第1の摺動位置における監視装置との間の距離を示す、実施形態16から23のいずれか1つに記載の輸送制御システム。
【0121】
実施形態25:複数の試料を取り扱うための試料取扱システムであって、
各々が試料容器を受け入れるように構成された複数の試料容器ホルダと、
監視装置を参照する実施形態1から15のいずれか1つに記載の少なくとも1つの監視装置と、
複数の試料容器ホルダおよび監視装置を輸送するように構成された少なくとも1つの試料輸送装置であって、試料輸送装置が試料容器ホルダおよび監視装置を2次元輸送するように構成される、少なくとも1つの試料輸送装置と、
少なくとも1つの障害物に関する情報の項目を考慮して、試料輸送装置を介した複数の試料容器ホルダの輸送を制御するための少なくとも1つの輸送制御システムと
を備える、試料取扱処理システム。
【0122】
実施形態26:試料容器ホルダが、少なくとも1つの摺動ユニットと、試料容器を保持するための少なくとも1つの保持ユニットとを備える、実施形態25に記載の試料取扱システム。
【0123】
実施形態27:試料輸送装置が少なくとも1つの駆動面を備え、摺動ユニットが試料輸送装置の駆動面上を摺動するように構成される、実施形態25または26に記載の試料取扱システム。
【0124】
実施形態28:輸送制御システムが、輸送制御システムを参照する実施形態16から24のいずれか1つに記載の輸送制御システムである、実施形態25から27のいずれか1つに記載の試料取扱システム。
【0125】
実施形態29:試料輸送装置が、駆動面の下に配置された複数の電磁アクチュエータを備え、電磁アクチュエータが、監視装置および試料容器ホルダのうちの少なくとも1つの摺動ユニットに磁力を加えるように構成される、実施形態25から28のいずれか1つに記載の試料取扱システム。
【0126】
実施形態30:試料輸送装置が複数の誘導センサを備え、複数の誘導センサが試料輸送装置の駆動面上の摺動ユニットの位置を決定するように構成される、実施形態25から29のいずれか1つに記載の試料取扱システム。
【0127】
実施形態31:少なくとも1つの障害物を識別するための方法であって、
i.監視装置を参照する実施形態1から15のいずれか1つに記載の少なくとも1つの監視装置を使用して複数の摺動位置で複数の画像を撮像し、少なくとも1つの撮像通信インターフェースを介して複数の画像を提供することと、
ii.輸送制御システムを参照する実施形態16から24のいずれか1つに記載の少なくとも1つの輸送制御システムの少なくとも1つの制御通信インターフェースを介して複数の画像を取り出すことと、
iii.輸送制御システムの少なくとも1つの処理ユニットを使用して複数の画像に少なくとも1つの訓練済み物体分類および検出モデルを適用することによって障害物を識別することと
を含む、方法。
【0128】
実施形態32:ステップi.が、監視装置を使用して複数の摺動位置で少なくとも1つのビデオストリームを撮像することを含む、実施形態31に記載の方法。
【0129】
実施形態33:複数の画像を提供することが、少なくとも1つのインターネットプロトコルを介してビデオストリームをストリーミングすることを含む、実施形態31または32に記載の方法。
【0130】
実施形態34:少なくとも1つの障害物と監視装置との間の距離を決定するための方法であって、
a.監視装置を参照する実施形態1から15のいずれか1つに記載の少なくとも1つの監視装置を使用することにより、少なくとも1つの第1の摺動位置および第1の摺動位置とは異なる少なくとも1つの第2の摺動位置において、少なくとも1つの障害物を識別するための方法を参照する実施形態31から33のいずれか1つに記載の少なくとも1つの障害物を識別するための方法を使用して、少なくとも1つの障害物を識別することと、
b.第1の摺動位置で撮像された少なくとも1つの第1の画像および第2の摺動位置で撮像された少なくとも1つの第2の画像を分析することにより、かつ、
に従って距離dを決定することによって、障害物と監視装置との間の距離を決定することであって、
1が、第1の摺動位置における画像内の障害物の高さを示し、y2が、第2の摺動位置における画像内の障害物の高さを示し、mが、第1の摺動位置から第2の摺動位置まで移動した距離を示し、dが、障害物と第1の摺動位置における監視装置との間の距離を示す、
障害物と監視装置との間の距離を決定することと
を含む、方法。
【0131】
実施形態35:ステップa.が、試料輸送装置を使用することにより、試料取扱システムの第1の摺動位置から第2の摺動位置に監視装置を移動させることをさらに含む、実施形態34に記載の方法。
【0132】
実施形態36:監視装置を制御するための方法であって、
I.少なくとも1つの障害物を識別するための方法を参照する実施形態31から33のいずれか1つに記載の少なくとも1つの障害物を識別するための方法を実行することであって、監視装置を参照する実施形態1から15のいずれか1つに記載の少なくとも1つの監視装置を使用することにより、少なくとも1つの第1の画像が第1の摺動位置で撮像され、少なくとも1つの第2の画像が第1の摺動位置とは異なる第2の摺動位置で撮像され、監視装置が、第1の摺動位置から第2の摺動位置まで第1の方向に摺動され、第1の画像および第2の画像が、監視装置の少なくとも1つの撮像通信インターフェースおよび輸送制御システムの少なくとも1つの制御通信インターフェースを介して、輸送制御システムを参照する実施形態16から24のいずれか1つに記載の少なくとも1つの輸送制御システムに提供され、少なくとも1つの訓練済み物体分類および検出モデルが、輸送制御システムの少なくとも1つの処理ユニットを使用して第1の画像および第2の画像に適用される、少なくとも1つの障害物を識別するための方法を実行することと、
II.障害物が識別された場合、第1の方向とは異なる方向で、ステップIIIに先行して、第3の摺動位置に監視装置を摺動させ、そうでない場合、第1の方向を維持し、第3の摺動位置に監視装置を摺動させ、障害物が識別されるまでステップIを繰り返すことと、
III.少なくとも1つの障害物と監視装置との間の距離を決定するための方法を参照する実施形態34から35に記載の少なくとも1つの障害物と監視装置との間の距離を決定するための方法を使用することにより、識別された障害物と監視装置との間の距離を決定することと、
IV.ステップIII.で決定された距離が所定の閾値を下回る場合、識別された障害物に関する情報の少なくとも1つの項目を輸送制御システムに提供し、そうでない場合、ステップIIを繰り返すことと
を含む、方法。
【0133】
実施形態37:ステップII.が、第3の摺動位置に監視装置を摺動させることを含み、それによって障害物と監視装置との間の距離が減少する、実施形態36に記載の方法。
【0134】
実施形態38:命令を含むコンピュータプログラムであって、プログラムがコンピュータまたはコンピュータネットワークによって実行されると、命令が、コンピュータまたはコンピュータネットワークに、少なくとも1つの障害物を識別するための方法を参照する実施形態31から33のいずれか1つに記載の少なくとも1つの障害物を識別するための方法を実行させる、コンピュータプログラム。
【0135】
実施形態39:プログラムがコンピュータまたはコンピュータネットワークによって実行されると、少なくとも1つの障害物を識別するための方法を参照する実施形態31から33のいずれか1つに記載の少なくとも1つの障害物を識別するための方法をコンピュータまたはコンピュータネットワークに実行させる命令を含む、コンピュータ可読記憶媒体。
【0136】
実施形態40:命令を含むコンピュータプログラムであって、プログラムがコンピュータまたはコンピュータネットワークによって実行されると、命令が、コンピュータまたはコンピュータネットワークに、少なくとも1つの障害物と監視装置との間の距離を決定するための方法を参照する実施形態34から35に記載の少なくとも1つの障害物と監視装置との間の距離を決定するための方法を実行させる、コンピュータプログラム。
【0137】
実施形態41:プログラムがコンピュータまたはコンピュータネットワークによって実行されると、少なくとも1つの障害物と監視装置との間の距離を決定するための方法を参照する実施形態34から35に記載の少なくとも1つの障害物と監視装置との間の距離を決定するための方法をコンピュータまたはコンピュータネットワークに実行させる命令を含む、コンピュータ可読記憶媒体。
【0138】
実施形態42:命令を含むコンピュータプログラムであって、プログラムがコンピュータまたはコンピュータネットワークによって実行されると、命令が、コンピュータまたはコンピュータネットワークに、監視装置を制御するための方法を参照する実施形態36または37に記載の監視装置を制御するための方法を実行させる、コンピュータプログラム。
【0139】
実施形態43:プログラムがコンピュータまたはコンピュータネットワークによって実行されると、監視装置を制御するための方法を参照する実施形態36または37に記載の監視装置を制御するための方法をコンピュータまたはコンピュータネットワークに実行させる命令を含む、コンピュータ可読記憶媒体。
【0140】
実施形態44:試料取扱システムを監視するための監視装置であって、
少なくとも1つの輸送面を備える少なくとも1つの輸送ユニットであって、輸送ユニットが、試料取扱システムの少なくとも1つの試料輸送装置上を輸送されるように構成される、少なくとも1つの輸送ユニットと、
少なくとも1つのカメラと、任意に少なくとも1つの電源とを備える少なくとも1つの撮像ストリーミングユニットであって、カメラが複数の画像を撮像するように構成され、撮像ストリーミングユニットが、撮像された複数の画像を試料取扱システムの少なくとも1つの輸送制御システムに提供するための少なくとも1つの撮像通信インターフェースを備える、少なくとも1つの撮像ストリーミングユニットと
を備える、監視装置。
【0141】
実施形態45:撮像ストリーミングユニットが、輸送ユニットに取り付けおよび/または装着される、実施形態44に記載の監視装置。
【0142】
実施形態46:撮像ストリーミングユニットのカメラが、IPカメラ、ワイヤレスカメラ、ネットワークカメラ、軽量カメラ、単焦点カメラ、広角カメラ、固定焦点レンズカメラのうちの少なくとも1つを含む、実施形態44または45に記載の監視装置。
【0143】
実施形態47:撮像ストリーミングユニットのカメラが、ビデオストリームを撮像するように構成される、実施形態44から46のいずれか1つに記載の監視装置。
【0144】
実施形態48:撮像ストリーミングユニットの撮像通信インターフェースが、撮像されたビデオストリームを輸送制御システムに提供するように構成される、実施形態44から47のいずれか1つに記載の監視装置。
【0145】
実施形態49:撮像ストリーミングユニットのカメラが、少なくとも1つのカラーカメラを含む、実施形態44から48のいずれか1つに記載の監視装置。
【0146】
実施形態50:撮像ストリーミングユニットが少なくとも4つのカメラを備え、4つのカメラの視野が互いに対して90°回転している、実施形態44から49のいずれか1つに記載の監視装置。
【0147】
実施形態51:撮像通信インターフェースが、有線通信インターフェースおよびワイヤレス通信インターフェースのうちの少なくとも1つを含む、実施形態44から50のいずれか1つに記載の監視装置。
【0148】
実施形態52:監視装置が、撮像ストリーミングユニットに電力を供給するための少なくとも1つの電源を備える、実施形態44から51のいずれか1つに記載の監視装置。
【0149】
実施形態53:輸送面が、試料輸送装置の少なくとも1つの駆動面との接触、例えば摺動接触を提供するように構成された少なくとも1つの機械部品である、実施形態44から52のいずれか1つに記載の監視装置。
【0150】
実施形態54:輸送ユニットが少なくとも1つの作動要素を備え、輸送ユニットが、作動要素を収容するように構成された少なくとも1つのハウジングを備える、実施形態44から53のいずれか1つに記載の監視装置。
【0151】
実施形態55:作動要素が磁気作動要素であり、ハウジングが、作動要素によって生成された所望の磁束分布を提供するように構成される、実施形態44から54のいずれか1つに記載の監視装置。
【0152】
実施形態56:作動要素が、試料取扱システムの試料輸送装置と磁気的に相互作用するように構成され、試料輸送装置上の輸送ユニットの輸送が、磁気作動要素に磁力を加えることによって制御可能である、実施形態44から55のいずれか1つに記載の監視装置。
【0153】
実施形態57:輸送ユニットが、試料輸送装置上の摺動によって電子信号を提供するように構成された少なくとも1つの電子信号装置を備える、実施形態44から56のいずれか1つに記載の監視装置。
【0154】
実施形態58:電子信号装置が、具体的には少なくとも1つの導電性要素、より具体的には銅から作られた電気伝導要素を備える、実施形態44から57のいずれか1つに記載の監視装置。
【0155】
実施形態59:少なくとも1つの制御通信インターフェースを備える、試料取扱システムの複数の試料容器ホルダの輸送を制御するための輸送制御システムであって、輸送制御システムが、複数の画像を評価し、それによって少なくとも1つの障害物に関する情報の少なくとも1つの項目を導出するための少なくとも1つの処理ユニットをさらに備え、情報の少なくとも1つの項目を導出することが、複数の画像に少なくとも1つの訓練済み物体分類および検出モデルを適用することを含み、輸送制御システムが、情報の項目に基づいて試料取扱システムの試料輸送装置の機能を制御するように構成される、輸送制御システム。
【0156】
実施形態60:監視装置を参照する実施形態44から58のいずれか1つに記載の少なくとも1つの監視装置をさらに備える、実施形態59に記載の輸送制御システム。
【0157】
実施形態61:障害物に関する情報の少なくとも1つの項目が、障害物の存在、障害物の分類、駆動面上の障害物の位置、障害物の移動状況、障害物の色、監視装置と障害物との間の距離のうちの少なくとも1つを含む、実施形態59または60に記載の輸送制御システム。
【0158】
実施形態62:訓練済み物体分類および検出モデルが、事前訓練済み畳み込みニューラルネットワークを含む、実施形態59から61のいずれか1つに記載の輸送制御システム。
【0159】
実施形態63:事前訓練済み畳み込みニューラルネットワークが、AlexNet、VGG Net、ResNet、YOLO、R-CNN、R-FCN、SSD、SPP-Netからなる群から選択される少なくとも1つの畳み込みニューラルネットワークを含み、かつ/または物体分類および検出モデルが、KNNまたはSVMなどの古典的な分類機械学習アルゴリズムを含んでもよい、実施形態59から62のいずれか1つに記載の輸送制御システム。
【0160】
実施形態64:処理ユニットが、少なくとも1つの障害物の色を検出するように構成される、実施形態59から63のいずれか1つに記載の輸送制御システム。
【0161】
実施形態65:処理ユニットが、複数の画像内の障害物を検出し、監視装置と障害物との間の距離を決定するように構成される、実施形態59から64のいずれか1つに記載の輸送制御システム。
【0162】
実施形態66:輸送制御システムが、試料輸送装置上の監視装置の位置を決定するように構成される、実施形態59から65のいずれか1つに記載の輸送制御システム。
【0163】
実施形態67:処理ユニットが、
に従って、監視装置と障害物との間の距離dを決定するように構成され、
1が、監視装置の第1の位置における画像内の障害物の高さを示し、y2が、第1の位置とは異なる監視装置の第2の位置における画像内の障害物の高さを示し、mが、第1の位置から第2の位置まで移動した距離を示し、dが、障害物と第1の位置における監視装置との間の距離を示す、実施形態59から66のいずれか1つに記載の輸送制御システム。
【0164】
実施形態68:複数の試料を取り扱うための試料取扱システムであって、
各々が試料容器を受け入れるように構成された複数の試料容器ホルダと、
実施形態44から58のいずれか一項に記載の少なくとも1つの監視装置と、
複数の試料容器ホルダおよび監視装置を輸送するように構成された少なくとも1つの試料輸送装置であって、試料輸送装置が試料容器ホルダおよび監視装置を2次元輸送するように構成される、少なくとも1つの試料輸送装置と、
少なくとも1つの障害物に関する情報の項目を考慮して、試料輸送装置を介した複数の試料容器ホルダの輸送を制御するための少なくとも1つの輸送制御システムと
を備える、試料取扱処理システム。
【0165】
実施形態69:試料容器ホルダが、少なくとも1つの輸送ユニットと、試料容器を保持するための少なくとも1つの保持ユニットとを備える、実施形態68に記載の試料取扱システム。
【0166】
実施形態70:試料輸送装置が少なくとも1つの駆動面を備え、輸送ユニットが試料輸送装置の駆動面上を輸送されるように構成される、実施形態68または69に記載の試料取扱システム。
【0167】
実施形態71:輸送制御システムが、実施形態59から67のいずれか1つに記載の輸送制御システムである、実施形態68から70のいずれか1つに記載の試料取扱システム。
【0168】
実施形態72:試料輸送装置が、駆動面の下に配置された複数の電磁アクチュエータを備え、電磁アクチュエータが、監視装置および試料容器ホルダのうちの少なくとも1つの輸送ユニットに磁力を加えるように構成される、実施形態68から71のいずれか1つに記載の試料取扱システム。
【0169】
実施形態73:試料輸送装置が複数の誘導センサを備え、複数の誘導センサが試料輸送装置の駆動面上の輸送ユニットの位置を決定するように構成される、実施形態68から72のいずれか1つに記載の試料取扱システム。
【0170】
実施形態74:少なくとも1つの障害物を識別するための方法であって、
i.実施形態44から58のいずれか1つに記載の少なくとも1つの監視装置を使用して監視装置の複数の位置で複数の画像を撮像し、少なくとも1つの撮像通信インターフェースを介して複数の画像を提供することと、
ii.実施形態59から67に記載の少なくとも1つの輸送制御システムの少なくとも1つの制御通信インターフェースを介して複数の画像を取り出すことと、
iii.輸送制御システムの少なくとも1つの処理ユニットを使用して複数の画像に少なくとも1つの訓練済み物体分類および検出モデルを適用することによって障害物を識別することと
を含む、方法。
【0171】
実施形態75:ステップi.が、監視装置を使用して監視装置の複数の位置で少なくとも1つのビデオストリームを撮像することを含む、実施形態74に記載の方法。
【0172】
実施形態76:複数の画像を提供することが、少なくとも1つのインターネットプロトコルを介してビデオストリームをストリーミングすることを含む、実施形態74から75に記載の方法。
【0173】
実施形態77:少なくとも1つの障害物と監視装置との間の距離を決定するための方法であって、
a.実施形態44から58のいずれか1つに記載の少なくとも1つの監視装置を使用することにより、監視装置の少なくとも1つの位置および第1の位置とは異なる監視装置の少なくとも1つの第2の位置において、実施形態74から76に記載の少なくとも1つの障害物を識別するための方法を使用して、少なくとも1つの障害物を識別することと、
b.第1の位置で撮像された少なくとも1つの第1の画像および第2の位置で撮像された少なくとも1つの第2の画像を分析することにより、かつ、
に従って距離dを決定することによって、障害物と監視装置との間の距離を決定することであって、
1が、第1の位置における画像内の障害物の高さを示し、y2が、第2の位置における画像内の障害物の高さを示し、mが、第1の位置から第2の位置まで移動した距離を示し、dが、障害物と第1の位置における監視装置との間の距離を示す、
障害物と監視装置との間の距離を決定することと
を含む、方法。
【0174】
実施形態78:ステップa.が、試料輸送装置を使用することにより、試料取扱システムの第1の位置から第2の位置に監視装置を移動させることをさらに含む、実施形態77に記載の方法。
【0175】
実施形態79:監視装置を制御するための方法であって、
I.実施形態74から76のいずれか1つに記載の少なくとも1つの障害物を識別するための方法を実行することであって、実施形態44から58のいずれか1つに記載の少なくとも1つの監視装置を使用することにより、少なくとも1つの第1の画像が監視装置の第1の位置で撮像され、少なくとも1つの第2の画像が第1の位置とは異なる監視装置の第2の位置で撮像され、監視装置が、第1の位置から第2の位置まで第1の方向に輸送され、第1の画像および第2の画像が、監視装置の少なくとも1つの撮像通信インターフェースおよび輸送制御システムの少なくとも1つの制御通信インターフェースを介して、実施形態59から67のいずれか1つに記載の少なくとも1つの輸送制御システムに提供され、少なくとも1つの訓練済み物体分類および検出モデルが、輸送制御システムの少なくとも1つの処理ユニットを使用して第1の画像および第2の画像に適用される、少なくとも1つの障害物を識別するための方法を実行することと、
II.障害物が識別された場合、第1の方向とは異なる方向で、ステップIIIに先行して、第3の位置に監視装置を輸送し、そうでない場合、第1の方向を維持し、第3の位置に監視装置を輸送し、障害物が識別されるまでステップIを繰り返すことと、
III.実施形態77または78に記載の少なくとも1つの障害物と監視装置との間の距離を決定するための方法を使用することにより、識別された障害物と監視装置との間の距離を決定することと、
IV.ステップIII.で決定された距離が所定の閾値を下回る場合、識別された障害物に関する情報の少なくとも1つの項目を輸送制御システムに提供し、そうでない場合、ステップIIを繰り返すことと
を含む、方法。
【0176】
実施形態80:ステップII.が、第3の位置に監視装置を輸送することを含み、それによって障害物と監視装置との間の距離が減少する、実施形態79に記載の方法。
【0177】
実施形態81:命令を含むコンピュータプログラムであって、プログラムがコンピュータまたはコンピュータネットワークによって実行されると、命令が、コンピュータまたはコンピュータネットワークに、実施形態74から76のいずれか1つに記載の少なくとも1つの障害物を識別するための方法を実行させる、コンピュータプログラム。
【0178】
実施形態82:プログラムがコンピュータまたはコンピュータネットワークによって実行されると、実施形態74から76のいずれか1つに記載の少なくとも1つの障害物を識別するための方法をコンピュータまたはコンピュータネットワークに実行させる命令を含む、コンピュータ可読記憶媒体。
【0179】
実施形態83:命令を含むコンピュータプログラムであって、プログラムがコンピュータまたはコンピュータネットワークによって実行されると、命令が、コンピュータまたはコンピュータネットワークに、実施形態77または78に記載の少なくとも1つの障害物と監視装置との間の距離を決定するための方法を実行させる、コンピュータプログラム。
【0180】
実施形態84:プログラムがコンピュータまたはコンピュータネットワークによって実行されると、実施形態77または78に記載の少なくとも1つの障害物と監視装置との間の距離を決定するための方法をコンピュータまたはコンピュータネットワークに実行させる命令を含む、コンピュータ可読記憶媒体。
【0181】
実施形態85:命令を含むコンピュータプログラムであって、プログラムがコンピュータまたはコンピュータネットワークによって実行されると、命令が、コンピュータまたはコンピュータネットワークに、実施形態79または80に記載の監視装置を制御するための方法を実行させる、コンピュータプログラム。
【0182】
実施形態86:プログラムがコンピュータまたはコンピュータネットワークによって実行されると、実施形態79または80に記載の監視装置を制御するための方法をコンピュータまたはコンピュータネットワークに実行させる命令を含む、コンピュータ可読記憶媒体。
【0183】
さらなる任意の特徴および実施形態は、好ましくは従属請求項とともに、実施形態の後続の説明においてより詳細に開示される。その中で、それぞれの任意の特徴は、当業者が実現するように、独立した方式で実現されても、任意の実現可能な組合せで実現されてもよい。本発明の範囲は、好ましい実施形態によって限定されない。実施形態は、図に概略的に描写されている。その中で、これらの図における同一の参照番号は、同一または機能的に同等の要素を指す。
【図面の簡単な説明】
【0184】
図1】試料取扱システムを監視するための監視装置の一実施形態を示す概略図である。
図2】試料取扱システムの複数の試料容器ホルダの輸送を制御するための輸送制御システムの一実施形態を示す概略図である。
図3】複数の試料を取り扱うための試料取扱システムの一実施形態を示す概略図である。
図4】少なくとも1つの障害物を識別するための方法のフローチャートである。
図5】少なくとも1つの障害物と監視装置との間の距離を決定するための方法のフローチャートである。
図6】監視装置を制御するための方法のフローチャートである。
【発明を実施するための形態】
【0185】
図1は、試料取扱システム112を監視するための監視装置110の例示的な実施形態を概略図で示す。試料取扱システム112は、図1に示されていない。しかしながら、試料取扱システム112は、図3に例示的に示され、以下でさらに詳細に記載されるような試料取扱システム112であり得る。
【0186】
監視装置110は、
少なくとも1つの摺動面116を備える少なくとも1つの摺動ユニット114であって、摺動ユニット114が、試料取扱システム112の(図1に示されていない)少なくとも1つの試料輸送装置118上を摺動するように構成される、少なくとも1つの摺動ユニット114と、
少なくとも1つのカメラ122と、任意に少なくとも1つの電源146とを備える少なくとも1つの撮像ストリーミングユニット120であって、カメラ122が複数の画像を撮像するように構成され、撮像ストリーミングユニット120が、撮像された複数の画像を試料取扱システム112の(図1に示されていない)少なくとも1つの輸送制御システム126に提供するための少なくとも1つの撮像通信インターフェース124を備える、少なくとも1つの撮像ストリーミングユニット120と
を備える。
【0187】
図1に見られるように、摺動ユニット114は、撮像ストリーミングユニット120を受け入れ、ならびに/または撮像ストリーミングユニット120を取り付け、ならびに/または撮像ストリーミングユニット120と接続するように構成された少なくとも1つの機械インターフェースおよび/もしくは電気インターフェースを備えてもよい。摺動ユニット114および撮像ストリーミングユニット120は、例えば、形状嵌合接続および圧入接続のうちの少なくとも1つによって互いに接続されてもよい。機械インターフェースおよび/または電気インターフェースは、少なくとも1つのフック、少なくとも1つのクランプなどを備えてもよい。
【0188】
摺動ユニット114は、少なくとも1つの作動要素128を備えてもよい。作動要素128は、磁気作動要素130であってもよい。例えば、作動要素128は、少なくとも1つの磁石を備えてもよい。作動要素128は、試料輸送装置118、特に試料輸送装置118の駆動手段と磁気的に相互作用するように構成されてもよい。試料輸送装置118の駆動手段は、変動磁場を生成し、摺動ユニット114に接触することなく駆動力、特に磁力を加えるように構成されてもよく、それによって監視装置110が移動する。試料輸送装置118上の摺動ユニット114の摺動は、磁気作動要素130に駆動力を加えることによって制御可能であり得る。摺動ユニット114は、作動要素128を収容するように構成された少なくとも1つのハウジング132を備えてもよい。ハウジング132は、作動要素128によって生成された所望の磁束分布を提供するように構成されてもよい。例えば、ハウジング132は、少なくとも1つの鉄の筐体を備えてもよい。追加または代替として、摺動ユニット114の摺動面116は、試料輸送装置118の駆動面と摺動接触するように構成された少なくとも1つの機械部品であり得る。
【0189】
摺動ユニット114は、試料輸送装置118上を摺動することによって電子信号を提供するための少なくとも1つの電子信号装置134を備えてもよい。以下でさらに詳細に概説されるように、試料輸送装置118は、複数の誘導センサを備えてもよい。電子信号装置134は、試料輸送装置118の誘導センサと相互作用するように構成されてもよい。具体的には、試料輸送装置118上を摺動することにより、電子信号装置134は、試料輸送装置118の誘導センサ内の信号を誘導するように構成されてもよい。電子信号装置134は、具体的には少なくとも1つの導電性要素からなる電気伝導要素136を備えてもよい。例えば、電子信号装置134は、銅ディスクを備えてもよい。電子信号装置134は、具体的には試料輸送装置118の複数の誘導センサを介して電子信号を検出することにより、試料輸送装置118上の摺動ユニット114の位置を決定するために使用されてもよい。
【0190】
図1に示された例示的な実施形態では、撮像ストリーミングユニット120は、4つのカメラ122を備えてもよい。しかしながら、図1の図では、2つのカメラ122しか見ることができない。カメラ122は、試料輸送装置118の駆動面に向かって傾斜してもよい。撮像ストリーミングユニット120のカメラ122は、試料輸送装置118に、具体的には試料輸送装置118の駆動面に向けられ、すなわち試料輸送装置118に向かって少なくとも15°の水平角138で傾斜してもよい。4つのカメラ122の視野は、互いに対して90°回転し得る。視野は、カメラ122を通して見える環境の範囲であり得る。特に4つのカメラ122を備える撮像ストリーミングユニット120は、全方向視野を提供するように構成されてもよい。
【0191】
撮像ストリーミングユニット120のカメラ122は、具体的には、IPカメラ140であってもよい。カメラ122は、カメラ122に対して固定的に調整された少なくとも1つのレンズを有する固定焦点カメラであってもよく、追加または代替として、R、G、Bの三色の色値などの色情報を提供するための少なくともカラーカメラを備えてもよい。しかしながら、他のカメラ122も実現可能である。追加または代替として、カメラ122は、ビデオストリームを撮像するように構成されてもよい。
【0192】
撮像通信インターフェース124は、少なくとも1つのウェブインターフェース142であってもよい。撮像ストリーミングユニット120の撮像通信インターフェース124は、撮像された複数の画像、特に撮像されたビデオストリームを輸送制御システム126に提供するように構成されてもよい。例えば、撮像通信インターフェース124は、具体的には、カメラ122によって取得された画像データを、輸送制御システム126のコンピュータまたはコンピュータネットワークなどの計算装置に転送するように構成されてもよい。例えば、撮像通信インターフェース124は、撮像された複数の画像を計算装置に転送するように構成されてもよい。撮像通信インターフェース124から計算装置への画像データの転送は、伝送制御プロトコルなどのインターネットベースのプロトコルを含んでもよい。図1の例示的な実施形態では、撮像通信インターフェース124は、少なくとも1つのワイヤレス通信インターフェース144を備えてもよい。
【0193】
監視装置110は、撮像ストリーミングユニット120に電力を供給するための少なくとも1つの電源146を備えてもよい。例えば、電源146は、複数の、特に垂直に積み重ねられたバッテリを備えるバッテリシステム、または単一のバッテリを備えるバッテリシステムなどの、少なくとも1つのバッテリシステム148を備えてもよい。電源146は、少なくとも4.8Vの電圧を撮像ストリーミングユニット120に供給するように構成されてもよい。撮像ストリーミングユニット120は、一例として、少なくとも1つのIPカメラ140を有するESP32モジュールを備えてもよく、少なくとも4.8Vを供給する電源146により、例えば充電式バッテリシステムによって電力を供給されてもよい。
【0194】
図2では、(図2に示されていない)試料取扱システム112の複数の試料容器ホルダ150の輸送を制御するための輸送制御システム126の一実施形態が概略図で示されている。輸送制御システム126は、少なくとも1つの制御通信インターフェース152および少なくとも1つの処理ユニット154を備える。輸送制御システム126は、本発明による少なくとも1つの監視装置110、例えば図1の実施形態による監視装置110を備えてもよい。しかしながら、監視装置110の他の実施形態も実現可能である。
【0195】
輸送制御システム126の制御通信インターフェース152は、具体的には、監視装置110の撮像通信インターフェース124とデータまたは情報を交換するように構成されてもよい。制御通信インターフェース152は、撮像通信インターフェース124によって提供された撮像された複数の画像を取り出し得る。
【0196】
輸送制御システム126の処理ユニット154は、複数の画像を評価し、それによって(図2に示されていない)少なくとも1つの障害物156に関する情報の少なくとも1つの項目を導出するように構成される。情報の少なくとも1つの項目を導出することは、複数の画像に少なくとも1つの訓練済み物体分類および検出モデルを適用することを含む。具体的には、処理ユニット154は、複数の画像内の障害物156を識別し分類するように構成されてもよい。処理ユニット154は、少なくとも1つの障害物156の色を検出するように構成されてもよい。
【0197】
情報の項目は、具体的には、障害物156に関する情報を含んでもよい。例えば、障害物156に関する情報の項目は、障害物156の存在、障害物156の分類、障害物156の移動状況、障害物156の色、監視装置110と障害物156との間の距離、のうちの少なくとも1つを含んでもよい。情報の項目は、複数の画像に少なくとも1つの訓練済み物体分類および検出モデルを適用することによって導出されてもよい。物体分類および検出モデルは、具体的には、事前訓練済み畳み込みニューラルネットワークを含んでもよい。畳み込みニューラルネットワークは、AlexNet、ビジュアルジオメトリグループ(「VGG」)ネット、残差ニューラルネットワーク(「ResNet」)、You Only Look Once(「YOLO」)、高速化された領域ベースの畳み込みネットワーク方法(「R-CNN」)、領域ベースの完全畳み込みネットワーク(「R-FCN」)、単一ショット検出器(「SSD」)、空間ピラミッドプーリング(SPP-Net)からなる群から選択される少なくとも1つの畳み込みニューラルネットワークを含んでもよい。
【0198】
処理ユニット154は、具体的には、複数の画像内の障害物156を検出し、監視装置110と障害物156との間の距離を決定するように構成されてもよい。例えば、処理ユニット154は、以下でさらに詳細に概説されるように、障害物156を識別するための方法、および障害物156と監視装置110との間の距離を決定するための方法のうちの少なくとも1つを実行するように構成されてもよい。したがって、図4および図5の説明に対して参照が行われる。
【0199】
輸送制御システム126は、情報の項目に基づいて試料取扱システム112の試料輸送装置118の機能を制御するように構成される。試料輸送装置118の機能を制御することは、監視装置110および試料容器ホルダ150のうちの1つまたは複数の摺動を制御することを含んでもよい。情報の項目に基づいて試料輸送装置118の機能を制御することは、具体的には、障害物156に関する情報の項目を考慮に入れて試料容器ホルダ150の輸送を適応させることを含んでもよい。輸送制御システム126は、複数の試料容器ホルダ150の経路選択を管理するように構成されてもよい。したがって、予期しない試料容器ホルダまたはこぼれた液体試料などの障害物156が処理ユニット154によって検出された場合、試料輸送装置118上の、詳細には駆動面166上の障害物15の位置が決定され得、導出された情報の項目が輸送制御システム126によって使用されて、経路選択を適応させ、他の試料容器ホルダ150または監視装置110が障害物156に対してまたはその上を摺動するのを回避してもよい。
【0200】
輸送制御システム126は、少なくとも1つの表示装置などの少なくとも1つのユーザインターフェース158を備えてもよい。障害物156に関する情報の項目は、ユーザインターフェース158によって表示されてもよい。ユーザインターフェース158は、障害物156に関する情報の項目をユーザに表示すること、および撮像された複数の画像、特にビデオストリームをユーザに表示することのうちの少なくとも1つのために構成されてもよい。
【0201】
図3は、複数の試料160を取り扱うための試料取扱システム112の一実施形態を概略図で示す。試料取扱システム122は、各々が試料容器162を受け入れるように構成された複数の試料容器ホルダ150を備える。試料容器ホルダは、処理される試料160を受け入れ、保持するように構成されてもよい。
【0202】
試料取扱システム112は、本発明による少なくとも1つの監視装置110、例えば図1の実施形態による監視装置110を備える。しかしながら、監視装置110の他の実施形態も実現可能である。
【0203】
試料取扱システム112は、複数の試料容器ホルダ150および監視装置110を輸送するように構成された少なくとも1つの試料輸送装置118を備える。試料輸送装置118は、試料容器ホルダ150および監視装置110の2次元輸送用に構成される。
【0204】
さらに、試料取扱システム112は、少なくとも1つの障害物156に関する情報の項目を考慮して、試料輸送装置118を介した複数の試料容器ホルダ150の輸送を制御するための少なくとも1つの輸送制御システム126を備える。試料取扱システム112の輸送制御システム126は、具体的には、図2に例示的に示されたような、本発明による輸送制御システム126であり得る。したがって、図2の説明に対して参照が行われる。
【0205】
試料容器ホルダ150は、少なくとも1つの摺動ユニット114と、試料容器162を保持するための少なくとも1つの保持ユニット164とを備えてもよい。具体的には、試料容器ホルダ150の摺動ユニット114は、監視装置110の摺動ユニット114と同一に具現化されてもよい。
【0206】
試料輸送装置118は、少なくとも1つの駆動面166を備えてもよい。摺動ユニット114、具体的には試料容器ホルダ150および監視装置110のうちの少なくとも1つに含まれる摺動ユニット114は、試料輸送装置118の駆動面166上を摺動するように構成されてもよい。試料輸送装置は、複数の電磁アクチュエータ168、例えば複数の電磁コイルを備えてもよい。複数の電磁アクチュエータ168は、駆動面166の下に、例えば市松模様に配置されてもよく、摺動ユニット114と磁気的に相互作用するように構成されてもよい。追加または代替として、試料輸送装置118は、複数の誘導センサ170を備えてもよい。複数の誘導センサ170は、試料輸送装置118の駆動面166上の摺動ユニット114の位置を決定するように構成されてもよい。試料輸送装置のさらなる詳細については、国際公開第2011/138448号の開示を参照されたい。
【0207】
図4は、少なくとも1つの障害物156を識別するため方法の例示的な実施形態のフローチャートを示す。方法は、一例として、所与の順序で実行され得る以下のステップを含む。しかしながら、異なる順序も可能であることに留意されたい。さらに、方法ステップの1つまたは複数を1回または繰り返し実行することも可能である。さらに、方法ステップの2つまたはそれより多くを同時にまたは適時にオーバーラップして実行することが可能である。方法は、列挙されていないさらなる方法ステップを含んでもよい。
【0208】
方法は、具体的には、図1に示された監視装置110の実施形態などの本発明による少なくとも1つの監視装置110と、図2に示された輸送制御システム126の実施形態などの本発明による少なくとも1つの輸送制御システム126とを使用することを含んでもよい。しかしながら、他の実施形態も実現可能である。
【0209】
方法は、
i.(参照番号172によって示された)少なくとも1つの監視装置110を使用して複数の摺動位置で複数の画像を撮像し、少なくとも1つの撮像通信インターフェース120を介して複数の画像を提供することと、
ii.(参照番号174によって示された)少なくとも1つの輸送制御システム126の少なくとも1つの制御通信インターフェース152を介して複数の画像を取り出すことと、
iii.(参照番号176によって示された)輸送制御システム126の少なくとも1つの処理ユニット154を使用して複数の画像に少なくとも1つの訓練済み物体分類および検出モデルを適用することによって障害物156を識別することと
を含む。
【0210】
具体的には、ステップi.は、監視装置110を使用して複数の摺動位置で少なくとも1つのビデオストリームを撮像することを含んでもよい。複数の画像を提供することは、少なくとも1つのインターネットプロトコルを介して、具体的には撮像通信インターフェース120を使用してビデオストリームをストリーミングすることを含んでもよい。
【0211】
図5は、少なくとも1つの障害物と監視装置との間の距離を決定するための方法の例示的な実施形態のフローチャートを示す。方法は、一例として、所与の順序で実行され得る以下のステップを含む。しかしながら、異なる順序も可能であることに留意されたい。さらに、方法ステップの1つまたは複数を1回または繰り返し実行することも可能である。さらに、方法ステップの2つまたはそれより多くを同時にまたは適時にオーバーラップして実行することが可能である。方法は、列挙されていないさらなる方法ステップを含んでもよい。
【0212】
方法は、具体的には、図1に示された監視装置110の実施形態などの本発明による少なくとも1つの監視装置110と、図2に示された輸送制御システム126の実施形態などの本発明による少なくとも1つの輸送制御システム126とを使用することを含んでもよい。しかしながら、他の実施形態も実現可能である。
【0213】
方法は、
a.(参照番号178によって示された)少なくとも1つの監視装置110を使用することにより、少なくとも1つの第1の摺動位置および第1の摺動位置とは異なる少なくとも1つの第2の摺動位置において、図4に示されたような、本発明による少なくとも1つの障害物156を識別するための方法を使用して、少なくとも1つの障害物156を識別することと、
b.(参照番号180によって示された)第1の摺動位置で撮像された少なくとも1つの第1の画像および第2の摺動位置で撮像された少なくとも1つの第2の画像を分析することにより、かつ、
に従って距離dを決定することによって、障害物156と監視装置110との間の距離を決定することであって、
1は、第1の摺動位置における画像内の障害物156の高さを示し、y2は、第2の摺動位置における画像内の障害物156の高さを示し、mは、第1の摺動位置から第2の摺動位置まで移動した距離を示し、dは、第1の摺動位置における障害物156と監視装置110との間の距離を示す、
障害物156と監視装置110との間の距離を決定することと
を含む。
【0214】
具体的には、方法ステップa.は、試料輸送装置118を使用することにより、試料取扱システム112の第1の摺動位置から第2の摺動位置に監視装置110を移動させることをさらに含んでもよい。
【0215】
図6は、監視装置110を制御するための方法の例示的な実施形態のフローチャートを示す。方法は、一例として、所与の順序で実行され得る以下のステップを含む。しかしながら、異なる順序も可能であることに留意されたい。さらに、方法ステップの1つまたは複数を1回または繰り返し実行することも可能である。さらに、方法ステップの2つまたはそれより多くを同時にまたは適時にオーバーラップして実行することが可能である。方法は、列挙されていないさらなる方法ステップを含んでもよい。
【0216】
方法は、具体的には、図1に示された監視装置110の実施形態などの本発明による少なくとも1つの監視装置110と、図2に示された輸送制御システム126の実施形態などの本発明による少なくとも1つの輸送制御システム126とを使用することを含んでもよい。しかしながら、他の実施形態も実現可能である。
【0217】
方法は、
I.図4に例示的に示されたような本開示による少なくとも1つの障害物156を識別するための方法を実行することであって、少なくとも1つの監視装置110を使用することにより、(参照番号182によって示された)少なくとも1つの第1の画像が第1の摺動位置で撮像され、(参照番号184によって示された)少なくとも1つの第2の画像が第1の摺動位置とは異なる第2の摺動位置で撮像され、監視装置110が、第1の摺動位置から第2の摺動位置まで第1の方向に摺動され、第1の画像および第2の画像が、監視装置110の少なくとも1つの撮像通信インターフェース120および輸送制御システム126の少なくとも1つの制御通信インターフェース152を介して、少なくとも1つの輸送制御システム126に提供され、(参照番号186によって示された)少なくとも1つの訓練済み物体分類および検出モデルが、輸送制御システム126の少なくとも1つの処理ユニット154を使用して第1の画像および第2の画像に適用される、少なくとも1つの障害物156を識別するための方法を実行することと、
II.障害物が識別された場合、(参照番号188によって示された)第1の方向とは異なる方向で、ステップIIIに先行して、第3の摺動位置に監視装置を摺動させ、そうでない場合、第1の方向を維持し、第3の摺動位置に監視装置を摺動させ、障害物が識別されるまでステップIを繰り返すことと、
III.(参照番号190によって示された)図5に例示的に示されたような本開示による少なくとも1つの障害物156と監視装置110との間の距離を決定するための方法を使用することにより、識別された障害物156と監視装置110との間の距離を決定することと、
IV.ステップIII.で決定された距離が所定の閾値を下回る場合、(参照番号192によって示された)識別された障害物156に関する情報の少なくとも1つの項目を輸送制御システム126に提供し、そうでない場合、ステップIIを繰り返すことと
を含む。
【0218】
図6に見られるように、方法は第1の判定ノード194を含んでもよく、第1の判定ノード194において、方法は、障害物156が撮像された複数の画像内で識別されたかどうかを判定することを含んでもよい。方法は第2の判定ノード196を含んでもよく、第2の判定ノード196において、方法は、障害物156と監視装置110との間の決定された距離が所定の閾値を下回るかどうかを判定することを含んでもよい。
【0219】
さらに、ステップII.は、具体的には、第3の摺動位置に監視装置110を摺動させることを含んでもよく、それによって障害物156と監視装置110との間の距離が減少する。したがって、ステップII.では、監視装置110は識別された障害物156に向かって移動し得る。
【符号の説明】
【0220】
110 監視装置
112 試料取扱システム
114 輸送ユニット、例えば摺動ユニット
116 輸送面、例えば摺動面
118 試料輸送装置
120 撮像ストリーミングユニット
122 カメラ
124 撮像通信インターフェース
126 輸送制御システム
128 作動要素
130 磁気作動要素
132 ハウジング
134 電子信号装置
136 電気伝導要素
138 水平角
140 IPカメラ
142 ウェブインターフェース
144 ワイヤレス通信インターフェース
146 電源
148 バッテリシステム
150 試料容器ホルダ
152 制御通信インターフェース
154 処理ユニット
156 障害物
158 ユーザインターフェース
160 試料
162 試料容器
164 保持ユニット
166 駆動面
168 電磁アクチュエータ
170 誘導センサ
172 複数の摺動位置で複数の画像を撮像する
174 複数の画像を取り出す
176 障害物を識別する
178 少なくとも1つの障害物を識別する
180 障害物と監視装置との間の距離を決定する
182 第1の摺動位置で少なくとも1つの第1の画像を撮像する
184 第2の摺動位置で少なくとも1つの第2の画像を撮像する
186 第1の画像および第2の画像に少なくとも1つの訓練済み物体分類および検出モデルを適用する
188 第1の方向とは異なる方向の第3の摺動位置に監視装置を摺動させる
190 識別された障害物と監視装置との間の距離を決定する
192 情報の少なくとも1つの項目を提供する
194 第1の判定ノード
196 第2の判定ノード
図1
図2
図3
図4
図5
図6
【手続補正書】
【提出日】2023-12-18
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
少なくとも1つの障害物(156)と監視装置(110)との間の距離を決定するための方法であって、前記方法が、
a.少なくとも1つの監視装置(110)を使用することにより、前記監視装置(110)の少なくとも1つの第1の位置および前記第1の位置とは異なる前記監視装置(110)の少なくとも1つの第2の位置において、少なくとも1つの障害物(156)を識別することであって、前記障害物(156)を識別することが、
i.前記監視装置(110)を使用して前記監視装置(110)の複数の位置で複数の画像を撮像し、少なくとも1つの撮像通信インターフェース(124)を介して前記複数の画像を提供することと、
ii.少なくとも1つの輸送制御システム(126)の少なくとも1つの制御通信インターフェース(152)を介して前記複数の画像を取り出すことと、
iii.前記輸送制御システム(126)の少なくとも1つの処理ユニット(154)を使用して前記複数の画像に少なくとも1つの訓練済み物体分類および検出モデルを適用することによって前記障害物(156)を識別することと
を含み、
前記監視装置(110)が、
少なくとも1つの輸送面(116)を含む少なくとも1つの輸送ユニット(114)であって、前記輸送ユニット(114)が、試料取扱システム(112)の少なくとも1つの試料輸送装置(118)上で前記監視装置(110)を輸送するように構成される、少なくとも1つの輸送ユニット(114)と、
少なくとも1つのカメラ(122)を備える少なくとも1つの撮像ストリーミングユニット(120)であって、前記カメラ(122)が複数の画像を撮像するように構成され、前記撮像ストリーミングユニット(120)が、撮像された前記複数の画像を前記試料取扱システム(112)の前記輸送制御システム(126)に提供するための前記撮像通信インターフェース(124)を備える、少なくとも1つの撮像ストリーミングユニット(120)と
を備え、
前記輸送制御システム(126)が前記制御通信インターフェース(152)を備え、前記輸送制御システム(126)が、複数の画像を評価し、それによって前記障害物(156)に関する少なくとも1項目の情報を導出するための前記処理ユニット(154)をさらに備え、前記少なくとも1項目の情報を導出することが、前記複数の画像に少なくとも1つの訓練済み物体分類および検出モデルを適用することを含み、前記輸送制御システム(126)が、前記情報の項目に基づいて前記試料取扱システム(112)の前記試料輸送装置(118)の機能を制御するように構成される、
少なくとも1つの障害物(156)を識別することと、
b.前記第1の位置で撮像された少なくとも1つの第1の画像および前記第2の位置で撮像された少なくとも1つの第2の画像を分析することにより、かつ、
に従って距離dを決定することによって、前記障害物(156)と前記監視装置(110)との間の前記距離を決定することであって、
1が、前記第1の位置における前記画像内の前記障害物(156)の高さを示し、y2が、前記第2の位置における前記画像内の前記障害物(156)の高さを示し、mが、前記第1の位置から前記第2の位置まで移動した距離を示し、dが、前記障害物(156)と前記第1の位置における前記監視装置(110)との間の距離を示す、
前記障害物(156)と前記監視装置(110)との間の前記距離を決定することと
を含み、
前記障害物(156)が、前記試料輸送装置(118)上の試料容器ホルダ(150)の輸送を妨げる任意の物体である、方法。
【請求項2】
前記方法が、
I.前記障害物(156)を識別することであって、前記監視装置(110)を使用することにより、前記第1の画像が前記監視装置(110)の前記第1の位置で撮像され、前記第2の画像が前記第1の位置とは異なる前記監視装置(110)の前記第2の位置で撮像され、前記監視装置(110)が、前記第1の位置から前記第2の位置まで第1の方向に輸送され、前記第1の画像および前記第2の画像が、前記監視装置(110)の前記撮像通信インターフェース(120)および前記輸送制御システム(126)の前記制御通信インターフェース(152)を介して前記輸送制御システム(126)に提供され、前記訓練済み物体分類および検出モデルが、前記輸送制御システム(126)の前記処理ユニット(154)を使用して前記第1の画像および前記第2の画像に適用される、前記障害物(156)を識別することと、
II.障害物(156)が識別された場合、前記第1の方向とは異なる方向で、ステップIIIに先行して、前記監視装置(110)の第3の位置に前記監視装置(110)を輸送し、そうでない場合、前記第1の方向を維持し、前記第3の位置に前記監視装置(110)を輸送し、前記障害物(156)が識別されるまでステップIを繰り返すことと、
III.識別された前記障害物(156)と前記監視装置(110)との間の距離を決定することと、
IV.ステップIII.で決定された前記距離が所定の閾値を下回る場合、識別された前記障害物(156)に関する前記情報の項目を前記輸送制御システム(126)に提供し、そうでない場合、ステップIIを繰り返すことと
をさらに含む、請求項1に記載の方法。
【請求項3】
複数の試料(160)を取り扱うための試料取扱システム(112)であって、前記試料取扱システム(112)が、少なくとも1つの障害物(156)と監視装置(110)との間の距離を決定するための、請求項1に記載の方法を実行するように構成され、前記試料取扱システム(112)が、
各々が試料容器(162)を受け入れるように構成された、複数の試料容器ホルダ(150)と、
前記監視装置(110)と、
前記複数の試料容器ホルダ(150)および前記監視装置(110)を輸送するように構成された少なくとも1つの試料輸送装置(118)であって、前記試料輸送装置(118)が前記試料容器ホルダ(150)および前記監視装置(110)の2次元輸送のために構成され、前記試料輸送装置(118)が、前記監視装置(110)を駆動するための駆動面(166)を備え、前記監視装置(110)が、前記駆動面(166)上を輸送されるように構成され、前記試料容器ホルダ(150)が、前記試料輸送装置(118)の前記駆動面(166)上を輸送されるように構成された少なくとも1つの輸送ユニット(114)を備える、少なくとも1つの試料輸送装置(118)と、
前記少なくとも1つの障害物(156)に関する情報の項目を考慮して、前記試料輸送装置(118)を介した前記複数の試料容器ホルダ(150)の輸送を制御するための輸送制御システム(126)と
を備える、試料取扱システム(112)。
【請求項4】
前記試料容器ホルダ(150)が、少なくとも1つの輸送ユニット(114)および少なくとも1つの保持ユニット(164)を備え、前記試料容器ホルダ(150)の前記輸送ユニット(114)が、前記監視装置(110)の前記輸送ユニット(114)と同一に具現化される、請求項3に記載の試料取扱システム(112)。
【請求項5】
前記撮像ストリーミングユニット(120)が前記輸送ユニット(114)に取り付けおよび/または装着される、請求項3に記載の試料取扱システム(112)。
【請求項6】
前記撮像ストリーミングユニット(120)の前記カメラ(122)が、IPカメラ(140)、ワイヤレスカメラ、ネットワークカメラ、軽量カメラ、単焦点カメラ、広角カメラ、固定焦点レンズカメラのうちの少なくとも1つを含む、請求項3に記載の試料取扱システム(112)。
【請求項7】
前記撮像ストリーミングユニット(120)の前記カメラ(122)が、少なくとも1つのカラーカメラを含む、請求項3に記載の試料取扱システム(112)。
【請求項8】
前記撮像ストリーミングユニット(120)が少なくとも4つのカメラを備え、前記4つのカメラの視野が互いに対して90°回転している、請求項3に記載の試料取扱システム(112)。
【請求項9】
前記障害物(156)に関する前記情報の少なくとも1つの項目が、前記障害物(156)の存在、前記障害物(156)の分類、駆動面(166)上の前記障害物(156)の位置、前記障害物(156)の移動状況、前記障害物(156)の色、前記監視装置(110)と前記障害物(156)との間の距離のうちの少なくとも1つを含む、請求項3に記載の試料取扱システム(112)。
【請求項10】
前記訓練済み物体分類および検出モデルが、事前訓練済み畳み込みニューラルネットワークを含み、前記事前訓練済み畳み込みニューラルネットワークが、AlexNet、ビジュアルジオメトリグループネット、残差ニューラルネットワーク、YOLO(You Only Look Once)、高速化された領域ベースの畳み込みネットワーク方法、領域ベースの完全畳み込みネットワーク、単一ショット検出器、空間ピラミッドプーリングからなる群から選択される少なくとも1つの畳み込みニューラルネットワークを含み、および/または
前記訓練済み物体分類および検出モデルが、k近傍法アルゴリズム、サポートベクターマシンのうちの1つまたは複数を含む事前訓練済み古典的な分類機械学習アルゴリズムを含む、
請求項3に記載の試料取扱システム(112)。
【請求項11】
前記輸送制御システム(126)が、前記試料輸送装置(118)上の試料容器ホルダ(150)の輸送を制御するように構成され、前記輸送制御システム(126)が、前記試料輸送装置(118)上の前記監視装置(110)の輸送を制御するように構成される、請求項3に記載の試料取扱システム(112)。
【請求項12】
命令を含むコンピュータプログラムであって、前記プログラムがコンピュータまたはコンピュータネットワークによって実行されると、前記命令が、前記コンピュータまたはコンピュータネットワークに、請求項1または2に記載の少なくとも1つの障害物(156)と監視装置(110)との間の距離を決定するための方法を実行させる、コンピュータプログラム。
【国際調査報告】