特許 7577185 ドアに透明ディスプレイを備えたラボラトリオートメーションデバイス

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-24

(45)【発行日】2024-11-01

(54)【発明の名称】ドアに透明ディスプレイを備えたラボラトリオートメーションデバイス

(51)【国際特許分類】

   G06F 3/01 20060101AFI20241025BHJP

   G01N 35/00 20060101ALI20241025BHJP

【ＦＩ】

G06F3/01 510

G01N35/00 A

【請求項の数】 15

(21)【出願番号】P 2023500045

(86)(22)【出願日】2020-07-08

(65)【公表番号】

(43)【公表日】2023-08-24

(86)【国際出願番号】 EP2020069190

(87)【国際公開番号】W WO2022008044

(87)【国際公開日】2022-01-13

【審査請求日】2023-05-25

(73)【特許権者】

【識別番号】501442699

【氏名又は名称】テカン・トレーディング・アクチェンゲゼルシャフト

【氏名又は名称原語表記】ＴＥＣＡＮ Ｔｒａｄｉｎｇ ＡＧ

(74)【代理人】

【識別番号】110000176

【氏名又は名称】弁理士法人一色国際特許事務所

(72)【発明者】

【氏名】ミニアチ，チーロ

(72)【発明者】

【氏名】シュティーフェル，マクシミリアン

(72)【発明者】

【氏名】ヘルグ，ベルナー

(72)【発明者】

【氏名】ルブデック，ロナン

【審査官】相川 俊

(56)【参考文献】

【文献】米国特許出願公開第２０１２／００７２８７３（ＵＳ，Ａ１）

【文献】特表２０１４－５００１３２（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１９／００８６２９６（ＵＳ，Ａ１）

【文献】特開２０１３－０７２７９９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１

Ｇ０１Ｎ ３５／００

(57)【特許請求の範囲】

【請求項1】

ラボラトリオートメーションデバイス（１０）であって、
液体容器（１６）と、前記液体容器（１６）間で液体（１８）を移動させるためのピペットアーム（２０）と、を有するワークスペース（２６）と、
前記ワークスペース（２６）を囲むハウジング（２８）と、
前記ワークスペース（２６）にアクセスするための前記ハウジング（２８）のドア（３０）であって、情報（３４）を表示し人が前記ワークスペース（２６）内を見ることを可能にする透明ディスプレイ（３２）を、含むドア（３０）と、
前記人（４２）の目の位置（４６）を追跡する追跡センサ（３６）と
を含み、
前記ラボラトリオートメーションデバイス（１０）は、
前記追跡センサ（３６）により取得されたセンサデータから、前記人（４２）の前記目の位置（４６）を判断し、
前記人（４２）の視点から通知領域（４８）の前に情報（３４ｂ）が表示されるように、前記ワークスペース（２６）内の前記通知領域（４８）の前記情報（３４ｂ）を前記透明ディスプレイ（３２）上に表示する
ように適合される、ラボラトリオートメーションデバイス（１０）。

【請求項2】

請求項１に記載のラボラトリオートメーションデバイス（１０）であって、
前記通知領域（４８）は、前記情報（３４ｂ）が表示される前記透明ディスプレイ（３２）上の表示領域（５０）を決定するために、前記目の位置（４６）に向けて前記透明ディスプレイ（３２）上に投影される、ラボラトリオートメーションデバイス（１０）。

【請求項3】

請求項１～２のいずれか一項に記載のラボラトリオートメーションデバイスであって、
前記通知領域（４８）は、前記ラボラトリオートメーションデバイスの構成要素（１４）が位置する領域であり、
前記透明ディスプレイ（３２）上に表示される情報（３４ｂ）は、前記構成要素（１４）のステータス情報である、ラボラトリオートメーションデバイス（１０）。

【請求項4】

請求項１～３のいずれか一項に記載のラボラトリオートメーションデバイス（１０）であって、
前記通知領域（４８）は、前記ラボラトリオートメーションデバイス（１０）の構成要素（１４）が設置されるべき領域であり、
前記透明ディスプレイ（３２）上に表示される情報（３４ｂ）は、設置されるべき前記構成要素（１４）のステータス情報である、ラボラトリオートメーションデバイス（１０）。

【請求項5】

請求項１～４のいずれか一項に記載のラボラトリオートメーションデバイス（１０）であって、
前記追跡センサ（３６）はカメラ（３６ａ）を含む、ラボラトリオートメーションデバイス（１０）。

【請求項6】

請求項１～５のいずれか一項に記載のラボラトリオートメーションデバイス（１０）であって、
前記追跡センサ（３６）は視線追跡センサ（３６ｂ）を含む、ラボラトリオートメーションデバイス（１０）。

【請求項7】

請求項１～６のいずれか一項に記載のラボラトリオートメーションデバイス（１０）であって、
前記追跡センサ（３６）は、複数の人（４２）が前記ドア（３０）の前にいることを判断するように適合される、ラボラトリオートメーションデバイス（１０）。

【請求項8】

請求項７に記載のラボラトリオートメーションデバイス（１０）であって、
前記目の位置（４６）が判断される対象の前記人（４２）は、前記追跡センサのセンサデータを用いて行われるジェスチャ検出を介して選択される、ラボラトリオートメーションデバイス（１０）。

【請求項9】

請求項７または８に記載のラボラトリオートメーションデバイス（１０）であって、
前記目の位置（４６）が判断される対象の前記人（４２）は、前記透明ディスプレイ（３２）を介して選択される、ラボラトリオートメーションデバイス（１０）。

【請求項10】

請求項１～９のいずれか一項に記載のラボラトリオートメーションデバイス（１０）であって、
前記ドア（３０）は、前記ドアの位置（４０ａ、４０ｂ、４０ｃ）を判断するための位置センサ（４４）を有し、
前記情報（３４ｂ）が表示される前記透明ディスプレイ（３２）上の表示領域（５０）は、前記ドア（３０）の前記位置（４０ａ、４０ｂ、４０ｃ）に応じて決定される、ラボラトリオートメーションデバイス（１０）。

【請求項11】

請求項１～１０のいずれか一項に記載のラボラトリオートメーションデバイス（１０）であって、
前記透明ディスプレイ（３２）はタッチスクリーンを含む、ラボラトリオートメーションデバイス（１０）。

【請求項12】

請求項１～１１のいずれか一項に記載のラボラトリオートメーションデバイス（１０）を操作する方法であって、
前記追跡センサ（３６）により取得されたセンサデータから前記人（４２）の前記目の位置（４６）を判断し、
前記人（４２）の視点から通知領域（４８）の前に情報（３４ｂ）が表示されるように前記ワークスペース（２６）内の前記通知領域（４８）の前記情報（３４ｂ）を前記透明ディスプレイ（３２）上に表示する、
方法。

【請求項13】

ラボラトリオートメーションデバイス（１０）のコントローラ（３８）のためのコンピュータプログラムであって、プロセッサによって実行されたときに請求項１２に記載の方法を行うように適合される、コンピュータプログラム。

【請求項14】

請求項１３に記載のコンピュータプログラムが記憶された、コンピュータ可読媒体。

【請求項15】

請求項１～１２のいずれか一項に記載のラボラトリオートメーションデバイス（１０）を操作する方法を行うために適合された、ラボラトリオートメーションデバイス（１０）のコントローラ（３８）。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ラボラトリオートメーションデバイスに関する。さらに、本発明は、ラボラトリオートメーションデバイスを操作するための方法、コンピュータプログラム、コンピュータ可読媒体ならびに、コントローラに関する。

【背景技術】

【0002】

ラボラトリオートメーションデバイスは、例えば、特定の疾患について患者を検査する検査技師の作業を自動化するために使用される。通常、患者の血液、尿、便などの試料が採取され、生化学的手順によって分析される。このような手順は、物質の添加、培養、分離などの様々な操作と、特定の疾患を示す物質の量、存在または不存在を、定量的または定性的に測定する測定プロセスと、からなる。

【0003】

特定のラボラトリオートメーションデバイスは、ドアを備えたハウジングによって囲まれたワークスペースを含む。ハウジング内では、一つの容器から液体を吸引し、この液体を別の容器に分配することができるピペットアームにより、容器に収容された試薬が処理されうる。ドアは、人がワークスペース内を見ることができるように透明でありうるが、ワークスペース内への意図的でないアクセスを遮断しうる。

【0004】

ラボラトリオートメーションデバイスは、例えばピペットアームの制御を行うコントローラ、通常はＰＣ、と接続されうる。ラボラトリオートメーションデバイス内の様々な構成要素の状態およびエラーメッセージが、ＰＣのモニタ上に表示されうる。グラフィック記号に基づくワークスペースの概略配置がモニタに表示されてもよい。ラボラトリオートメーションデバイスの状態をチェックするためには、人がモニタ上を見なければならず、モニタ上の特定のメッセージおよび記号の少なくとも一方に、ワークスペース内のどの構成要素が関連するのかを、特定しなければならない。

【発明の概要】

【課題を解決するための手段】

【0005】

本発明の目的は、ラボラトリオートメーションデバイスの監督を単純化することである。

【0006】

この目的は、独立請求項の主題によって達成される。さらなる例示的な実施形態は、従属請求項および以下の説明から明らかである。

【0007】

本発明の第一態様は、ラボラトリオートメーションデバイスに関する。一般に、ラボラトリオートメーションデバイスは、検査技師の作業を自動的に実行するように適合されたどのようなデバイスであってもよい。少なくともそのようなラボラトリオートメーションデバイスは、ロボットピペットを異なる位置間で移動させ、かつ、これらの位置で液体を吸引および排出するように適合されたピペットアームを含む。加えて、または、代わりに、このようなラボラトリオートメーションデバイスは、少なくともグリッパアームを含み、グリッパアームは、ロボットグリッパを異なる位置間で移動させ、これらの位置から物体を除去するか、または、これらの位置に物体を設置するように適合される。液体は、ラボラトリオートメーションデバイスのワークテーブル上に配置されうる液体容器に設けられる空洞から吸引され、空洞内に排出されうる。このような液体容器は、ウェル、試料管、マイクロタイタープレート、および／または、試薬容器などのうちの少なくとも一つを含みうる。

【0008】

本発明の一実施形態によれば、ラボラトリオートメーションデバイスは、 液体容器と、前記液体容器間で液体を移動させるためのピペットアームと、を有するワークスペースと、前記ワークスペースを囲むハウジングと、前記ワークスペースにアクセスするための前記ハウジングのドアであって、情報を表示し人が前記ワークスペース内を見ることを可能にする透明ディスプレイを、含むドアと、前記人の目の位置を追跡する追跡センサとを含む。

【0009】

このような設備により、ラボラトリオートメーションデバイスは、ドア上に情報を直接表示するように適合され、人がそのドアを通してハウジング、特にワークスペースの内部を見ることができる。さらに、ラボラトリオートメーションデバイスは、その人がワークスペース内のどの領域の方を見ているかを判断するように適合される。このようにして、その人は、ラボラトリオートメーションデバイス内の手順およびエラーについて、最適な情報を得ることができる。

【0010】

ハウジングおよびドアは、ワークスペースを完全に囲みうる。しかし、特定の方向からのワークスペースへのアクセスのみがハウジングによって制限されてもよい。

【0011】

透明ディスプレイは、ＯＬＥＤまたはＬＣＤディスプレイでありうる。このようなタイプのディスプレイは、透明スクリーン上に、情報、テキスト、および、グラフィックを表示しうる。

【0012】

本発明の一実施形態によれば、ラボラトリオートメーションデバイスは、追跡センサにより取得されたセンサデータから人の目の位置を判断し、人の視点から通知領域の前に情報が表示されるように、ワークスペース内の通知領域の情報を透明ディスプレイ上に表示するように適合される。これらのステップは、ラボラトリオートメーションデバイスに接続されたコンピューティングデバイスおよび／またはＰＣでありうるラボラトリオートメーションデバイスのコントローラによって、制御されうる。コントローラは、外部装置であってもよく、または、ラボラトリオートメーションデバイス内に、特にそのハウジング内に、含まれてもよい。ピペットアーム、追跡センサ、および、透明ディスプレイは、コントローラと、データ通信のために接続されうる。

【0013】

透明ディスプレイは、ラボラトリオートメーションデバイスのワークスペースを拡張する拡張現実アプリケーションを表示するために使用されうる。この拡張現実アプリケーションは、コントローラで実行されうる。人の視点は、その人の目の位置によって定義されうる。目の位置から、透明ディスプレイのどの部分が通知領域の前に位置しているかが判断されうる。この部分が、情報が表示される表示領域を定義しうる。

【0014】

透明ディスプレイ上に示される情報は、ワークスペース内の特定のオブジェクト／構成要素に関連する通知およびエラーメッセージの少なくとも一方でありうる。拡張現実アプリケーションは、情報を、人の目の位置に対して、対応する構成要素の近くおよび上方の少なくとも一方に、表示しうる。

【0015】

情報は、色付きおよび点滅状態の少なくとも一方でありうる記号インジケータを、含みうる。インジケータは、通知領域の輪郭であってもよい。

【0016】

目の位置は、ラボラトリオートメーションデバイスによって定義される座標系に関した三次元座標として提供されうる。

【0017】

本発明の一実施形態によれば、通知領域は、目の位置に向けて透明ディスプレイ上に投影される。投影により、透明ディスプレイ上の表示領域が決定され、この表示領域内に情報が表示される。ラボラトリオートメーションデバイスおよびそのコントローラの少なくとも一方は、ワークスペースの現在の配置の内部モデルを有してもよい。特に、ワークスペース内の構成要素の位置およびオプションタイプが内部モデルに記憶されうる。そのような構成要素は、液体容器、ピペットチップ容器などの他のタイプの容器、試験試料、ピペットアームなどを含みうる。構成要素の三次元外形が構成要素と一緒に記憶されてもよい。このような形状は、構成要素のタイプから決定されうる。

【0018】

ラボラトリオートメーションデバイスは、構成要素間のピペットアームおよびグリッパの移動を判断しなければならないこともあるため、ワークスペース内のそのような構成要素の位置および伸展の少なくとも一方を含みうるワークスペースの内部モデルが、既に存在しうる。さらに、そのような内部モデルは、ラボラトリオートメーションデバイスが、センサを用いてワークスペースの内容を判断するコンテキストワークテーブル認識において生成されうる。

【0019】

構成要素の位置における、構成要素のこの特定の形状、または、より一般的な箱状もしくはその他の一般的な形状が、人の目の位置に向けて透明ディスプレイ上に投影されうる。これにより、人の視点から見て構成要素の前にある表示領域が決定される。この表示領域内に情報が示されたときには、その情報はその構成要素に直接関連することになる。

【0020】

本発明の一実施形態によれば、通知領域は、ラボラトリオートメーションデバイスの構成要素が位置している領域である。例えば、透明ディスプレイ上に表示される情報は、構成要素のステータス情報である。この情報は、容器の補充時に、存在するピペッティングチップが少なすぎること、および、液体容器の液体の含有量が少なすぎること、の少なくとも一方を示しうる。ステータス情報はエラーメッセージでありうる。ステータス情報は、ワークスペース内のそれぞれの構成要素と関わりあう要求でありうる。構成要素は除去可能であってもよく、情報は、構成要素が除去されねばならないことを示してもよい。

【0021】

ワークスペースは、カメラ、または、より一般的なセンサによって、監視されてもよい。センサデータを評価することにより、構成要素が正しい位置にあるか否かが判断されうる。構成要素が誤った場所にあるときには、対応するエラーメッセージが生成される。

【0022】

本発明の一実施形態によれば、通知領域は、ラボラトリオートメーションデバイスの構成要素が設置されるべき領域である。一般に、通知領域は、ワークスペースの空きスペースであってもよい。透明ディスプレイ上に表示される情報は、通知領域に設置されるべき構成要素のステータス情報でありうる。この情報は、この領域に液体容器が設置されるべきことを示しうる。

【0023】

本発明の一実施形態によれば、追跡センサは、一つ以上のカメラを含む。目の位置は、ビデオストリームから推定されうる。例えば、ビデオストリームから人の顔を抽出することによって、人の頭の位置およびサイズの少なくとも一方が抽出されうる。

【0024】

本発明の一実施形態によれば、追跡センサは、視線追跡センサを含む。そのようなセンサは、赤外線カメラと、人の目で反射される赤外光源と、を含みうる。視線追跡センサにより、ビデオストリームのみによる場合と同様に、視線の方向および目の位置がより正確に推定されうる。

【0025】

本発明の一実施形態によれば、追跡センサは、複数の人がその感知領域内にいることを判断するように適合される。例えば、ビデオストリームからドアの前にいる人およびドアを通して見ている人の少なくとも一方が、判断されうる。このようなビデオストリームは、追跡センサのカメラによって提供されうる。

【0026】

本発明の一実施形態によれば、目の位置が判断される対象の人は、追跡センサのセンサデータを用いて行われるジェスチャ検出を介して選択される。カメラのビデオストリームも、ジェスチャ検出のために使用されうる。手を振る等のジェスチャにより、そのジェスチャを行っている人が目の位置を判断されるべき対象の人物であること、および、拡張現実が生成されるべき対象の人物であること、の少なくとも一方が示されうる。

【0027】

追跡センサによって複数の人が検出されたときに、拡張現実機能を用いられずに情報が表示されてもよい。

【0028】

本発明の一実施形態によれば、目の位置が判断される対象の人は、透明ディスプレイを介して選択される。透明ディスプレイは、タッチスクリーンを含んでもよい。透明ディスプレイは、カメラによって撮影されうるユーザグループの写真を表示しうる。正しい視点で拡張現実が表示される人の写真が、それぞれの人を選択するための透明ディスプレイ上で触れられうる。

【0029】

本発明の一実施形態によれば、ドアは、ドアの位置を判断するための位置センサを有する。ドアは、スライド可能ドアまたはヒンジ付きドアでありうる。「閉」、「ワークベンチアクセス可能」および「全開」の位置がありうる。位置センサは、ドアが開かれるとき、および、特定の位置に移動されるとき、の少なくとも一方のとき、にピペットアームを停止するためにも使用されうる。

【0030】

本発明の一実施形態によれば、情報が表示される透明ディスプレイ上の表示領域は、ドアの位置に応じて決定される。人がドアを通してワークスペース内を見ることが可能な、ドアのいくつかの位置が、ありうる。

【0031】

位置センサにより、開および閉などのドアの二つ以上の位置が検出されうる。ドアおよび透明ディスプレイの少なくとも一方の三次元モデルが、その位置および向きの少なくとも一方と一緒にコントローラに記憶されうる。このモデルは、透明ディスプレイ上への通知領域の投影を決定するために使用されうる。位置センサおよび検出されたドアの位置の少なくとも一方により、ドアの位置をさらに考慮して投影が決定されうる。

【0032】

本発明の一実施形態によれば、透明ディスプレイはタッチスクリーンを含む。既に述べたように、透明ディスプレイは、ユーザインタフェースとしても使用されうる。

【0033】

本発明のさらなる態様は、以上および以下に記載されるラボラトリオートメーションデバイスを操作する方法に関する。この方法は、コントローラによって行われうる。

【0034】

本発明の一実施形態によれば、この方法は、追跡センサにより取得されたセンサデータから人の目の位置を判断することと、人に対して通知領域の前に情報が表示されるように、ワークスペース内の通知領域の情報を透明ディスプレイ上に表示することとを含む。以上および以下に記載される方法の特徴は、以上および以下に記載されるラボラトリオートメーションデバイスの特徴でありうることが理解されねばならない。

【0035】

本発明のさらなる態様は、プロセッサによって実行されたときに以上および以下に記載される方法を行うために適合される、ラボラトリオートメーションデバイスのコントローラのためのコンピュータプログラムに関する。本発明のさらなる態様は、そのようなコンピュータプログラムが記憶されるコンピュータ可読媒体に関する。ラボラトリオートメーションデバイスのコントローラは、コントローラのメモリに記憶されうるコンピュータプログラムを実行するプロセッサを含みうる。

【0036】

コンピュータ可読媒体は、ハードディスク、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ、ユニバーサルシリアルバス）記憶装置、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ランダムアクセスメモリ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ、リードオンリメモリ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ、消去可能プログラム可能リードオンリメモリ）またはフラッシュメモリでありうる。コンピュータ可読媒体は、プログラムコードのダウンロードが可能な、例えばインターネットなどの、データ通信ネットワークでもありうる。一般に、コンピュータ可読媒体は、非一時的な媒体であっても一時的媒体であってもよい。

【0037】

本発明のさらなる態様は、本明細書に記載の方法を行うように適合されたラボラトリオートメーションデバイス（１０）のコントローラに関する。方法は、少なくとも部分的に、例えばＦＰＧＡなどの、ハードウェアにおいて実装されうる。

【0038】

本発明のこれらおよび他の態様は、以下に説明する実施形態から明らかになり、それらを参照して解明されるであろう。

【図面の簡単な説明】

【0039】

以下では、本発明の実施形態が添付の図面を参照しながら、より詳細に説明される。

【0040】

【図1】本発明の一実施形態によるラボラトリオートメーションデバイスの概略斜視図を示す。

【図2】本発明のさらなる実施形態によるラボラトリオートメーションデバイスの概略断面図を示す。

【図3A】本発明のさらなる実施形態によるラボラトリオートメーションデバイスの概略断面図を示す。

【図3B】本発明のさらなる実施形態によるラボラトリオートメーションデバイスの概略断面図を示す。

【図3C】本発明のさらなる実施形態によるラボラトリオートメーションデバイスの概略断面図を示す。

【図4】本発明の一実施形態によるラボラトリオートメーションデバイスを操作するための方法を説明するフローダイヤグラムを示す。

【0041】

図面で使用される参照記号およびそれらの意味は、符号の説明に要約形式で列挙される。原則として、同一の部分には図面において同じ参照記号が付される。

【発明を実施するための形態】

【0042】

図１は、ラボラトリオートメーションデバイス１０のいくつかの構成要素１４が搭載されたワークベンチ１２を含む、ラボラトリオートメーションデバイス１０を示す。図示の例は、ピペットチップ１４ｂを有するカートリッジ１４ａ、試験管１６ａを有するカートリッジ１４ｃ、ウェル１６ｂを有するマイクロプレート１４ｄ、および試薬１８を含む容器１６ｃを含む。一般に、構成要素１４のいくつかは液体容器１６でありうる。

【0043】

ラボラトリオートメーションデバイス１０は、例えばモータを利用して三次元で移動されうる、ピペット２２を備えたピペットアーム２０をさらに含む。ピペット２２により試験管１６ａから吸引されることにより試料が取り出され、ウェル１６ｂ内に分注されうる。同様に、試薬１８がウェル１６ｂ内に運ばれうる。グリッパ２４を装備したグリッパアーム２３により、マイクロプレート１４ｄが交換され、ヒータ、光学的分析デバイスなどのさらなるデバイス内に移動されうる。

【0044】

ラボラトリオートメーションデバイス１０の構成要素１４、２０、２２、２４は、ハウジング２８によって囲まれたワークスペース２６内のワークベンチ１２の上方に設けられる。ハウジング２８は前面にドア３０があり、構成要素１４、２０、２２、２４にアクセスするために開けることができる。ドア３０の一部またはドア３０全体が透明ディスプレイ３２であり、それによりワークスペース２６内を見ることができ、透明ディスプレイ上に情報３４を表示することができる。そのような情報は、構成要素１４、２０、２２、２４からの輪郭表示および強調表示３４ｂ、ならびに、記号、テキストおよび画像３４ａの少なくとも一方を含みうる。

【0045】

情報３４の一部または全部は、ラボラトリオートメーションデバイス１０の前にいる人の特定の視点に対して、その人にとって情報３４が構成要素１４、２０、２２、２４の近くまたは前に表示されるように、表示されうる。

【0046】

一般に、情報３４は、人の目の位置とは無関係に（および任意にドア３０の位置とは無関係に）透明ディスプレイ３２上の同じ位置上に表示される静止情報３４ａを含みうる。さらに、情報３４は、人の目の位置に応じた（および任意にドア３０の位置に応じた）透明ディスプレイ３２上の位置に表示される拡張現実情報３４ｂを含みうる。

【0047】

例えば、構成要素１４、２０、２２、２４の輪郭表示および強調表示の少なくとも一方３４ｂは、構成要素１４、２０、２２、２４がワークスペース内に設けられる領域に重なるように表示されうる。

【0048】

目の位置を判断するために、ラボラトリオートメーションデバイス１０は、カメラ３６ａおよび視線追跡センサ３６ｂの少なくとも一方を含む追跡センサ３６を含む。例えば、カメラ３６ａに加えて、視線追跡センサが一つ以上の赤外光源３６ｃを含みうる。追跡センサ３６、特にカメラ３６ａおよび赤外光源３６ｃは、ハウジング２８に取り付けられうる。

【0049】

図１は、目の位置の判断および透明ディスプレイ３２上に表示される情報３４のレンダリングを行いうる、ラボラトリオートメーションデバイス１０のコントローラ３８を、さらに示す。コントローラ３８は、ラボラトリオートメーションデバイス１０とデータ通信するコンピュータまたは組み込みデバイスであってもよく、またはラボラトリオートメーションデバイス１０に含まれてもよい。

【0050】

図２は、ヒンジ付きドア３０を備えたラボラトリオートメーションデバイス１０の一実施形態を示す。図１のラボラトリオートメーションデバイス１０のドア３０は、このように設計されてもよい。ドア３０は、軸Ａの周りにヒンジで連結されうる。第一位置４０ａでは、ドア３０は閉じられ、ドア３０によって閉じられた開口部を通してワークスペース２６がアクセス可能であることを妨げる。第二位置４０ｂでは、ドア３０が開かれ、その結果、人４２が、透明ディスプレイを通して見ることができ、ワークスペース２６内に、例えば液体容器１６を交換するために、手を伸ばしうる。ドア３０が完全に開かれたさらなる位置があってもよい。ドアの位置４０ａ、４０ｂは、位置センサ４４により判断される。

【0051】

位置センサ４４は、ドア３０が完全に閉じられていないとき、すなわち、位置４０ａにないときに、ピペットアーム２０およびグリッパ２４の少なくとも一方の動作を停止するために、コントローラ３８によって使用されうる。

【0052】

図２は、コントローラ３８が情報３４ｂの表示領域５０をどのように決定するかも示す。既知の目の位置４６を用いて、ワークスペース内の通知領域４８が透明ディスプレイ３２上に投影される。この投影が、情報３４ｂが表示される表示領域４０として用いられる。通知領域４８は、ワークスペース２６内のある体積でありうる。表示領域４０は、ディスプレイの多角形部分などの二次元形状でありうる。

【0053】

通知領域４８の投影を行うためには、コントローラ３８は、目の位置４６および透明ディスプレイ３２の位置を知らなければならない。この位置は、ドア位置４０ａ、４０ｂから決定されてもよいし、一定であると仮定されてもよい。

【0054】

図３Ａ、３Ｂおよび３Ｃは、スライドドア３０を備えたラボラトリオートメーションデバイス１０の一実施形態を示す。図１のラボラトリオートメーションデバイス１０のドア３０は、このように設計されてもよい。スライドドア３０は、第一ドア位置４０ａ（位置「閉」）でワークスペース２６へのアクセスを妨げることができ、第二ドア位置４０ｂ（位置「ワークベンチアクセス可能」）でワークスペース２６へのアクセスを可能にすることができ、第三ドア位置４０ｃ（位置「全開」）でワークスペース２６全体へのアクセスを可能にすることができる。ここでも、表示領域５０は、ドア位置４０ａ、４０ｂによって決定されうる。スライドドアは、アセシングギャップ５２の高さｄが異なる様々な「ワークベンチアクセス可能」４０ｂの位置を有しうる。

【0055】

図４は、先の図に示したようなラボラトリオートメーションデバイス１０を操作するための方法のフロー図を示す。

【0056】

ステップＳ１０において、複数の人４２がドア３０の前にいるときには、一人の人４２が選択される。コントローラ３８は、カメラ３６ａのビデオストリームを評価することによってドア３０の前に何人の人がいるのかを判断しうる。カメラ３６ａは、その視野が、複数の人４２がいることが予想されるドア３０の前の領域に向けられるように、配置されうる。人４２または人の頭が、物体認識によって識別されうる。

【0057】

追跡センサ３６の、および、特にカメラ３６ａの、センサデータにより行われるジェスチャ検出を介して、一人の人４２が選択されてもよい。例えば、腕を振るまたは特定のジェスチャが、手および腕の少なくとも一方の物体認識およびその位置の追跡によって判断されうる。

【0058】

透明ディスプレイ３２を介して一人の人４２が選択されてもよい。カメラ３６ａの視野内の全ての人４２の頭および顔の少なくとも一方が、透明ディスプレイ３２上に例えば静止情報３４ａとして表示されうる。透明ディスプレイ３２は、タッチスクリーンを含んでもよく、それぞれの静止情報３４ａの領域に触れることによって人が選択されてもよい。

【0059】

ステップＳ１２では、追跡センサ３６により取得されるセンサデータから人４２の目の位置４６が判断される。例えば、ステップＳ１０で選択された人の頭の画像から、または、ドア３０の前にいる一人の人から、目の位置４６が抽出されうる。カメラ３６ａからのビデオストリーム中の物体認識を介して目の位置４６が判断されうる。目で反射されてビデオストリームにおいてその反射が識別されうる赤外光源３６ｃが使用されてもよい。

【0060】

目の位置４６は、ワークスペース２６内の点の位置も計算されうる、かつ／または、透明ディスプレイ３２の位置も既知である、座標系に関して、提供される三次元座標とすることができる。

【0061】

ステップＳ１４において、ワークスペース２６内の通知領域４８の拡張現実情報３４ｂが透明ディスプレイ３２上に表示される。

【0062】

コントローラ３８は、情報３４ｂが表示されるべき一つ以上の通知領域４８を決定する。通知領域４８は、ラボラトリオートメーションデバイス１０の構成要素１４が位置している領域でありうる。情報３４ｂは、エラーメッセージまたは人が構成要素１４を交換または補充するためのメッセージなどの、構成要素１４のステータス情報でありうる。通知領域４８は、ワークスペース２６内の空領域であってもよい。例えば、ラボラトリオートメーションデバイス１０の構成要素１４が人４２によって設置されるべき領域。情報３４ｂは、設置されるべき構成要素１４のステータス情報でありうる。

【0063】

コントローラ３８は、ワークスペース２６および構成要素１４の内部モデルを内部に維持しうる。このモデルは、どの位置にどの構成要素１４が置かれているかの情報を提供しうる。このモデルは、構成要素の境界体積についての情報も提供しうる。このような境界体積は、通知領域４８として使用されうる。内部モデルは、構成要素１４がワークスペース２６に入れられたとき、および、ワークスペース２６から除去されたときに更新されうる。内部モデルは、構成要素１４の位置が例えばピペットアーム２０およびグリッパ２４の少なくとも一方の動作により変わったときに更新されうる。

【0064】

一つ以上の通知領域４８が決定されると、透明ディスプレイ３２上の表示領域５０を決定するために、通知領域４８が目の位置４６に向けて透明ディスプレイ３２上に投影される。透明ディスプレイ３２は、ドア３０の位置４０ａ、４０ｂ、４０ｃによって位置が決定される矩形としてモデル化されうる。通知領域４８は、目の位置４６による中心投影を介してこの矩形上に投影されうる。

【0065】

最後に、それぞれの表示領域５０内に示される情報３４ｂがレンダリングされる。情報３４ｂは、テキスト、数字、記号、輪郭表示、強調表示などのうちの少なくとも一つを含みうる。人４２の注意を引くためにグラフィック情報３４ｂが点滅していたり色が変わったりしてもよい。

【0066】

投影により、情報３４ｂが人４２の視点から通知領域４８の前に表示される。このようにして、その人は、情報３４ｂがどの構成要素１４に属するかを、特にスライドドア３０の位置４０ａ、４０ｂ（図３Ａ～３Ｃ）またはヒンジ付きドア３０の開口角度（図２）に関わらず、容易に識別することができる。

【0067】

図面および前述の説明において本発明を詳細に例示および記載しているが、そのような例示および記載は例証的または説明的であり、限定的ではないものと考えられねばならず、本発明は開示された実施形態に限定されない。開示された実施形態に対する他の変形例は、当業者で請求された本発明を実践する者により、図面、本開示、および添付の特許請求の範囲の検討から理解され達成されうる。特許請求の範囲において、「含む」という語は他の要素またはステップを除外せず、不定冠詞「一つの（ａ）」または「一つの（ａｎ）」は複数を除外しない。単一のプロセッサもしくはコントローラまたは他のユニットは、特許請求の範囲に引用された、いくつかの項目の機能を果たしうる。ある手段が相互に異なる従属請求項において引用されているという単なる事実は、これらの手段の組み合わせを有利に使用できないことを示すものではない。特許請求の範囲におけるいかなる参照符号も、その範囲を限定するものと解釈されてはならない。

【符号の説明】

【0068】

１０ ラボラトリオートメーションデバイス
１２ ワークベンチ
１４ 構成要素
１４ａ カートリッジ
１４ｂ ピペットチップ
１４ｃ カートリッジ
１４ｄ マイクロプレート
１６ 液体容器
１６ａ 試験管
１６ｂ ウェル
１６ｃ 容器
１８ 試薬
２０ ピペットアーム
２２ ピペット
２３ グリッパアーム
２４ グリッパ
２６ ワークスペース
２８ ハウジング
３０ ドア
３２ 透明ディスプレイ
３４ 情報
３４ａ 静止情報
３４ｂ 拡張現実情報
３６ 追跡センサ
３６ａ カメラ
３６ｂ 視線追跡センサ
３６ｃ 赤外光源
３８ コントローラ
４０ａ 第一ドア位置
４０ｂ 第二ドア位置
４０ｃ 第三ドア位置
４２ 人
４４ ドア位置センサ
４６ 目の位置
４８ 通知領域
５０ 表示領域
５２ アセシングギャップ

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図4】