特表 2024-531456 科学実験のワークフローを記録する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-08-29

(54)【発明の名称】科学実験のワークフローを記録する方法

(51)【国際特許分類】

   G06Q 10/06 20230101AFI20240822BHJP

   G06F 16/78 20190101ALI20240822BHJP

【ＦＩ】

G06Q10/06

G06F16/78

【審査請求】未請求

【予備審査請求】有

(21)【出願番号】P 2024512140

(86)(22)【出願日】2022-08-23

(85)【翻訳文提出日】2024-04-22

(86)【国際出願番号】 CH2022050021

(87)【国際公開番号】W WO2023023872

(87)【国際公開日】2023-03-02

(31)【優先権主張番号】CH070202/2021

(32)【優先日】2021-08-25

(33)【優先権主張国・地域又は機関】CH

(81)【指定国・地域】

(71)【出願人】

【識別番号】517159275

【氏名又は名称】ケムスピード・テクノロジーズ・アクチェンゲゼルシャフト

【氏名又は名称原語表記】Ｃｈｅｍｓｐｅｅｄ Ｔｅｃｈｎｏｌｏｇｉｅｓ ＡＧ

(74)【代理人】

【識別番号】100106518

【弁理士】

【氏名又は名称】松谷 道子

(74)【代理人】

【識別番号】100135703

【弁理士】

【氏名又は名称】岡部 英隆

(74)【代理人】

【識別番号】100163902

【弁理士】

【氏名又は名称】市川 奈月

(72)【発明者】

【氏名】ギュラー，ロルフ

(72)【発明者】

【氏名】シェルブイン，マティアス

【テーマコード（参考）】

5B175

5L010

【Ｆターム（参考）】

5B175DA04

5B175FB02

5B175FB03

5L010AA07

(57)【要約】

科学実験ワークフローを記録し、分析する方法は、ワークフローの過程で、ワークフローが実行されているワークスペースの少なくとも一部の、多数の連続する個々の画像を含むビデオ記録がされ、同時にワークフローに関連するパラメータの値は、デジタルデータバンク（３０）に別個のデータセット（３１、３２、３３、３４、３５）として保存される。データセット（３１、３２、３３、３４、３５）は、ビデオ記録の個々の画像と、共通の基準時間（３８）に割り当てられた経時的なパラメータの値が含むことで、各時点で、ビデオ記録の個々の画像とパラメータの値の間に明確な時間的関連性が存在する。少なくともパラメータのデータセットは検索可能な形式で格納されて、パラメータが検索された値または検索された変化を示すパラメータイベントを検索できる。少なくとも選択されたパラメータの値およびビデオ記録の画像は、好ましくは、互いに時間的に関連して視覚的に表示される。
【選択図】図２

【特許請求の範囲】

【請求項1】

科学実験ワークフローを記録する方法であって、
ワークフローの過程で、前記ワークフローが実行されているワークスペースの少なくとも一部の、多数の連続する個々の画像と、値を含むビデオ記録がされ、
同時に前記ワークフローに関連するパラメータの値は、デジタルデータバンク（３０）に別個のデータセット（３１、３２、３３、３４、３５）として記録および保存され、
前記データセット（３１、３２、３３、３４、３５）は、前記ビデオ記録の前記個々の画像と、共通の基準時間（３８）に割り当てられた経時的な前記パラメータの値を含むことで、各時点で、前記ビデオ記録の前記個々の画像と前記パラメータの値の間に明確な時間的関連性が存在し、
少なくともパラメータの前記データセットは検索可能な形式で格納され、パラメータが検索された値または検索された変化を示すパラメータイベントを検索可能である、
方法。

【請求項2】

科学実験ワークフローを記録および分析する方法であって、
ワークフローの過程で、前記ワークフローが実行されているワークスペースの少なくとも一部の、多数の連続する個々の画像と、値を含むビデオ記録がされ、
同時に前記ワークフローに関連するパラメータの値は、デジタルデータバンク（３０）に別個のデータセット（３１、３２、３３、３４、３５）として記録および保存され、
前記データセット（３１、３２、３３、３４、３５）は、前記ビデオ記録の前記個々の画像と、共通の基準時間（３８）に割り当てられた経時的な前記パラメータの値を含むことで、各時点で、前記ビデオ記録の前記個々の画像と前記パラメータの値の間に明確な時間的関連性が存在し、
少なくともパラメータの前記データセットは検索可能な形式で格納され、パラメータが検索された値または検索された変化を示すパラメータイベントを検索可能であって、
検索されたパラメータイベントの時点に存在する、または検索されたパラメータイベントの時点を含む期間に存在する少なくとも選択された前記パラメータの値と前記ビデオ記録の画像が、互いに時間的に関連付けられて視覚的に表示される、
方法。

【請求項3】

選択されたパラメータは、それらのパラメータの目標値がデータセットとして前記デジタルデータバンクに格納され、それらのパラメータの前記記録された実際の値とともに視覚的に表示され、経時的な前記変化は、好ましくは、グラフの形式である
請求項１または２のいずれか１に記載の方法。

【請求項4】

少なくとも選択されたパラメータの前記値の時間の経過に伴う前記変化は、該当する場合、対応する目標値とともに、特に数値の行の形式で、隣り合い、または、上下に配置されたトラックに視覚的に表示される、
請求項１から３のいずれか１に記載の方法。

【請求項5】

共通の基準時間として、標準時、特に世界時（ＵＴＣ）または国際原子時（ＴＡＩ）が使用される、
請求項１から４のいずれか１に記載の方法。

【請求項6】

前記ワークスペースの２つ以上のビデオ記録は、異なる視角および／または異なる波長範囲で作成され、別個のデータセットとして格納される、
請求項１～５のいずれか１に記載の方法。

【請求項7】

前記ワークスペースの２つ以上のビデオ記録は、異なる波長範囲で作成され、別個のデータセットとして保存され、記録された前記ワークスペースに少なくとも部分的にオーバーレイされた表示がそれらのデータセットから生成され、視覚的に表示される、
請求項１～６のいずれか１に記載の方法。

【請求項8】

少なくとも選択されたパラメータの前記値が、それぞれの時点とともに、自動的にまたはユーザによって手動で前記デジタルデータバンクに入力される、
請求項１～７のいずれか１に記載の方法。

【請求項9】

ユーザによってテキスト形式で記録された観察、または好ましくはパラメータ化された音響記録が、別個のデータセットとして保存され、および／またはデータセットに解説が提供される、
請求項１～８のいずれか１に記載の方法。

【請求項10】

少なくとも１つのビデオ記録が行われ、可視スペクトル範囲で記録される、
請求項１～９のいずれか１に記載の方法。

【請求項11】

ビデオ記録は、ＵＶおよび／またはＩＲスペクトル範囲で行われ、記録される、
請求項１～１０のいずれか１に記載の方法。

【請求項12】

パラメータが、放射能またはＸ線放射などの放射線値、磁場値、気流値、または超音波測定値を含む、請求項１～５のいずれか１に記載の方法。

【請求項13】

前記ビデオ記録は、画像認識方法を使用して、特定の画像内容またはその変化を検索され、
好ましくは、少なくとも選択された前記パラメータの値は、検索された画像コンテンツの発生もしくは変化、または、検索された画像コンテンツもしくはその変化の発生前後の選択可能な期間に関連づけられ、
前記ビデオ記録の画像は、相互に時間的に関連付けられて視覚的に表示される、
請求項１から１２のいずれか１に記載の方法。

【請求項14】

前記科学実験ワークフローの計画データは、専用のデータセットとして格納される、
請求項１から１３のいずれか１に記載の方法。

【請求項15】

２つ以上の比較可能な科学実験ワークフローは、各ワークフローの前記過程にわたって、前記各ワークフローが実行されているワークスペースの少なくとも一部を少なくとも１つのビデオ記録し、同時に、それぞれのワークフローに関連するパラメータの値は、デジタルデータバンク内の個別のデータセットとして検索可能な形式で記録および保存され、好ましくは、時間的に関連付けて表示する、
請求項１から１４のいずれか１に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

化学実験またはその他の科学実験およびワークフローの記録は、通常、ユーザが手動で記録したタスク、測定、観察の記録の形で実行される。したがって、ユーザ（例えば、研究室の作業者）は、例えば、ワークフローの個々の作業ステップを、時系列に連続して行われた一連の作業ステップおよびタスクとして、また、測定および観察を記録する。

【背景技術】

【0002】

科学実験および／または製造プロセスを、個別に、順次または並行して実行する自動化された作業装置では、通常、多数のパラメータも記録される。例えば、センサの測定値やデバイスによって実行されたタスクは自動的に記録され、この場合も記録は順次実行される（並列ワークフローの場合も並列）。対応する作業装置が複数のセンサ、測定装置、または他の方法で測定可能なパラメータを備えている場合、それぞれの個別の測定／記録も同様に連続して記録される。ここで、「パラメータ」という用語は、いずれの場合も、実験でまたは方法または装置によって決定された値、計画された値、計画されたまたは実行された行為、あらゆる形式の記録だけでなく、例えば、実験室の作業者によって観察された値、または観察者の主観的な観察／解釈を意味する。

【0003】

したがって、そのような場合、このようにして作成された記録は、個別の測定、記録、観察の連続であり、そのデータと情報全体の評価には、多くの場合、時間と労力を要する手動または視覚的なフィルタリングと、必要な情報の検索が必要である。特に、そのデータおよび情報とワークフローの記録との（一時的な）リンク、およびそのようなリンクの明確な表示は、従来の技術では解決されていない。

【0004】

研究室では、科学実験や科学実験ワークフローが行われるたびに、形式や種類の極めて多様な膨大なデータが生成され、常に新しいワークフローが実行されるため、そのデータ量も増大する。個々の必要なパラメータ、値、または情報をそのデータ全体から検索することは、従来、研究室の作業者にとって大きな課題であり、ビデオ記録の形で入手可能な情報の場合であっても、そのデータを記録内の視覚的な入力にリンクすることは事実上不可能であった。例えば、ワークフローのビデオ記録の場合、目的のイベント（例えば、色の変化、過熱、発泡など）を特定および解釈するために、記録全体を確認する必要があり、その関係を解釈するために、そのイベントを別のデータ系列（例えば、温度系）にリンクさせる。

【0005】

カメラを使用して実験を視覚的に記録する場合、最適なＡＩシステム（人工知能）を使用したとしても、特定のデータの検索が非常に限定的にしか実行できないことや、特定の画像シーケンスを他の記録技術、センサ等を使用して記録されたデータに時間的に接続することが難しいという大きな欠点がある。

【0006】

本発明の目的は、ワークフローに関与するすべての関連データ、特にビデオ記録、ＩＲ、ＵＶまたは他の記録技術、あるいは他の複雑な記録方法（音声、超音波、放射能）を伴うすべてのデータの記録（recording およびlogging）を簡略化および最適化することである。これにより、ワークフロー全体にわたってパラメータとイベントの簡単な検索を実行可能となる。いくつかのワークフローは、非常に長時間にわたるワークフローや、複数の異なるワークフローにまたがる。

【0007】

具体的には、本発明の目的は、科学実験のワークフローに関与する操作および装置のすべての関連する測定可能および観察可能なパラメータ、ならびに、ユーザの行動及び観察の全体の記録（recording およびlogging）を簡略化する。これにより、後の情報全体の分析を、可能な限りシンプル、迅速、かつ、的を絞った方法で実行でき、それらすべてのデータをワークフローのビデオ記録に直接いつでも接続できる方法で実行できる。

【0008】

本発明の根底にある問題は、独立請求項１および２に定義される本発明に係る方法によって解決される。有利な構成および開発は従属請求項の主題である。

【発明の概要】

【0009】

科学実験ワークフローを記録する本発明に係る方法の核心は、以下である。
科学実験ワークフローを記録する方法では、ワークフローの過程で、ワークフローが実行されるワークスペースの少なくとも一部の多数の連続する個々の画像を含むビデオ記録がされ、同時に、ワークフローに関連するパラメータの値は記録され、デジタルデータバンクに個別のデータセットとして保存される。データセットは、ビデオ記録の個々の画像と、共通の基準時間に割り当てられた経時的なパラメータの値を含むため、各時点でビデオ記録の個々の画像とパラメータの値の間に明確な時間的関連性が存在する。パラメータのデータセットは検索可能な形式で格納されるため、パラメータが検索値または検索変化を示すパラメータイベントを検索することが可能である。

【0010】

科学実験ワークフローを記録し、分析する本発明に係る方法の核心は、以下である。
科学実験ワークフローを記録し、分析する方法では、ワークフローの過程で、ワークフローが実行されているワークスペースの少なくとも一部の、多数の連続する個々の画像を含むビデオ記録がされ、同時に、ワークフローに関連するパラメータの値が記録され、デジタルデータバンクに個別のデータセットとして保存される。データセットは、ビデオ記録の個々の画像と、共通の基準時間に割り当てられた経時的なパラメータの値を含むため、各時点でビデオ記録の個々の画像とパラメータの値の間に明確な時間的関連性が存在する。パラメータのデータセットは検索可能な形式で格納されるため、パラメータが検索値または検索変化を示すパラメータイベントを検索することが可能である。検索パラメータイベントの時点に存在するまたは検索パラメータイベントの時点を含む期間に存在する、少なくとも選択されたパラメータの値と、ビデオ記録の画像が、互いに時間的に関連付けられて視覚的に表示される。

【0011】

本発明に係る方法を使用すると、同期的に記録されたパラメータ値を参照して、記録されたビデオを簡単、迅速かつ的を絞った方法で検索することができ、またその逆も可能である。

【0012】

本発明に係る方法では、別個のデータセット内のパラメータのすべての値の記録または保存は、多くの場合そのようなデータセットが数百個記録される科学実験ワークフローの場合にのみ、映画のサウンドトラックと同じ方法で同期して実行される。これらの各データセットでは、特定の基準に従って検索を実行し、ビデオ記録に即座にリンクする。すなわち、対応するビデオシーケンスが自動的かつ最終的に割り当てられる。このようにして、科学実験ワークフローのビデオ記録（あるいは、異なる波長範囲での記録）を効率的に検索でき、ワークフロー内で特定のパラメータ値または特定の値の変化が発生した時点で何が起こったか、および／または、正確にその時点またはそれ以前に操作されていたかを視覚的に表示または追跡することができる。

【0013】

ここで、本発明にとって重要なことは、個々の測定可能または観察可能なパラメータごとに、パラメータのすべての値または値の変化が記録される専用のデータセットおよび／またはその派生（例えば、温度の派生としての温度勾配）が作成されることである。したがって、温度センサのデータセットは、例えば、それぞれの測定温度または温度変化と、同様に、温度測定または温度変化の時点を記録し、または、自動計量装置のデータセットは、どの時点でどのような実行（所望の対象物への所望の物質の計量）がされ、どのような結果が得られたか（ここでは、例えば、実際に計量された量）を記録する。データセットの組み合わせは、ワークフローがどのように実行されたか表示し、視覚的な表示と合わせて、検索可能な視覚的な記録が提供される。

【0014】

時間的に正確に関連付けられたデータ系列は、例えば他の値に変換したり、統計的に平滑化したりすることもできることが理解されるであろう。外れ値（例えば、０．１秒未満だけ発生する測定値）を削除できる。または、２つのデータセットの差や、例えば、速度の増加を計算する、新しい時間調整されたデータ系統を作成することができる。これらの変換されたデータ系統を検索して、対応するビデオ記録を割り当てて表示することもできる。

【0015】

本発明に係る方法では、これらの個々のパラメータまたはデータセットは、例えば音楽または映画業界で知られている方法と同様の方法で表示され、各パラメータは「トラック」として表示される。すべてのデータセットは同期的に、すなわち、一時的に関連付けられて記録され、選択されたデータセットまたはすべてのデータセットが、例えば、スクリーン上に視覚的に表示される。

【0016】

本発明によれば、記録されたすべてのデータセットが時間同期されていることが重要であり、これは、個々の測定値、観察、記録および実行の時点を、すべての測定データの全体との関連で後で見つけ、とりわけ視覚的に追跡することができるようにするために不可欠である。例えば、パラメータの値やパラメータ値の変更などのプロパティを簡単に検索できるため、これにより、まず「視覚的な記録」が可能になる。時間参照は、所望の時点（例えば、ワークフローの開始点）に関連して実行することができ、各測定／記録はその時点に関連付けられる。

【0017】

有利なことに、記録時点は、例えば世界時（ＵＴＣ）または国際原子時（ＴＡＩ）などの世界時間スケール（universal timescale）を指し、測定の各時点は対応する世界時軸（universal time axis）を指し、その後、各個別のデータ点を明確に正確に時間的に関連付けることができる。

【0018】

有利なことに、選択されたパラメータについて、それらのパラメータの目標値はデータセットとしてデータバンクに記憶され、記録されたそれらのパラメータの実際の値とともに視覚的に表示される。有利なことに、少なくとも選択されたパラメータの経時的な値の変化は、該当する場合、対応する目標値とともに、隣り合った、または上下に配置されたトラックに視覚的に表示し、少なくとも選択されたパラメータ値の経時的な変化が、好ましくは関連する目標値とともに、数値またはグラフの行の形で視覚的に表示する。この種の表示は、記録されたパラメータ値の概要を容易にする。

【0019】

有利なことに、個々のデータセットは、共通の時間軸に沿って、ビデオの上またはビデオ記録の隣にある視覚表示（ビデオ）と同期して実行されるテーブルを示すような方法で、ワークフローの視覚的記録または並行視覚的記録（ビデオ）に統合された並行トラックとしてグラフィカルに表示される。

【0020】

トラックの表示を水平方向に並べて配置し（トラック自体は垂直方向に実行され、時間軸は垂直方向に、例えば、上から下に進）、または垂直方向に１つずつ配置する（トラック自体は水平に走り、時間軸は水平方向に、例えば、左から右に進む）ことも可能であることが理解されるであろう。複数のスクリーンまたは異なる出力デバイスにわたる表示（例えば、スクリーンと拡張現実表示デバイス（Microsoft の HoloLens）の組み合わせ）も可能である。

【0021】

有利なことに、ワークスペースの２つ以上のビデオ記録が、異なる視角および／または異なる波長範囲で作成され、別個のデータセットとして保存される。有利なことに、例えば、放射能またはＸ線放射、磁場値、気流値、または超音波測定値などの放射線値も、別個のデータセットとして保存され、より効果的またはより直感的な再生、検索、または表示を目的として上下に重ねて表示することもできる。

【0022】

さまざまな視野角からのビデオ記録は、ワークフローの詳細を示し、オーバーレイまたは部分的にオーバーレイして表示し、例えば、組み合わせて３次元表示を形成し、例えば、拡張現実デバイスを用いて加えて表示することもできる。

【0023】

さまざまな波長範囲（例えば、可視光、ＵＶまたはＩＲ）でのビデオ記録のみならず、他の放射線値、磁場値、気流値、または超音波測定値も同様に、科学実験のワークフローに関する追加情報を提供する。

【0024】

有利なことに、少なくとも選択されたパラメータの値は、それぞれの時点とともに、自動的にまたはユーザによって手動でデータバンクに入力される。

【0025】

ユーザは、記録およびパラメータ全体で後に見つけやすくするために、データトラックの値またはイベントのみならず、所望の画像またはビデオシーケンスにマーク（タグ付け）することもできる。このようなマーキングは、場合によっては自動化によって実行することもできる。自動化では、画像認識または音声認識方法によって、ビデオやオーディオの記録などの複雑なデータトラックから所望のパラメータが識別される。それに応じて、タイムポイントまたはシーケンスがマークされる（例えば、特定の色、色の変化、音、その他の波長、または自動化によって検出可能な値、パターン、および特性）ＩＲビデオ記録では、特定の最高温度が検出されたシーケンスをマークすることが可能です。もちろん、複数のデータセットまたはトラックをマークすることも可能であり、これにより、特にデータトラックとそこに記録されたイベントとの間のリンクを作成する機能が提供される。

【0026】

有利なことに、ユーザによってテキスト形式で記録された観察、または好ましくはパラメータ化された音響記録は、別個のデータセットとして保存される。したがって、ユーザが観察したイベントの言語化された思考、観察、解釈をパラメータ化し、データトラックに割り当てることもできる。

【0027】

したがって、技術的デバイスから得られるパラメータ以外のパラメータを記録および保存することもできる。これらは、例えば、手動、半自動、または自動装置を使用して作業する研究室作業者の手動タスクおよび／または観察であり得る。例えば、自動化されたワークフローのある時点で、自動実験装置では実行できない物質の手動追加を実行することができる。実験は、ホロレンズのようなグラスを使用して、例えば３つの異なる波長（例えば、ＵＶ、可視、ＩＲ）で上記の同期方法で記録（撮影）できる。または、例えば、ユーザは、ワークフローが自動的に進行している間に行ったデバイスに関する観察を、観察の時点とともに記録する。観察や、例えば、ユーザが行った音声入力も同様に、１つデータセットまたは複数の別個のデータセットに記録される。自動記録（例えば、センサで）に関連するか、または、手動入力に関連するかに係わらず、特定の波長（または、異なる視角からまたは波長の複数のビデオ記録）での実験のビデオ記録とすべてが同期されていること、およびそのような記録の種類毎に個別にデータセット（もちろん、技術的には、個別に検索可能なオーバーレイデータセットにすることもできる）に記録されることが、常に重要である。（科学実験ワークフローの）計画データ、すなわち、計画プロトコルおよび特定の時点で予想される（ターゲット）データなどの両方も、また、ビデオ記録と同期された、正に同じ形式の専用のデータセットとして検索可能な形式で保存される。したがって、検索された（そして見つかった）計画データ（例えば目標温度）に属するビデオシーケンスおよび他のパラメータの値を表示することができる。

【0028】

表示をさらに簡略化したり、より直観的な情報を再生したり、要約情報を再生したりするために、適切なデータセットをグループ化して結合したり、スケーリングまたは変換したりすることで、集約されたデータを同期して実行することができる（例えば、圧力は温度から計算され、その他ある程度一定のデータを再生する）。例えば、クライオスタットなどの温度制御デバイスは、ある時点での温度制御の目標値、実際に測定された温度など、それぞれに専用のデータセットを持つことができる多数の個別の情報項目を含み、また、温度制御媒体の流量、システム情報（警告／エラーメッセージ）、制御パラメータ、または単にデバイスの特定の要素（温度制御媒体の加熱要素またはポンプ）がオンかオフかを含む。これらすべての個別パラメータの記録も同様にデータセットに保存でき（例えば、Ｔ０：ポンプの開始、Ｔ０＋１ｓ：温度２５．３℃の測定、Ｔ０＋２ｓ：発熱体の開始、Ｔ０＋９ｓ：温度２５．５℃の測定値、…）、または個々のサブパラメータ（ここでは、例えば、ａ）ポンプのアクティビティ、ｂ）発熱体のアクティビティ、およびｃ）温度センサの測定値）は個別のデータセットとして記録されるが、データセットを後で結合して表示することもでき、１つのトラックに結合するか、複数のトラックに「開く」ことができる。ユーザが所望の分析に役立つデータセットだけを表示内で選択できることが理解されるであろう。したがって、ユーザは現在のニーズに応じて表示を柔軟に設定でき、例えば、スクリーンの一方の側にビデオ画像が表示され、もう一方の側に所望のパラメータの所望のデータトラックが表示され、これらのデータトラックのフォーカスは、いずれの場合もビデオ画像に表示されている時点にある。追加的に表示されるデータトラックの視覚化は、ビデオ画像に現在表示されている時点の前後の所望の領域も有利に示し、これにより、ユーザは現在の時点の前後両方のパラメータ値を一目で示すことができる。したがって、ユーザは、イベントの前に何が起こったのか（およびそのイベントにつながった可能性のあるもの）とイベントの後に何が起こったのか（そして、そのイベントによって何が引き起こされたか、少なくとも影響を受けたか）についての貴重な洞察が得られる。

【0029】

さらに、特定のパラメータは、特定のパラメータ値を超えた場合の警告信号の形式であっても、単に数値の代わりにカラーグラデーションで温度を表示する（例えば、温度に応じて青から赤に変化する）だけであっても、視覚的な形式で有利に再生される。データは、センサや視覚的または音響的記録からだけでなく、実験者が視覚的観察（例えば、触覚、泡立ち、または利用可能なセンサやカメラでは捕捉できない他のパラメータ）を入力することもできることが理解されるであろう。これらの入力も、その正確な時刻とともに取り込まれ、同期して保存される（例えば、録音の形式で、または印、感嘆符、スマイリー、アスタリスクなどの記号を追加することによる書き込み入力）。

【0030】

有利なことに、科学実験ワークフローの計画データは、同様の方法で視覚的記録と同期して取得され、専用のデータセットに保存される。これらの計画データは、ワークフロー中に記録された実際のデータの対応する表示とローカルに関連付けて表示されることが好ましい。このようにして、検索コマンドを入力することができる。例えば、「記録されたパラメータ（例えば、温度）の実際の値が５秒以上、計画値に一致する点に到達する２０秒前と、その地点に到達した３０秒後の視覚的記録を表示する」または「物質Ｘの計画添加の１０秒前に開始し、物質Ｘの効果的な添加の２０秒後に終了するビデオ記録を表示する（可能であれば、逆も同様である）。

【0031】

データバンクのデータセットで、パラメータの値や値の変更（ビデオ記録から生じたものではない）だけを検索することはできない。有利なことに、既知の画像認識方法を使用して、特定の画像内容または画像内容の変化を求めてビデオ記録を検索する。次いで、検索された画像コンテンツの発生もしくはその変化、あるいは検索された画像コンテンツもしくはその変化の発生前後の選択可能な期間、およびビデオ記録の画像に互いに時間的に関連付けられた少なくとも選択されたパラメータの値が、時間的に視覚的に表示される。このようにして、逆方向に検索することもできる。例えば、「（反応器の内容物の）色が黄色から青色に変化した点を検索し、変化の２分前および変化の５分後の圧力と温度のパラメータの変化を表示し、それと並行してビデオ記録を実行する」。

【0032】

本発明に係る方法の重要な利点は、記録されたデータおよび情報の全体が、例えば所望の時点または所望の期間を選択し、その後、すべての情報を選択することによって、コンテキスト内で容易に検索可能、分析可能、および表示可能であることであり、その時点またはその期間に一時的に関連付けられた記録トラックが表示され（もちろん、必要に応じてフィルタリングされる）、または、特定のパラメータの検索が行われる（例えば、すべての添加、特定の物質のすべての添加、特定の対象容器へのすべての添加、すべてのエラーメッセージ、特定の値より高い温度を示すすべての温度測定値など）。有利なことに、これは、個々の科学実験ワークフローの場合だけでなく、並行してまたは連続して実行される複数の同等の科学実験ワークフローにわたっても使用することができ、それらのワークフローは、１つまたは複数のスクリーンまたは出力デバイス上に表示することができる。ここで重要なことは、主に、この方法でワークフローの視覚的記録を測定データを参照して検索できること、およびワークフローの対応する視覚的記録を、最も複雑なワークフローであっても効率的な記録として使用でき、効率的に検索できることである。ワークフローは、特定の機能を備えており、いつでも視覚的な記録に関する結論を導き出すことができる。特に、多くのワークフローは数時間または数日間続く可能性があるため、さらなるパラメータの追加データセットがなければ、ワークフローのみの視覚的記録は非常に限られた価値になる。

【0033】

本発明の有利な構成では、ワークフロー中に以前に記録されたデータおよび情報の全体が、その目的のために設計されたソフトウェアによって評価および解釈され、さらなるアプリケーションに関連する全体の情報の部分を組み合わせてそれらをさらに利用できるようにする。さらに有利な構成では、これには、すでに実行されたワークフローに基づいた将来の処理操作のための作業指示の部分的または完全に自動化された作成さえも含めることができる。

【0034】

本発明のさらに有利な構成では、２つ以上の比較可能な科学実験ワークフローについて、各ワークフローの過程にわたって、それぞれのワークフローが実行されているワークスペースの少なくとも一部を少なくとも１つビデオ記録し、同時に、それぞれのワークフローに関連するパラメータの値は、デジタルデータバンク内の別個のデータセットとして検索可能な形式で記録および保存され、好ましくは互いに時間的に関連付けて視覚的に表示される。

【0035】

例えば、さまざまな科学実験ワークフロー（例えば、並行して実行される実験）を相互に同期して表示することもできる（例えば、「黄色が少なくとも１０秒間維持されたすべての実験と関連する時点を表示し、その時点の前後に対応するビデオ録画を実行する」）。

【0036】

複数の科学実験ワークフローの記録間の共通の基準時点として、共通の相対的時点（異なる時間に開始された実験の場合、例えば開始時間）だけでなく、所望のイベント、例えば、特定のイベントの到達または発生、または特定のアクションの実行時点も有利に使用することができる。例えば、複数の同様のワークフローが次々に実行される場合、共通の時点は、例えば、容器への追加が完了、温度が達した場合等の記録のそれぞれの時点に合わせて調整することができる。これは、例えば、実験に複数の反応容器があり、技術的な制約により次々に反応容器を満たさなければならないが、容器内の反応を相互に比較する必要がある場合にも有利である。その場合、さまざまなサブ実験のデータトラックが「シフト」され、実行時に反応関連アクション（ここでは、例えば、反応を開始する物質の追加など）に関連して並行して実行される。もちろん、時間表示、並列化、および共通の所望の相対的または絶対的時間スケールへの標準化の異なる方法を切り替えることが可能であることが有利であろう。

【0037】

有利なことに、例えば、ワークフローの新しい方法を開発するため、そのようにして記録された科学実験ワークフローは、研究室の作業者が同じワークフローまたはその修正バージョン（例えば、ある程度カスタマイズされたパラメータ、作業手順など）を繰り返している間、その目的に適した表示デバイス（例えば、Microsoft（登録商標）のHoloLens（登録商標）などの拡張現実デバイス）で再生することもできる。もちろん、これは複数のサイクルにわたって反復して行うこともできる。

【0038】

本発明は、図面に示される実施形態を参照して以下でより詳細に説明される。

【図面の簡単な説明】

【0039】

【図1】図１は、ワークフロー、一例では化学ワークフローを実行する例示的な装置構成の概略図である。

【図2】図２は、本発明に係る方法の実行に適した装置の簡略化された原理図である。

【図3】図３は、本発明に係る記録および分析方法の一実施形態の基本ステップのブロック図である。

【図4】図４は、本発明に係る記録および分析方法の一実施形態の詳細なステップのブロック図である。

【図5】図５～７は、本発明に係る記録および分析方法のスクリーン表示の一例を示す。

【図6】図５～７は、本発明に係る記録および分析方法のスクリーン表示の一例を示す。

【図7】図５～７は、本発明に係る記録および分析方法のスクリーン表示の一例を示す。

【図8】図８～９は、本発明に係る記録および分析方法のスクリーン表示の詳細の一例である。

【図9】図８～９は、本発明に係る記録および分析方法のスクリーン表示の詳細の一例である。

【図10】図１０は、トラックの形で並列に表示されたデータセットの簡略化された表現である。

【図11】図１１～１２は、グループ化されたトラックの一例を示す。

【図12】図１１～１２は、グループ化されたトラックの一例を示す。

【図13】図１３は、ワークフローステップが重畳されたスクリーン表示の一例を示す。

【図14】図１４～１５は、異なる基準に従って記録されたパラメータの検索を説明する一例を示す。

【図15】図１４～１５は、異なる基準に従って記録されたパラメータの検索を説明する一例を示す。

【図16】図１６は、３つの異なる科学実験ワークフローから記録されたパラメータの検索を説明する一例を示す。

【図17】図１７は、複数の科学実験ワークフローから生じた記録の表示の一例を示す。

【発明を実施するための形態】

【0040】

本発明の文脈では次の定義が使用される。

【0041】

科学実験ワークフローは、研究開発を目的とした、特に化学的、生物学的、物理的性質のあらゆる種類の実験であると理解される。本明細書で、ワークフローまたは実験という用語をそれに対して使用する。

【0042】

パラメータは、科学実験ワークフローに関連または関心ある、あらゆる種類の測定変数および入力変数、計画データおよび指定された（目標）値として理解される。これらは主に、温度、撹拌速度、計量などの計画および実際に測定された測定変数が含まれるが、例えばテキスト形式や音声入力形式などのユーザによる観察ベースの入力も含まれる。

【0043】

データセットは、科学実験のワークフロー中に個々のビデオカメラによって作成された画像データ、および個々のパラメータの値、すなわち、例えば測定値やユーザ入力、画像データ、およびパラメータの値は共通の基準時間に割り当てられる。データセットには、目標値やワークフローステップなどの計画データも含めることができる。

【0044】

トラックは、データセットまたはその抜粋を、例えば、スクリーン上に表示するものとして理解される。これらは、例えば、画像形式（ビデオ記録、測定値のグラフィック表示など）でありうるが、特定の値（ある時点での特定の測定値、テキスト、記号など）を含み得、または、音響的性質（録音など）であり得る。特に、トラックは、時間の経過に伴うパラメータの値の変化を線状または列状に表現したものとして理解されるであろう。

【0045】

パラメータイベントは、パラメータが特定の状態または値を持つ状況、またはその状態または値が特定の方法で変化する状況として理解される。

【0046】

図１によれば、例示的な作業空間は、２つの反応器１、２と、２つの反応器１、２用の２つのヒーター３、４と、２つの反応器１、２用の２つの温度センサ５、６と、２つの反応器１、２用の２つの撹拌器７、８と、２つの撹拌器７、８の撹拌速度用の２つのセンサ９および１０と、反応器１、２への化学物質の添加用の計量装置１１と、効果的に加えられた量を記録するための計量器１２と、ビデオカメラ１３、１４、１５を含む。これらすべての構成要素はコンピュータ１６に接続されており、コンピュータ１６によって制御され、または、取り込んだデータをそのコンピュータ１６に配信する。コンピュータ１６には、ユーザによる手動入力用の入力装置１７と、音響録音、例えばユーザによる音声入力用のマイクロホン１８も接続されている。入力装置１７は、例えば、通常存在するコンピュータ１６のキーボードまたはマウスであり得るが、例えば、タッチセンシティブスクリーン（タッチスクリーン）の形態の、または視覚的または視覚的な記録機能を有する入力装置、例えば、MicrosoftのHoloLens（例えば、ジェスチャおよび／または音声制御による）などの拡張現実デバイスであり得る。

【0047】

図２は、本発明に係る方法の実施形態を実行に適した装置の基本構造を示しており、本発明に係る方法に関連する構成要素のみ示す。装置は本質的に、既に述べたコンピュータ１６と、それに接続されたスクリーン（モニタ）１９とを備える。データソースは、入力側でコンピュータ１６に接続される。データソースは、例えば、すでに述べたビデオカメラ１３、１４、１５、センサ５、６、９、１０、および計量器１２を含む。科学実験ワークフローの性質に応じて、さらなるデータソース、例えば、さらなるセンサまたは他の測定デバイスを提供し得る。図２では、これらのデータソースはすべて、５つのブロック２１～２５によって記号的にのみ表される。装置はさらに、装置または方法の機能を操作および制御する入力フィールド２０を備える。入力フィールドは、例えば状況に応じてスクリーン１９上に動的に重畳されるメニュー構造の形でソフトウェアによって実現し得る。

【0048】

コンピュータ１６は、その最も重要な構成要素として、デジタルデータバンク３０と、データバンク３０に格納されたデータを読み出し、検索し、校正し、スケールし、フィルタリングし、スクリーン１９上で所望の形式にデータを視覚的に表示する機能ブロック４０によって象徴されるプログラムを備える。

【0049】

ワークフロー中に個々のデータ ソースによって配信されるデータ（ビデオ データ、測定データ、音響データ、手動入力など）、すなわち、ビデオ記録とワークフローに関連するパラメータの値は、個別の、場合によっては階層的に組織されたデータセットの形式でデータバンク３０に格納され、それぞれの場合において、ワークフローの開始から始まるか、または、例えば、世界時ＵＴＣまたは国際原子時ＴＡＩなどの、標準時間である共通の基準時間と時間的に関連付けられる。したがって、図２の５つのブロック３１～３５によって記号化されるデータセットは、データソースによって配信されるデータの時間の経過に伴う同期した変化を表す。すべてのデータセットに共通の基準時間は、図２ではブロック３８で記号化される。

【0050】

ワークフローの視覚表示は、スクリーン１９上で行われる。処理およびパラメータ化されたデータセット、および好ましくは、ワークフローの個々の作業ステップも、図２の５つの別個のトラック４１、４２、４３、４４、４５の形で記号化され、スクリーンに表示される。

【0051】

図３は、本発明に係る方法の一実施形態をブロック図の形式で示す。

【0052】

２つの導入ステップ７０１および７０２で、ワークフローが計画され、準備される。これは、作業スペース、必要な作業装置（反応器、計量装置、撹拌装置、センサなど）、および、必要な材料、また、ビデオカメラおよびその他の入力および記録装置の提供を含む。

【0053】

次のステップ７０３で、この例では化学ワークフローであるワークフローが実行され、ビデオカメラの画像データとワークフローに関連するすべてのパラメータの値が同期して記録され、個別のデータセットの形式でデータバンクに保存される。すでに述べたように、同期は共通の基準時間を基準として行われる。画像データとパラメータの値には、コンピュータで自動的に生成できるタイムスタンプが付いている。７０３０はワークフローを示し、ブロック７０３１、７０３２、７０３３、７０３４および７０３５は、ビデオカメラの記録された生データおよびユーザ観察を含むパラメータを示す。

【0054】

パラメータの値は検索可能な形式で記録される。すなわち、データセット内で特定の状態、値、またはイベントを検索することができる。

【0055】

単純な測定値の場合、これは簡単である。しかしながら、画像記録や音響記録は分析と処理が必要である。これはステップ７０４に示されている。ビデオカメラの画像データについては、所望の画像状況（例えば、記録されたオブジェクトの色の変化）を自律的に認識できる画像分析方法を使用することができる。音響録音、例えば、ユーザによる音声入力の場合、音声認識方法を使用できる。最後に、テキスト入力の場合、テキスト認識方法を使用できる。７０４０はワークフローを示し、ブロック７０４１、７０４２、７０４３、７０４４、および７０４５は、ビデオカメラおよびパラメータ（ユーザ観察を含む）の処理または準備またはパラメータ化されたデータを示す。

【0056】

続くステップ７０５では、ワークフローがスクリーン１９上に視覚的に表示され、処理およびパラメータ化されたデータセット、および好ましくはワークフローの個々の作業ステップも別個のトラック７０５０、７０５１、７０５２、７０５３、７０５４、７０５５の形式でスクリーン１９上に表示される。

【0057】

図４のブロック図は、例えばパラメータイベントに応じて、特定のデータセットのみ、および／または、その特定の抜粋のみを表示することによって、ワークフローの視覚表示をターゲットを絞った方法でどのように改良できるかを示す。

【0058】

ステップ７０６では、図３のステップ７０５と同様に、処理されパラメータ化されたすべてのデータセットを視覚的に表示する。図４では、これはブロック７０６０、７０６１、７０６２、７０６３、７０６４、および７０６５によって記号化される。ステップ７０７で、対象パラメータが選択され、ステップ７０８でトラック７０７２として表示される。対象パラメータの選択は、入力フィールド２０（図２）を用いて行うことができる。

【0059】

ステップ７０９では、選択されたパラメータに対する所望のパラメータイベントが入力され、検索されたパラメータイベントが発生したイベント時点が決定される。このようなパラメータイベントは、問題のパラメータの特定の状態（値）、またはパラメータの状態または値の特定の変化である。しかしながら、パラメータイベントは、ユーザが入力したテキストまたは音声であり得る。関心のあるパラメータイベントの選択または入力は、入力フィールド２０（図２）を用いて行うことができる。

【0060】

最後に、ステップ７１０で、データセットの時間セグメントが視覚的に表示され、それらのセグメントは、以前に決定されたイベント時点に焦点を当てている。すなわち、最も単純なケースでは、ビデオ画像とイベント時点に割り当てられたパラメータの値のみが表示される。しかしながら、代わりに、かつ好ましくは、所望の時間枠または期間にわたるビデオ画像およびパラメータの値の変化が表示される。このような期間は、通常はイベント時点、例えば、イベント時点に至るまでの最後の３０秒、を含む。有利なことに、再生中に、現在の時点が常にディスプレイの中央に表示され、さまざまなトラックがその現在表示されている時点を通過するか、またはトラックおよび時間軸が固定され、現在の時点がトラックに沿って移動するかを設定または選択することができる。関心のある期間の選択または入力は、今回も入力フィールド２０（図２）によって行うことができる。表示されたトラックは、図４のブロック７１００、７１０１、７１０２、７１０３、７１０２、および７１０４で記号化されている。

【0061】

ステップ７１０では、選択されたデータセットまたはパラメータのみを表示することもできる。表示されるパラメータまたはビデオ記録の選択は、入力フィールド２０（図２）によって行うこともできる。すでに述べたように、入力フィールド２０は、有利なことにスクリーン１９上に表示可能なソフトウェアメニューの形で実装することができる。

【0062】

図５は、本発明に係る方法の一実施形態の例示的な画面レイアウトを極めて簡略化して示している。スクリーンは進行中のビデオ画像１０１を示しており、この例では、自動配合装置１０２上で流体が計量装置１０３によって第１の反応器１０４にどのように計量されているかを記録している過程である。第２の反応器１０５もビデオ画像１０１から明らかである。情報列１０６は、ビデオ画像１０１の記録に使用されたカメラに関する情報を表示する。ビデオ画像１０１の上には、関連情報が、オーバーレイグラフィックの形式で表示される。関連情報は、例えば、カメラの名前１０７、現在の記録の同期された時点１０８、および、撮影されている反応器の識別を簡略化するために、それらの識別子１０９および１１０など、を含む。

【0063】

ビデオ画像１０１の記録は、典型的には、固定位置に設置された、またはワークフローを実行する装置に組み込まれたビデオカメラによって行われる。しかしながら、ビデオ画像１０１を記録するためにモバイルカメラを使用することも可能であり、モバイルカメラは、例えば、適切なロボット装置または研究室の作業者によって支持および位置合わせされ、あるいは、拡張現実アプリケーション用特別に設計されたポータブル装置（MicrosoftのHoloLensなど）に統合されてもよい。もちろん、１つの記録ソースまたはカメラだけでなく、複数の記録ソースまたはカメラを使用することも可能であり、有利である（図７、８および９も参照）。カメラを異なるオブジェクトに向けることが可能であり、および／または、異なるタイプのカメラ（図９も参照）を使用して、同一または異なる物体を使用することができる。異なるタイプのカメラは、例えば、記録方法または波長、例えば、赤外線、紫外線、画像増強センサ、および放射線用のセンサなどである。

【0064】

図５に示されるスクリーンレイアウトは、さらに、選択されたパラメータの複数の値を示し、ここでは、２つの反応器１０４および１０５に関連するグループ化されたトラック１１１および１１２の形式で表示される。これらのトラックは、例えば、パラメータの所望の目標値（ここでは、反応温度Ｔおよび反応器の撹拌装置の回転速度ｖ）、および、パラメータの実測値を、同様にトラックの形式で表示される時間軸１１３に沿った線として示すように設計されることが有利である。図５において、目標値は実線で示され、実際の値は点線で示されている。有利なことに、さらに、現在測定された値が重ねて示される（ここでは、反応器＃１の温度Ｔ４５．０℃および撹拌速度ｖ２５１ｒｐｍ（毎分回転数）、および、反応器＃２の温度Ｔ４５．１℃および撹拌速度ｖ２４８ｒｐｍ（毎分回転数））。

【0065】

スクリーンレイアウトは、最も重要な要素として、他のトラック１１１および１１２と平行に延びる時間軸１１３を示す。時間軸は、進行中の記録またはその再生が行われている正確な時点を示す。ここで、現在の時点は、例えば、様々なトラックを横切る実線１１４として示される。例えば、補助要素としての破線１１５は、特定の時点（ここでは、例えば、１分ごと）を示すことができ、したがって、データトラック１１１および１１２内のパラメータ値の読み出しを簡略化することができる。

【0066】

図６に示されるスクリーンレイアウトは、図５と同様の状況を示すが、ここでは、より冷たい物体をより暗い色で表示し、より暖かい物体をより明るい色で表示する赤外線（ＩＲ）カメラ２０７のビデオ画像２０１が示される点が異なる。情報欄２０６は、ビデオ画像２０１の記録に使用したカメラに関する情報を示す。また、情報欄２０６は、どの検出温度にどの色が割り当てられているかを簡略化して示す目盛り２０６１を含む。例示的な画像レイアウトは、第１の反応器１０４およびその内容物の温度が熱いと、明るい色で示される一方、第２の反応器１０５の内容物の温度が低いと暗い色で示される（点線の画像で示される）ことを示す。第２の反応器の温度追跡は、その反応器の温度が意図された温度（連続温度線）よりもどのように低いかを示す（破線の温度線）。さらに、ここで重畳された警告メッセージ２１１２は、反応器内の温度が目標値と大幅に異なることを示し、第２の反応器が明らかに計画通りに加熱されておらず、技術的問題がある可能性があることを示す。もちろん、警告メッセージ２１１２は、適切なテキストを含むこともできる。

【0067】

図７に示される例示的なスクリーンレイアウトは、ここで示されるビデオ画像３０１において２台のビデオカメラからの記録が部分的に重ねて表示されることを除いて、図５および６と同様の状況を示す。一方の記録は、図５に示すように、可視スペクトル範囲で動作するビデオカメラ１０７から発生し、他方の記録は、図６に示すように、赤外線カメラ２０７から発生する。したがって、ビデオ画像３０１では、ビデオ画像、人間の目に見える赤外線ビデオ画像および物体の熱放射を記録する赤外線ビデオ画像を、同時に見ることができる。既知の画像処理プログラムを使用すると、ＩＲ画像全体が重ねて表示されるのではなく、関心のある部分のみがオーバーレイ表示される。図７では、これらの抜粋は、２つの反応器１０４および１０５内に位置する流体１０４１および１０５１の熱放射を示す。情報列３０６は、ビデオ画像３０１を記録するために使用されたカメラに関する情報を示す。

【0068】

本発明の範囲内で、複数のビデオカメラ、任意に異なるビデオカメラの画像を、例えば、隣り合い、または、下に並べて表示し、複数の記録が見えるようにすることも可能であり、それにより、同時に、異なるスペクトル範囲で動作するカメラを同じ物体または異なる物体に向けることもできる。後者の場合は図８と図９に示されるが、簡略のためにデータトラックとタイムトラックは省略されている。

【0069】

図８では、スクリーンレイアウトは、図７と同様に、第１および第２のビデオカメラのオーバーレイビデオ画像３０１と、それぞれが一方のビデオカメラに向けられたさらなる２台のビデオカメラのビデオ画像４０１および５０１を示す。２つの反応器１０４および１０５を示しており、対応する反応器内で何が起こっているかを詳細に示す。ここで図８では、例えば、第２の反応器１０５が第１の反応器１０４よりも低い流体レベルを有することが直ちに明らかである。

【0070】

有利なことに、もちろん、異なる形式の表示またはカメラ入力の間で切り替えることも可能である。すなわち、ユーザは、例えば、第１のビデオカメラのビデオ画像（図５に示す）、第１のＩＲカメラのＩＲ画像（図６に示す）、第１のビデオカメラ上のＩＲカメラの抜粋のオーバーレイ（図７に示す）、または、ＩＲカメラのＩＲ画像全体を最初のビデオカメラのビデオ画像に半透明でオーバーレイする（図示せず）のいずれの表示を希望するかを選択できる。ピクチャー・イン・ピクチャー表示も可能であることが理解されるであろう。

【0071】

図９に示すスクリーンレイアウトは、メインビデオ画像６０１と、そのメインビデオ画像内に２つの小さなサブビデオ画像６０１１および６０１２を示す。メインビデオ画像は、図５のような２つの反応器１０４および１０５を示し、サブビデオ画像６０１１は、可視スペクトル範囲における第１の反応器１０４のみのビデオ記録を示し、サブビデオ画像６０１２は、赤外スペクトル範囲内の第１の反応器１０４のみのビデオ記録を示す。情報欄６０６は、所望のサブビデオ画像の表示を選択または選択解除できる統合制御フィールド６０７を有する。ここの例では、第２反応器１０５のサブビデオ画像が選択解除されている。

【0072】

入力ソースとして視覚カメラおよびＩＲカメラだけが考慮されるわけではなく、オプションには、一般的に使用され、将来考えられるすべての記録方法、カメラ、センサ（例えば、特にＸ線など）、例えば、反応器に視覚的にアクセスすることなく、反応器内で何が起こっているかを識別する方法が含まれることが理解されるであろう。さらなる入力オプションは、例えば、ＵＶ放射線、画像増強カメラ、超音波センサなどが含まれる。以下のセクションでは、特に、カメラ入力からでないさらなるデータトラックが本発明に従って表示され得る異なる方法を説明する。

【0073】

例えば、図１０は、簡略化された化学ワークフローのデータセットのいくつかのトラックを示す。この例では、ワークフローは、撹拌および加熱された容器への粉末の計量供給が含む。

【0074】

ここの例では、トラックは時間軸２０００に平行にスクリーン上を垂直に走り、隣り合って配置されている。トラック２００１は、クライオスタット内の記録された温度プロファイルを示す。第２のトラック２００２は、粉末計量装置および重量計の動作を示す。第３のトラック２００３は、攪拌機の記録された回転速度を示す。第４のトラック２００４は、ユーザによって記録された観察を示す。各トラックはパラメータを表す。個々のデータポイント、例えば、測定値、およびアクションや観察が、時間軸２０００に沿って対応する時点で表示される。

【0075】

示す例では、どのように、例えば、ワークフローの開始直後（時点Ｔ０）に、最初にクライオスタットの目標値５０℃が設定され、クライオスタットの目標値４５０ｒｐｍが攪拌機（時点Ｔ０＋１０ｓ）に設定され、両方のデバイスが開始される（時点Ｔ０＋１５ｓ）ことがわかる。その後、２つの装置が動作を開始し、測定されたパラメータ（クライオスタットの温度と攪拌機の速度）が記録される。

【0076】

時点Ｔ０＋３８ｓは、１２７ｍｇの特定の粉末を特定の目標の容器に計量することを目的とした粉末計量装置による計量操作の開始を示す。その計量操作は時点Ｔ０＋７２秒で終了し、例えば重量計の入力の結果として、実際には１２９ｍｇの粉末が添加されたという事実が記憶される。

【0077】

自動化された操作を観察する実験室の作業者は、Ｔ０＋４０秒とＴ０＋８５秒で容器内の泡立ちを観察し、その状況をシステムに記録する。これらの観察はトラック２００４に表示される。図１０では、観察は記号２０４１および２０４２によって表される。実際には、表示される観察は通常、対応するテキストである。観察の手動入力は、例えば、図１に示す入力装置１７によって行われる。しかしながら、有利なことに、そのような手動入力は、コンピュータ１６に接続されたデータ処理装置によって行われ、特に、スマートフォン、デスクトップ、ラップトップ、またはタブレットコンピュータの使用が適しているが、拡張現実または仮想現実用のデバイス（例えば、MicrosoftのHoloLens）を使用が特に有利である。逆に、これらのデバイスは、実験中に記録されたデータや情報を表示および処理に使用することもできる。

【0078】

その後、ワークフローの分析フェーズで、研究室の作業者は、どの時点で何が起こったのか、そしてその時点で個々の要素がどのような状態にあったのかを正確に確認できる。例えば、Ｔ０＋１２０秒の時点でクライオスタットの温度が２５．７℃で、攪拌機が４５０ｒｐｍで回転していることが直ちに分かる。

【0079】

ワークフローに関与するいくつかの装置やデバイスは、いくつかの特徴を備える。例えば、クライオスタットにはポンプ、ヒーター、温度センサを有する。これらのコンポーネントの値または状態はすべてパラメータとして記録できる。このような場合、例えばクライオスタットの例を使用して図１１に示すように、要素に属する関連するトラックの表示をグループ化することが好都合である。個々のトラック２０５１、２０５２、および２０５３を有するトラックグループ２００５では、選択フィールド２０５５を実装することが可能であり、これは、好ましくは、対応するボタン２０５４によって開くことができ、それによって、表示される個々のトラックを選択することができる（ポンプＰ、ヒーターＨ、温度Ｔ）。図１１では、クライオスタットの温度センサのトラックが選択される。次に、図１２に示すように、その個々のトラック２０５３が画面上に表示される。これにより、表示されたデータの概要が単純化される。

【0080】

トラック内の情報は、テキストや数値の形式だけでなく、必要に応じてグラフ（曲線）の形式でも表示でき、好ましくは、対応するスケールとともに、対応する目標値や希望の値を表示することもできる。好ましくは、それとともに表示される凡例は、例えば色または線の太さ／線の形状が異なる曲線の識別を支援する。図５～７は、そのようなグラフ表示の例を示す。

【0081】

科学実験のワークフローは、定義されたシンボルを持つワークフローとして表示されることがよくあり、それぞれの場合に内接矢印シンボルが作業ステップ（または組み合わせた作業サブステップのグループ）を構成する。本発明に係る方法では、そのようなワークフローをパラメータの画面表示およびビデオ記録に重ね合わせることができる。図１３は、そのような一例を簡略化して示す。

【0082】

図１３のスクリーンレイアウトは、ビデオ画像１０１、反応器１０４に割り当てられたグループ化されたトラック１１１および時間軸１１３を含むこと、また、ワークフロートラック３０００が示されることを除き、大部分が図５のスクリーンレイアウトに対応する。図５のグループ化されたトラック１１２は、ここでは示されていない。時間軸１１３では、時間が世界時ＵＴＣとして入力されている。垂直線１１４は現在時刻を示す。

【0083】

ワークフロートラック３０００に示されるワークフローは、計画されたワークフローに対応し、どの時点で何を行うべきかを示す。個々の作業ステップは矢印として表示されることができ、作業ステップのステータスは異なる色で象徴可能である点が有利である。すでに完了したワークフローステップ３００１は、例えば濃い灰色で、現在進行中のワークフローステップ３００２は中間の灰色で、将来のワークフローステップ３００３は明るい灰色で示すことができる。ビデオ画像とともに、大量の情報、データ、画像などを表示するこのようなディスプレイは、科学実験ワークフローの考えられるすべての側面を含む包括的なログを初めて提供する。このようなログは、記録全体内のデータを検索する機能と組み合わせることで、記録されたワークフローを分析および再利用する完全かつ包括的かつ前例のない機能を初めて提供する。

【0084】

データセット内の前述の検索については、以下でより詳細に説明する。

【0085】

さまざまなデータセットは、コンピュータ１６にインストールされた共通のデータバンク内で照合される。この中心となるのは、イベント、値、パラメータなどの相互参照および検索が可能であるため、すべての記録およびデータセット（トラック、カメラ画像、ユーザ入力など）が時間同期されることである。本発明の重要な側面は、最も多様な要件に従って、これらすべての異なる記録および記録データを後で組み合わせ、フィルタリングできるだけでなく、特に検索もできることである。検索は、キーワード（例えば、研究室の作業者によって追加された解説や観察など）だけでなく、データセット全体に保存されているパラメータや値も含むことができる。加えて、有利なことに、視覚的軌跡（またはカメラ記録）およびセンサ入力も、当業者によく知られた適切な装置および方法によって分析、解釈および変換され、それらの入力も検索に包含できる。例えば、反応器内の配合物の色は画像認識ソフトウェアによって認識され、検索によりその配合物の色が認識されたすべてのイベント、時間、ビデオシーケンスおよび画像が表示される。もちろん、これは人間が観察できるものだけでなく、考えられるあらゆる物理的および化学的パラメータ、データ、値にも該当する。

【0086】

データセットの検索には、テキストや音声の録音だけでなく、特定の値、変数、パラメータなどを検索できる検索マスクを使用できる。見つかったすべてのエントリを表形式でリストできる。有利なことに、結果はさらにフィルタリングすることができ、有利なことに、見つかったエントリを選択することによって、時間軸におけるエントリの時点に直接ジャンプすること、および／または時間軸および／またはトラックにおいてそのエントリをマークまたはハイライトすることができる。

【0087】

例えば、図１４および図１５は、本発明に係る方法に従って、記録されたデータおよびトラックがどのように検索され得るか示す。図１４は、検索目的に有利な表示を示し、この表示は、共通の時間軸４０００と同期した様々なトラックを示し、この場合、これは他の多くの可能なトラック（２つの異なるビデオカメラの２つのビデオトラック４００１および４００２、温度センサのトラック４００３、粉末計量装置のトラック４００４、および実験室作業者による音声入力を伴う音響トラック４００５）を表す。ビデオトラック４００１および４００２は、個々の画像が時間軸４０００に沿って示されるように表示され、各画像は関連する時点での記録に対応する。

【0088】

次に、図１５は、ワークフローのデータトラック全体にわたる検索が本発明に従ってどのように動作するかを示す。温度センサトラック４００３または基礎となるデータセット内の第１の例示的なクエリ４１００は、例えば、検索用語「３２℃」を使用し、その値がセンサによって測定された最初のイベント４１０１を見つけ、必要に応じて関連する画像（または記録シーケンス）を直接表示する（この例では、時点１４：２５：４５）。さらに、検索用語３２℃にも一致する同じセンサトラックの後続のイベントが同様に表示され、必要に応じて、その温度が他のセンサで測定されたイベントも表示される。もちろん、見つかったすべてのイベントの全体は、必要な基準を参照してフィルタリングできる。２つ以上のイベント（例えば、３２℃）が見つかった場合、ユーザは、例えば経験により、イベントが実際にそのイベントであることを知っているため、どの関連する時点またはどの関連するビデオシーケンスを表示したいかを選択でき、求められている値は、おそらく単なる外れ値または測定誤差であるか、あるいはクエリとは無関係な測定値であり得る。ユーザは、自分の経験に基づいて、関連するビデオシーケンスと追加で表示されるパラメータ値を参照して、これらの検索結果のどれがワークフローの過程で興味のあるイベントを実際に表しているのか、どれをより詳しく調べること希望しているのか容易に判断できる。

【0089】

例示的な第２のクエリ４２００は、音響トラック４００５の基礎となるデータセットを検索し、例えば音響的に記録された観測値、例えば用語「泡」を検索する。ここで重要なことは、音響録音が通常のサウンドトラックの形式で利用できるということだけではなく、サウンドトラックが、例えば、適切な音声認識方法によってパラメータ化またはデジタル化され、その結果、それぞれの音声認識に合わせてパラメータ化またはデジタル化されていることも重要である。ユーザが口頭で入力すると、対応する時点でテキストも生成および保存され、検索用語を使用して検索できる。したがって、ここでは、「泡」の検索クエリ４２００は、音響トラック４００５上でイベント４２０１も見つけ、音声認識が基礎となるデータセット内の用語「泡」を認識し、次に、その時点に属する所望の他のトラック、パラメータ、画像、および、ビデオシーケンスを順に表示する。複数の検索結果については、前の段落でのコメントが再び適用される。

【0090】

音響トラックに関して上述した生データのパラメータ化またはデジタル化は、もちろん、任意の所望のトラックに対して行うことができる。考えられるあらゆる方法（ビデオ、ＩＲ、ＵＶ、音響など）で作成された録音の評価と、その解釈、パラメータ化、デジタル化は特に有利である。これは、例えば、顔のカメラ記録に簡単に認識できる特徴が提供され、それらの特徴を包括的なデータバンクに保存できる、対応する適切なソフトウェアによる顔認識に匹敵し、記録された画像を相互に比較し、データバンクですでに利用可能な画像と比較し、割り当てることができる。同様のデジタル化も本発明に係る方法で使用することができる。ここでは（網羅的ではなく一例として）、例えば、化学製剤の色、その構造、不均一性（粒子、泡など）の存在を認識し、デジタル化することができる。

【0091】

データの検索は、もちろん、単一のワークフロー内だけでなく、図１６に非常に簡略化して示したように、有利なことに、多数の（比較可能な）ワークフローにわたっても行うことができる。ここでは、ワークフロー５００１、５００２、５００３の３つのデータセット全体にわたって、クエリ５１００では、例えば、イベント「温度＝３２℃」について検索が行われ、クエリ５２００では、例えば、イベント「泡」など、特定の観測値について検索が行われる。さまざまなイベントが見つかり、これは図１６の矢印５１０１および５２０１で表される。見つかったイベントは、２つの表５１０２および５２０２に表形式で示される。「温度＝３２℃」の３つのイベントが２つの実験で見つかり、「泡」の２つのイベントが２つの実験で見つかったことが分かる。リスト内のイベントを選択することにより、研究室の作業者は、所望の実験の所望の時点に直接ジャンプし、その時点で一般的な条件、パラメータなどを見ることができる。これにより、一般的な実験室操作において、パラメータの簡単、包括的および迅速な検索を初めて実行できた。

【0092】

図１７は、異なる時間に実行され記録された科学実験ワークフローの複数の記録８００１および８００２の表示例を示す。ここで、ユーザは、例えば目的の実験全体で「ｐＨ値≧６．７」を検索することにより、現在表示される時点としてテスト反応器への流体の追加を選択することを決定し、それに応じてそれらのイベントを見つける。これらのイベントは、例えば、対応する時間軸または記録をシフトして、その共通イベント「ｐＨ≧６．７」に合わせて調整する方法で表示できる。このような表示は、ワークフローに関連する関心のあるイベントを見つけて視覚的に比較する非常に直観的に使用できる方法を提供する。これは、ユーザが望むパラメータおよび記録をすべて利用できるためです。

【0093】

化学ワークフローの例を用いて本発明を説明した。しかしながら、本発明は化学ワークフローの記録および分析に限定されず、他の多くの科学実験ワークフローにも適している。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11-12】

【図13】

【図14】

【図15】

【図16】

【図17】

【手続補正書】

【提出日】2023-09-22

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

科学実験ワークフローを記録する方法であって、
ワークフローの過程で、前記ワークフローが実行されているワークスペースの少なくとも一部の、多数の連続する個々の画像と、値を含むビデオ記録がされ、
同時に前記ワークフローに含まれる多数の関連するパラメータの全ての値は記録され、
前記パラメータの１つは温度センサによって測定された値であり、
デジタルデータバンク（３０）に前記ビデオ記録用およびパラメータ毎の別個のデータセット（３１、３２、３３、３４、３５）が保存され、
前記データセット（３１、３２、３３、３４、３５）は、前記ビデオ記録の前記個々の画像と、共通の基準時間（３８）に割り当てられた経時的な前記パラメータの値を含むことで、各時点で、前記ビデオ記録の前記個々の画像と前記パラメータの値の間に明確な時間的関連性が存在し、
少なくともパラメータの前記データセットは検索可能な形式で格納され、パラメータが検索された値または検索された変化を示すパラメータイベントを検索可能である、
方法。

【請求項2】

科学実験ワークフローを記録および分析する方法であって、
ワークフローの過程で、前記ワークフローが実行されているワークスペースの少なくとも一部の、多数の連続する個々の画像と、値を含むビデオ記録がされ、
同時に前記ワークフローに含まれる多数の関連するパラメータの全ての値は記録され、
前記パラメータの１つは温度センサによって測定された値であり、
デジタルデータバンク（３０）に前記ビデオ記録用およびパラメータ毎の別個のデータセット（３１、３２、３３、３４、３５）が保存され、
前記データセット（３１、３２、３３、３４、３５）は、前記ビデオ記録の前記個々の画像と、共通の基準時間（３８）に割り当てられた経時的な前記パラメータの値を含むことで、各時点で、前記ビデオ記録の前記個々の画像と前記パラメータの値の間に明確な時間的関連性が存在し、
少なくともパラメータの前記データセットは検索可能な形式で格納され、パラメータが検索された値または検索された変化を示すパラメータイベントを検索し、
検索されたパラメータイベントの時点に存在する、または検索されたパラメータイベントの時点を含む期間に存在する少なくとも選択された前記パラメータの値と前記ビデオ記録の画像が、互いに時間的に関連付けられて視覚的に表示される、
方法。

【請求項3】

選択されたパラメータは、それらのパラメータの目標値がデータセットとして前記デジタルデータバンクに格納され、それらのパラメータの前記記録された実際の値とともに視覚的に表示され、経時的な前記変化は、好ましくは、グラフの形式である
請求項１または２のいずれか１に記載の方法。

【請求項4】

少なくとも選択されたパラメータの前記値の時間の経過に伴う前記変化は、該当する場合、対応する目標値とともに、特に数値の行の形式で、隣り合い、または、上下に配置されたトラックに視覚的に表示される、
請求項１から３のいずれか１に記載の方法。

【請求項5】

共通の基準時間として、標準時、特に世界時（ＵＴＣ）または国際原子時（ＴＡＩ）が使用される、
請求項１から４のいずれか１に記載の方法。

【請求項6】

前記ワークスペースの２つ以上のビデオ記録は、異なる視角および／または異なる波長範囲で作成され、別個のデータセットとして格納される、
請求項１～５のいずれか１に記載の方法。

【請求項7】

前記ワークスペースの２つ以上のビデオ記録は、異なる波長範囲で作成され、別個のデータセットとして保存され、記録された前記ワークスペースに少なくとも部分的にオーバーレイされた表示がそれらのデータセットから生成され、視覚的に表示される、
請求項１～６のいずれか１に記載の方法。

【請求項8】

少なくとも選択されたパラメータの前記値が、それぞれの時点とともに、自動的にまたはユーザによって手動で前記デジタルデータバンクに入力される、
請求項１～７のいずれか１に記載の方法。

【請求項9】

ユーザによってテキスト形式で記録された観察、または好ましくはパラメータ化された音響記録が、別個のデータセットとして保存され、および／またはデータセットに解説が提供される、
請求項１～８のいずれか１に記載の方法。

【請求項10】

少なくとも１つのビデオ記録が行われ、可視スペクトル範囲で記録される、
請求項１～９のいずれか１に記載の方法。

【請求項11】

ビデオ記録は、ＵＶおよび／またはＩＲスペクトル範囲で行われ、記録される、
請求項１～１０のいずれか１に記載の方法。

【請求項12】

パラメータが、放射能またはＸ線放射などの放射線値、磁場値、気流値、または超音波測定値を含む、請求項１～５のいずれか１に記載の方法。

【請求項13】

前記ビデオ記録は、画像認識方法を使用して、特定の画像内容またはその変化を検索され、
好ましくは、少なくとも選択された前記パラメータの値は、検索された画像コンテンツの発生もしくは変化、または、検索された画像コンテンツもしくはその変化の発生前後の選択可能な期間に関連づけられ、
前記ビデオ記録の画像は、相互に時間的に関連付けられて視覚的に表示される、
請求項１から１２のいずれか１に記載の方法。

【請求項14】

前記科学実験ワークフローの計画データは、専用のデータセットとして格納される、
請求項１から１３のいずれか１に記載の方法。

【請求項15】

２つ以上の比較可能な科学実験ワークフローは、各ワークフローの前記過程にわたって、前記各ワークフローが実行されているワークスペースの少なくとも一部を少なくとも１つのビデオ記録し、同時に、それぞれのワークフローに関連するパラメータの値は、デジタルデータバンク内の個別のデータセットとして検索可能な形式で記録および保存され、好ましくは、時間的に関連付けて表示する、
請求項１から１４のいずれか１に記載の方法。

【国際調査報告】