特表 2024-514817 透過型電子顕微鏡（ＴＥＭ）セッションに由来するデータをレビューするためのメタデータおよび画像管理のシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-04-03

(54)【発明の名称】透過型電子顕微鏡（ＴＥＭ）セッションに由来するデータをレビューするためのメタデータおよび画像管理のシステムおよび方法

(51)【国際特許分類】

   G06F 16/58 20190101AFI20240327BHJP

【ＦＩ】

G06F16/58

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023561709

(86)(22)【出願日】2022-04-07

(85)【翻訳文提出日】2023-12-04

(86)【国際出願番号】 US2022023892

(87)【国際公開番号】W WO2022216970

(87)【国際公開日】2022-10-13

(31)【優先権主張番号】63/171,692

(32)【優先日】2021-04-07

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＪＡＶＡ

(71)【出願人】

【識別番号】509245670

【氏名又は名称】プロトチップス，インコーポレイテッド

(74)【代理人】

【識別番号】110000338

【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ

(72)【発明者】

【氏名】ウォールデン，セカンド，フランクリン スタンプリー

(72)【発明者】

【氏名】デーミアノ，ジュニア，ジョン

(72)【発明者】

【氏名】ナッカシ，デイビッド ピー．

(72)【発明者】

【氏名】ガルディナー，ダニエル スティーブン

(72)【発明者】

【氏名】ユーベル，マーク

(72)【発明者】

【氏名】フランクス，アラン フィリップ

(72)【発明者】

【氏名】フレンド，ジョシュア

(72)【発明者】

【氏名】マルサク，キャサリン エリザベス

【テーマコード（参考）】

5B175

【Ｆターム（参考）】

5B175DA02

5B175FB03

5B175JC05

(57)【要約】

本明細書における開示は、顕微鏡実験セッションに由来するデータをレビューするためのメタデータ管理の方法およびシステムである。実験セッションに由来する画像データは、ローカルまたはネットワーク上の１つ以上のファイルパス位置でアーカイブに保存される。画像データに関連付けられたメタデータは、未処理画像が保存されるファイルパスに参照と共にデータベースに保存され、そして、メタデータは、データベース内で画像データに関連付けられる。ユーザは、メタデータを使用して、基礎的な画像データの、実験後のフィルタリング、ソート、および検索を実行することができ、これにより、画像データの複製を伴うことなく、かつ個々の画像を手動でレビューすることなく、画像データを分析することができる。フィルタリングされたデータは、対話型タイムラインフォーマットで表示される。

【特許請求の範囲】

【請求項1】

透過型電子顕微鏡での実験セッションに由来する実験データの視覚的表現を、前記実験セッションに由来するメタデータを使用して生成するためのシステムであって、
前記システムは、
透過型電子顕微鏡と、
前記透過型電子顕微鏡に通信可能に接続されたコンピュータシステムと、を備え、
前記コンピュータシステムは、
メモリと、
データベースと、
少なくとも１つのプロセッサと、を備え、
前記プロセッサは、
前記透過型電子顕微鏡を使用して実行された前記実験セッション中にキャプチャされた複数の画像を含む画像データのセットを、前記透過型電子顕微鏡から受信し、
前記透過型電子顕微鏡から受信した画像データの前記セットを、前記メモリ内のディレクトリに保存し、
前記画像データに関連付けられたメタデータを、前記データベース内に保存するように構成されており、
特定画像のためのメタデータは、前記ディレクトリ内の前記特定画像に対するファイルパス参照を含み、メタデータが関連画像を有するように、前記データベース内で前記特定画像に関連付けられ、
前記プロセッサは、
画像データの前記セットから画像データのサブセットを識別するために前記データベース内に保存された前記メタデータをフィルタリングし、
対話型タイムラインフォーマット内のフィルタリングされた前記メタデータを使用して識別された画像データの前記サブセットの視覚的表現を生成するように構成されている、システム。

【請求項2】

画像データの前記セットは、ドリフト補正された画像を含む、請求項１に記載のシステム。

【請求項3】

前記プロセッサは、タイムラインフォーマット内に配列された画像データの返信された前記サブセットをグラフィカルユーザインターフェース上に表示するようにさらに構成されている、請求項１に記載のシステム。

【請求項4】

前記プロセッサは、画像データの返信された前記サブセットを含むコレクションを作成するようにさらに構成されており、
前記コレクションを作成するために画像データを複製しないことで、単一画像が複数のコレクションに関連付けられ得る、請求項１に記載のシステム。

【請求項5】

前記プロセッサは、画像データの返信された前記サブセットをパブリッシュするようにさらに構成されている、請求項１に記載のシステム。

【請求項6】

画像データの返信された前記サブセットをパブリッシュすることは、画像データの返信された前記サブセットを示すビデオを生成することを含む、請求項５に記載のシステム。

【請求項7】

前記メタデータは、前記関連画像のためのタグを含む、請求項１に記載のシステム。

【請求項8】

前記メタデータは、前記関連画像のためのライブノートを含む、請求項１に記載のシステム。

【請求項9】

実験後分析を実行するために、実験セッションに由来するメタデータを使用するための方法であって、
ディレクトリ内に、実験セッション中にキャプチャされた複数の画像を含む画像データのセットを保存する工程を含んでおり、
前記実験セッションは、電子顕微鏡を使用して実行され、
前記方法は、
前記画像データに関連付けられたメタデータを、前記データベース内に保存する工程を含んでおり、
特定画像のためのメタデータは、前記ディレクトリ内の前記特定画像に対するファイルパス参照を含み、メタデータが関連画像を有するように、前記データベース内で前記特定画像に関連付けられ、
前記方法は、
画像データの前記セットから画像データのサブセットを識別するために前記データベース内に保存された前記メタデータをフィルタリングする工程と、
フィルタリングされた前記メタデータを使用して識別された画像データの前記サブセットを返信する工程と、を含む、方法。

【請求項10】

前記画像データの前記セットは、ドリフト補正された画像を含む、請求項９に記載の方法。

【請求項11】

タイムラインフォーマット内に配列された画像データの返信された前記サブセットをグラフィカルユーザインターフェース上に表示する工程をさらに含む、請求項９に記載の方法。

【請求項12】

画像データの返信された前記サブセットを含むコレクションを作成する工程をさらに含み、
前記コレクションを作成するために画像データを複製しないことで、単一画像が複数のコレクションに関連付けられ得る、請求項９に記載の方法。

【請求項13】

画像データの返信された前記サブセットをパブリッシュする工程をさらに含む、請求項９に記載の方法。

【請求項14】

画像データの返信された前記サブセットをパブリッシュする工程は、画像データの返信された前記サブセットを示すビデオを生成する工程を含む、請求項１３に記載の方法。

【請求項15】

前記メタデータは、前記関連画像のためのタグを含む、請求項９に記載の方法。

【請求項16】

前記メタデータは、前記関連画像のためのライブノートを含む、請求項９に記載の方法。

【請求項17】

実験後分析を実行するために、実験セッションに由来するメタデータを実行するためのコンピュータシステムであって、
前記コンピュータシステムは、
メモリと、
データベースと、
少なくとも１つのプロセッサと、を備え、
前記プロセッサは、
メモリ内のディレクトリ内に、前記実験セッション中にキャプチャされた複数の画像を含む画像データのセットを保存するように構成されており、
前記実験セッションは、電子顕微鏡を使用して実行され、
前記プロセッサは、
前記画像データに関連付けられたメタデータを、前記データベース内に保存するように構成されており、
特定画像のためのメタデータは、前記ディレクトリ内の前記特定画像に対するファイルパス参照を含み、メタデータが関連画像を有するように、前記データベース内で前記特定画像に関連付けられ、
前記プロセッサは、
画像データの前記セットから画像データのサブセットを識別するために前記データベース内に保存された前記メタデータをフィルタリングし、
フィルタリングされた前記メタデータを使用して識別された画像データの前記サブセットを返信するように構成されている、コンピュータシステム。

【請求項18】

前記画像データの前記セットは、ドリフト補正された画像を含む、請求項１７に記載のコンピュータシステム。

【請求項19】

前記プロセッサは、タイムラインフォーマット内に配列された画像データの返信された前記サブセットをグラフィカルユーザインターフェース上に表示するようにさらに構成されている、請求項１７に記載のコンピュータシステム。

【請求項20】

前記プロセッサは、画像データの返信された前記サブセットを含むコレクションを作成するようにさらに構成されており、
前記コレクションを作成するために画像データを複製しないことで、単一画像が複数のコレクションに関連付けられ得る、請求項１７に記載のコンピュータシステム。

【請求項21】

前記プロセッサは、画像データの返信された前記サブセットをパブリッシュするようにさらに構成されている、請求項１７に記載のコンピュータシステム。

【請求項22】

画像データの返信された前記サブセットをパブリッシュすることは、画像データの返信された前記サブセットを示すビデオを生成することを含む、請求項２１に記載のコンピュータシステム。

【請求項23】

前記メタデータは、前記関連画像のためのタグを含む、請求項１７に記載のコンピュータシステム。

【請求項24】

前記メタデータは、前記関連画像のためのライブノートを含む、請求項１７に記載のコンピュータシステム。

【請求項25】

少なくとも１つのプロセッサを含む少なくとも１つのコンピューティングデバイス上で実行される命令を保存する非一時的コンピュータ可読記録媒体であって、
少なくとも１つの前記プロセッサによって実行されるとき、前記命令は、少なくとも１つの前記コンピューティングデバイスに、実験後分析を実行するために実験セッションに由来するメタデータを使用する方法を実行させ、
前記方法は、
ディレクトリ内に、前記実験セッション中にキャプチャされた複数の画像を含む画像データのセットを保存する工程を含んでおり、
前記実験セッションは、電子顕微鏡を使用して実行され、
前記方法は、
前記画像データに関連付けられたメタデータを、前記データベース内に保存する工程を含んでおり、
特定画像のためのメタデータは、前記ディレクトリ内の前記特定画像に対するファイルパス参照を含み、メタデータが関連画像を有するように、前記データベース内で前記特定画像に関連付けられ、
前記方法は、
画像データの前記セットから画像データのサブセットを識別するために前記データベース内に保存された前記メタデータをフィルタリングする工程と、
フィルタリングされた前記メタデータを使用して識別された画像データの前記サブセットを返信する工程と、を含む、非一時的コンピュータ可読記録媒体。

【請求項26】

前記画像データの前記セットは、ドリフト補正された画像を含む、請求項２５に記載の非一時的コンピュータ可読記録媒体。

【請求項27】

前記命令は、少なくとも１つの前記コンピューティングデバイスに、タイムラインフォーマット内に配列された画像データの返信された前記サブセットをグラフィカルユーザインターフェース上に表示させる、請求項２５に記載の非一時的コンピュータ可読記録媒体。

【請求項28】

前記命令は、少なくとも１つの前記コンピューティングデバイスに、画像データの返信された前記サブセットを含むコレクションをさらに作成させ、
前記コレクションを作成するために画像データを複製しないことで、単一画像が複数のコレクションに関連付けられ得る、請求項２５に記載の非一時的コンピュータ可読記録媒体。

【請求項29】

前記命令は、少なくとも１つの前記コンピューティングデバイスに、画像データの返信された前記サブセットをさらにパブリッシュさせる、請求項２５に記載の非一時的コンピュータ可読記録媒体。

【請求項30】

画像データの返信された前記サブセットをパブリッシュすることは、画像データの返信された前記サブセットを示すビデオを生成することを含む、請求項２９に記載の非一時的コンピュータ可読記録媒体。

【請求項31】

前記メタデータは、前記関連画像のためのタグを含む、請求項２５に記載の非一時的コンピュータ可読記録媒体。

【請求項32】

前記メタデータは、前記関連画像のためのライブノートを含む、請求項２５に記載の非一時的コンピュータ可読記録媒体。

【発明の詳細な説明】

【発明の詳細な説明】

【0001】

〔関連出願の相互参照〕
本出願は、２０２１年４月７日にＰｒｏｔｏｃｈｉｐｓ、Ｉｎｃ．により出願され、「Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｏｆ Ｍｅｔａｄａｔａ ａｎｄ Ｉｍａｇｅ Ｍａｎａｇｅｍｅｎｔ ｆｏｒ Ｒｅｖｉｅｗｉｎｇ Ｄａｔａ ｆｒｏｍ Ｔｒａｎｓｍｉｓｓｉｏｎ Ｅｌｅｃｔｒｏｎ Ｍｉｃｒｏｓｃｏｐｅ（ＴＥＭ）Ｓｅｓｓｉｏｎｓ」というタイトルが付された、米国仮特許出願第６３／１７１，６９２号の優先権を主張し、その全ての内容は、参照によって本出願に組み込まれる。

【0002】

〔技術分野〕
本開示は、電子顕微鏡の分野に関し、特に、ＴＥＭセッションからのデータをレビューするための画像およびメタデータ管理のシステムおよび方法に関する。

【0003】

〔背景技術〕
インサイチュ（in situ）顕微鏡において、透過型電子顕微鏡（ＴＥＭ）または走査型透過電子顕微鏡（ＳＴＥＭ）は、試料ホルダ内の試料を透過した電子ビームを使用して画像を形成する。ＴＥＭまたはＳＴＥＭは、実験または実験セッション中に使用され、その期間にわたって試料を観測する。インサイチュ顕微鏡、および一般的な全てのＴＥＭ顕微鏡の分野における一つの負担は、セッション中および時間経過中の両方で蓄積されたデータの総量である。単一のＴＥＭセッションは、８時間以上におよび得るうえ、１００万枚を超える画像および８００ＧＢを超えるデータを生成し得る。ユーザが単一のセッションで数千枚以上の１６ＭＰ画像を収集することは珍しくなく、これは、合計で数テラバイトのデータとなり得る。さらに、ユーザは、多くのＴＥＭにわたり、単一の試料タイプで多くのセッションを蓄積し得る。最新のカメラは、最大解像度で４０フレーム／秒を超えるフレームレートでコヒーレント画像を収集することができ、今後５年以内に一桁速くなるトレンドを伴っている。したがって、実験セッションから生成されるデータの量は大きく、分析するのに扱いづらい。そのような大量のデータの実験後分析は、面倒で、時間がかかり、大きなリソースを必要とし得る。

【0004】

ユーザがデータの最も重要なセクションを検索し、ソートし、識別することを可能にするツールはほとんど存在しない。その結果、重要な科学的発見が情報の海に埋もれてしまい、そして研究を誤った方向に導く、事実に反する結論を招くことになる。したがって、重要な画像およびシーケンスを発見し準備するために、画像の実験後分析のための新規のアプローチを提供するための機会が存在している。

【0005】

〔概要〕
この概要は、以下の詳細な説明においてさらに説明される概念を簡略化された形で導入するために提供される。この概要は、特許請求されている主題の主要な特徴または本質的な特徴を識別することを意図するものではなく、特許請求されている対象の範囲を限定するものとして解釈されるべきでない。

【0006】

本明細書に開示される透過型電子顕微鏡（ＴＥＭ）のためのメタデータ管理の方法およびシステムは、１つ以上の異なるＴＥＭから取得された現在および過去の実験セッションに由来する実験メタデータ、ＴＥＭメタデータ、およびカメラメタデータを、使用し、効率的な方法で画像スタックを分析および視覚化するための新規の方法をユーザに提供する。これは、膨大なセッションデータから重要な画像およびシーケンスを発見して用意するために使用される実験後分析を可能にする。
〔図面の簡単な説明〕

【0007】

図１は、本明細書に記載の一実施形態に係る、透過型電子顕微鏡のためのメタデータ管理システムを示す。
図２Ａ～２Ｃは、本明細書に記載の一実施形態の例に係る、メタデータ管理の方法およびシステムのデータアーキテクチャを示す。
図３は、フィルタリングされた画像のサブセットから、ユーザが画像のコレクションを作成することを可能にする、ユーザインターフェース画面を示す。
図４は、本明細書に記載の、メタデータ管理システムの概要パネルを示すユーザインターフェース画面を示す。
図５は、本明細書に記載の、メタデータ管理システムの概要パネルのタイムラインパネルを示す。
図６Ａ～６Ｃは、図５に示されたタイムラインパネルの左部分、中央部分、および右部分の詳細図を示す。
図７は、本明細書に記載の、メタデータ管理システムの概要パネルの画像パネルの詳細図を示す。
図８は、本明細書に記載の、メタデータ管理システムの概要パネルの画像パネルのライブラリパネルの詳細図を示す。
図９は、本明細書に記載の、メタデータ管理システムの概要パネルの画像メタデータパネルの詳細図を示す。
図１０は、図４に示された概要パネルのフィルタリングされた図を示す。
図１１は、図１０に示されたフィルタパネルの詳細図を示す。
図１２は、画像メタデータパネルの代わりにＦＦＴ分析パネルが有効にされた図４の概要パネルを示す。
図１３は、タイムラインパネル上のカーソルによって選択される最新の画像のためのＦＦＴ分析パネルの詳細図を示す。
図１４は、タイムラインの拡大図を示すタイムラインパネルを有する図１２の概要パネルを示す。
図１５は、メタデータ管理システムから画像データをエクスポートするためのユーザインターフェース画面を示す。

【0008】

〔詳細な説明〕
以下では、本開示の実施例による図面を参照して、本開示の実施例における技術的解決策を明確かつ包括的に示す。明らかに、本明細書に示される例は、本開示のすべての例ではなく、一部の例にすぎない。一般に、本明細書の図に示された本開示の実施例における構成要素は、異なる構成に従って配置され、設計され得る。したがって、以下の図において提供される本開示の実施例の詳細な説明は、特許請求されている本開示の権利範囲を限定することを意図するものではなく、単に本開示の選択された実施例を表すものにすぎない。本開示の実施例に基づいて、創作的な労力を要さず当業者によって取得され得る他の全ての実施例は、本開示の保護の範囲内に入る。ここで、本開示は、以下に示される図を参照して説明される。

【0009】

本明細書で説明されるＴＥＭのためのメタデータ管理のシステムおよび方法は、ＴＥＭを使用する実験セッション中に生成されるデータのための基礎的なデータ管理システムを提供する工程、およびＴＥＭを使用する実験セッション中に起きたことの対話型視覚的表現を生成する工程によって、コンピュータの機能を改善する。データ管理システムおよび生成された対話型視覚的表現は、ＴＥＭ画像データを任意の１つ以上のメタデータ値でフィルタリング可能にする工程によって、ユーザが基礎的な画像データに新規の方法でアクセスすることを可能にする。本明細書で説明するメタデータ管理のシステムおよび方法は、基礎的な画像データの効率的なデータ管理を可能にする工程によって、コンピュータの機能をさらに改善する。特に、システムおよび方法は、インデックスファイルまたはデータベースを介して、基礎的な画像データを効率的に処理する。なお、データベースは、メタデータのプライマリレコードである。画像ファイルは、画像に特有のメタデータのバックアップを含んでよいが、データベースはメタデータのプライマリレコードであり、データが不必要に複製しないことを意味する。ユーザは、メタデータを使用して、基礎的な画像データに対して実験後のフィルタリング、ソート、および検索を実行することができ、これにより、画像データの複製を伴うことなく、かつ個々の画像を手動でレビューすることなく、画像データを分析することができる。

【0010】

本明細書において使用される、「フィルタ（filters）」という語は、画像または画像のセットを識別することができる、主要な基準またはメタデータプロパティを指す。主要な基準またはメタデータプロパティは、測定値、設定値、または計算値であってよく、それらの値は、顕微鏡、検出器、カメラ、付帯器具、またはそれらの任意の組合せから得られる。

【0011】

本明細書において使用される、「セッション（session）」という語は、試料またはホルダを交換せず行われる単一の顕微鏡インスタンスの持続時間を指す。

【0012】

本明細書において使用される、「タグ（tag）」という語は、任意の数の画像に付随させることができる名前または識別子を指す。

【0013】

本明細書において使用される、「コレクション（collection）」という語は、単一のデータベース内に保持される、画像のセットおよびその関連するメタデータを指す。

【0014】

本明細書において使用される、「プロジェクト（project）」という語は、セッションのコレクションを指し、異なるＴＥＭからでさえ、その中にユーザが実験データを編成することができる。

【0015】

本明細書において使用される、「パブリッシュ（publish）」という語は、データベースからの画像またはメタデータを、例えば、ＰＮＧファイル、ＣＳＶファイル、ＭＰ４ファイルなどの工業規格フォーマットに保存することを指す。

【0016】

本明細書において使用される、「ワーキングセット（working set）」という語は、コレクションおよびフィルタなどのユーザ選択パラメータによって定義される、画像およびメタデータのアクティブセットを指す。

【0017】

本明細書において使用される、「ワークスペース（workspace）」という語は、特定のフィルタ、コレクション、および他の設定を含む構成を指す。個々のワークスペースは、個々のデータストレージ（例えば、デスクトップまたはラップトップコンピュータ）を有する個々のデスクを指す。小グループワークスペースは、共有スペース内でデータをローカルに管理する小グループまたはチームを指す。

【0018】

本明細書で説明される、メタデータ管理の方法およびシステムは、Ｐｒｏｔｏｃｈｉｐｓ ＡＸＯＮ Ｓｔｕｄｉｏにおいて具現化され、これはＰｒｏｔｏｃｈｉｐｓ ＡＸＯＮ Ｓｙｎｃｈｒｏｎｉｃｉｔｙソフトウェアパッケージを介して生成されたＴＥＭセッションをレビューするための、メタデータおよび画像管理システムである。本明細書で説明されるシステムおよび方法は、ＴＥＭに接続されるソフトウェア環境の一部として実行されてよい。ソフトウェア環境は、個々のワークスペース、小グループワークスペース、またはクラウドベースのシステムの一部として構成されたネットワーク化されたワークスペース上に実行され得る。ワークスペースは例えば、デスクトップコンピュータ、ラップトップコンピュータ、タブレットまたはスマートフォンなどのモバイルデバイス、および／またはクライアントサーバシステム内のクライアントを含む、任意のタイプのコンピューティングデバイスでよい。

【0019】

本明細書に記載のメタデータ管理システムは、とりわけ、透過型電子顕微鏡（ＴＥＭ）または走査型透過電子顕微鏡（ＳＴＥＭ）などの電子顕微鏡とインターフェースするように構成される。ＴＥＭまたはＳＴＥＭに備わる、加熱、液体セル、および／またはガスインサイチュシステムの使用は、画像のコレクションを実験メタデータに整列させられるのを可能にする。メタデータは例えば、温度、ガス、圧力、質量分析計などを含む。各画像は、画像がキャプチャされた時点での画像または実験の態様を記載したメタデータのセットをそれに関連付けられている。メタデータには、ＡＸＯＮ Ｓｔｕｄｉｏで実行された分析結果が含まれる。数学およびモデルは、既存のメタデータ値を使用して、「ワーキングセット」または「コレクション」全体に適用することができる。さらに、単一画像に適用され得る画像分析、画像フィルタ、または選択された面積画素強度統計は、「ワーキングセット」または「コレクション」全体に適用されてもよい。これらの計算されたメタデータ値は、データベースに保存され、画像と共にライブ保存されたメタデータパラメータと同様に使用され得る。それらは、フィルタリングされ、プロットされ、パブリッシュされ、画像上にオーバーレイされ、これらの導出されたメタデータ値が画像シーケンスを通して経時的にどのように変化するかを容易に見ることができる。

【0020】

図１は、本明細書に記載の透過型電子顕微鏡のためのメタデータ管理システムの一実施形態を示す。図１を参照すると、コンピューティングデバイス１００は、少なくとも１つのプロセッサ１０２と、少なくとも１つのグラフィカル処理ユニット（ＧＰＵ：graphical processing unit）１０４と、メモリ１０６と、ユーザインターフェース（ＵＩ：user interface）１０８と、ディスプレイ１１０と、ネットワークインターフェース１１２とを含んでよい。メモリ１０６は、プロセッサ１０２および／またはＧＰＵ１０４と部分的に統合されてよい。ＵＩ１０８は、キーボードおよびマウスを含むことができる。ディスプレイ１１０およびＵＩ１０８は、本開示の実施形態におけるＧＵＩ（複数でもよい）のいずれかを提供することができる。ＡＸＯＮ Ｓｔｕｄｉｏ １１４は、コンピューティングデバイス１００上で実行される。上述のように、コンピューティングデバイス１００は単一のコンピューティングデバイス（例えば、ラップトップ、デスクトップコンピュータ、またはサーバ）、複数のネットワーク化されたコンピューティングデバイス、および／またはクラウドサーバでよい。ＡＸＯＮ Ｓｔｕｄｉｏは、透過型電子顕微鏡（ＴＥＭ）１１６に通信可能に接続されてよい。コンピューティングデバイス１００は、１つ以上の実験セッション中にＴＥＭ１１６からデータを受信する。受信されたデータは、ＴＥＭ１１６からのメタデータを含む。

【0021】

図２Ａ～図２Ｃは、本明細書に記載のメタデータ管理の方法およびシステムの例示的な実施形態のデータアーキテクチャを示す。図２Ａを参照すると、データアーキテクチャは、ＵＩレイヤおよびデータベースファイルを含む。データベースファイルは、図２Ａの矢印Ａによって示されるように、１つ以上のデータアーカイブフォルダに通信可能に接続される。図２Ｂは、１つ以上のデータアーカイブフォルダの各々の例示的なデータ構造を示す。図２Ｂに示すように、各データアーカイブフォルダは、１つ以上のセッションサブディレクトリを含むことができる。データベースファイルは図２Ａの矢印Ｂによって示されるように、データベース機能を含む。図２Ｃは、データベース機能を示す。

【0022】

本明細書で説明するメタデータ管理の方法およびシステムでは、ソフトウェア環境は、画像メタデータを保存するデータベースを含むか、またはそのデータベースに通信可能に接続される。データベースはデータのプライマリレコードであり、画像メタデータはバックアップとして使用される。このように、画像メタデータは、メタデータ・データセットが画像データセットと比較して小さいので、高速リアルタイム分析を可能にする参照データとして使用される。メタデータ・データセットは、画像データにリンクまたは関連付けられる。これは、特定画像セットを制限または強調するために、データベースのクエリが迅速に達成されることを可能にする。例えば、２０００万レコードのデータセットは、従来の画像メタデータを探すために各ファイルを開いて閉じるのではなく、関連する画像メタデータをクエリ（照会）することによって、１秒未満でわずかな関連ファイルにフィルタリングされてよい。

【0023】

図２Ｂに示されるように、メタデータ管理システムはセッションデータ（例えば、セッション１サブディレクトリ、セッション２サブディレクトリ、およびセッション３サブディレクトリ）を保持する、ライブラリとも呼ばれるアーカイブ（例えば、データアーカイブフォルダ）を備える。各アーカイブはファイルパスまたはディレクトリに保存される。各アーカイブは、コンピュータ上にローカルに配置されてもよく、またはクラウドベースのアーキテクチャなどのネットワーク構成でリモートに配置されてもよい。各アーカイブ（例えば、データベースフォルダ）は、単一のデータベース（ｘｘ．ａｘｏｎｆｉｒｅ）と、１つ以上のセッションフォルダとを備える。各セッションフォルダはすべての画像タイプ（例えば、未処理の画像、ドリフト補正された画像、単一の取得画像など）のサブディレクトリ、およびセッション全体に適用されるセッションメタデータ（例えば、セッションメタデータ）を含む。画像は、各画像に固有の名前を使用してセッションフォルダに保存される。保存された画像には、バックアップとしてＰＮＧファイルに保存されたすべてのライブメタデータプロパティが含まれており、必要に応じてデータベースファイルを再作成するために使用してもよい。

【0024】

各画像は（ローカルまたはリモートのいずれかの）ディレクトリに保存され、データベースはファイルパスを使用して保存された画像を参照する。データベースは、すべてのメタデータプロパティのプライマリレコードとして使用され、ユーザにデータを表示するためにクエリされてよい。すべての画像をデータベースに保存することは可能であるが、ディレクトリ内のファイルパスに画像を保存することが好ましく、それは、本明細書に記載されるように、データベースの迅速なクエリを提供するためである。

【0025】

図２Ｃに示されるように、データベースは、画像および／またはセッションに適用され得る機能を提供する。

【0026】

本明細書で説明するメタデータ管理の方法およびシステムは、実験データを記録し、レビューし、分析するための電子ラボノートブックを作成する。本明細書で説明されるメタデータ管理の方法およびシステムの特徴および機能は、図に示される例示文脈において以下でさらに説明される。

【0027】

ＴＥＭまたはＳＴＥＭ実験が実行されるとき、画像ごとにトラックされ得る、いくつかの異なる種類のメタデータが存在する。例えば、メタデータは、セッションデータをトラックするために使用され得る。メタデータは、実験セッションの名前、時間、持続時間、日付、場所、および実験のタイプを含むことができる。メタデータは、実験セッションに使用される電子顕微鏡のタイプをさらに含むことができる。メタデータは、実験セッションに使用される環境のタイプをさらに含むことができる。環境は、インサイチュ刺激、インサイチュ環境、試料支持体、試料希釈材などを含んでもよい。メタデータは、実験セッションに使用されるカメラまたはＳＴＥＭ検出器のタイプ、ならびに画像ビニング、解像度、輝度、コントラストなどのカメラまたはＳＴＥＭ検出器の設定をさらに含むことができる。メタデータは、特定画像がキャプチャされたときに、実験セッション中の時間をさらに含むことができる。

【0028】

メタデータは、実験セッション中に取得された測定値をさらに含むことができる。測定値は、試料または試料環境で取得されてもよく、または、試料または試料環境の上流または下流のいずれかで取得されてもよい。例えば、残留ガス分析器は、反応の任意の副生成物を決定するために、試料の下流で使用されてよい。メタデータは試料の質量分析値を含むことができ、これは、試料で、または試料の上流もしくは下流のいずれかで取得することができる。

【0029】

メタデータは、試料のタイプ、ならびに試料希釈材、ＦＩＢパラメータ、ブロッティングパラメータ、試料調製戦略、血漿洗浄パラメータ、表面調製戦略などの試料調製に関する注記をさらに含むことができる。メタデータは、試料の流量、温度、ガス組成、および圧力をさらに含むことができる。メタデータは（例えば、分散を使用することによって、または勾配を使用することによって）画像の品質を示す画像ごとに計算され得る値である焦点スコアをさらに含んでよい。メタデータは、シーケンスまたはコレクション内の１つ以上の画像に追加され得る、タグ、ライブノート、および／または画像記述などの付加的情報をさらに含んでよい。メタデータ値は、シーケンスまたはコレクションにおける１つ以上の画像のための、粒径、粒度分布、および結晶化度パーセンテージをさらに含んでよい。

【0030】

以下の表１は、各画像に固有のライブメタデータの非網羅的なリストを示す。

【表1】

【0031】

ライブメタデータはさらに、液体インサイチュシステム、加熱／電気バイアスインサイチュシステム、またはガス／加熱インサイチュシステムなどの、試料環境を制御する特定のインサイチュシステムに特有のメタデータを含んでよい。使用されるインサイチュシステムに適用するライブメタデータの非網羅的リストは、例えば、HolderTemperature（ホルダ温度）、HolderPressure（ホルダ圧力）、HolderGas（ホルダガス）、HolderFlowRate（ホルダ流量）、Tank1Pressure（タンク１圧力）、Tank1Gas（タンク１ガス）、Tank2Pressure（タンク２圧力）、Tank2Gas（タンク２ガス）、VacuumTankPressure（バキュームタンク圧力）、VacuumTankGas（バキュームタンクガス）、HeatingCurrent（加熱電流）、HeatingResistance（加熱抵抗）、HeatingVoltage（加熱電圧）、HeatingPower（加熱電力）、ExperimentType（実験タイプ）、ExperimentLogFile（実験ログファイル）、ExperimentElapsedTime（実験経過時間）、ChannelATemperature（チャネルＡ温度）、ChannelACurrent（チャネルＡ電流）、ChannelAResistance（チャネルＡ抵抗）、ChannelAVoltage（チャネルＡ電圧）、ChannelAPower（チャネルＡ電力）、ChannelBCurrent（チャネルＢ電流）、ChannelBResistance（チャネルＢ抵抗）、ChannelBVoltage（チャネルＢ電圧）、および／または、ChannelBPower（チャネルＢ電力）、を含んでよい。

【0032】

上の表１に示されたライブメタデータに加えて、セッションメタデータは、特有のフレームではなくセッション全体に適用され得る。セッションに関連付けることができるメタデータのタイプおよび量は様々であり、そのため、セッションメタデータは、セッションの仕様に応じてフレキシブルなメタデータが追加され得る、動作される技法でよい。

【0033】

図３は、ユーザがフィルタリングされた画像のサブセットから画像のコレクションを作成することを可能にする、ユーザインターフェース画面を示す。画像の選択において、画像は、フィルタリングを介してユーザによって選択されてもよい。

【0034】

図４は、本明細書に記載のメタデータ管理システムの概要パネルを示すユーザインターフェース画面を示す。概要パネルは、透過型電子顕微鏡上で実行される１つ以上の実験セッションから、基礎的な画像データへ、ユーザカスタマイズ可能なアクセスを提供するインターフェースである。図２Ａおよび図２Ｂの文脈で説明したように、基礎的な画像データは１つ以上のデータアーカイブに保存され、各画像はデータアーカイブ内で画像メタデータと関連付けられる。図４は３つのパネルに分割されるように示され、図５、図７、および図９により詳細に示される。概要パネルである３つのパネルは、タイムラインパネル（図５に示す）、画像パネル（図７に示す）、および画像メタデータパネル（図９に示す）である。

【0035】

図５は、本明細書に記載のメタデータ管理システムの概要パネルのタイムラインパネルを示す。図５は３つのパネルにさらに分割されるように示され、図６Ａ～図６Ｃにおいてより詳細に示される。タイムラインパネルは、メタデータ管理システムの一部である基礎的な画像へ対話型視覚的マップを提供する。タイムラインパネルは、メタデータを使用してデータアーカイブに保存されたメタデータ管理システムの基礎的なデータにおける、画像間の相関および／または接続の革新的な対話型グラフィカルまたは視覚的表現を提供する。

【0036】

タイムラインパネルは、基礎的な画像の画像メタデータへのアクセスをユーザに提供する。次いで、画像メタデータへのアクセスは、画像データベースから画像のサブセットを選択するために、ユーザにフィルタを適用させることを可能にする。タイムラインパネルは、ユーザが経時的画像のコレクションと対話することを可能にする、対話型ビジュアルまたはグラフィカル表現をさらに提供する。例えば、ユーザは、時間軸上の任意の点の上にカーソルを置いて、実験セッションにおけるその時点の特定画像のプレビューを得ることができる。さらに、カーソルがタイムライン上に配置されているその時点の画像が、画像表示パネル（図７に示す）に表示される。タイムラインに沿ってカーソルを移動させることにより、ユーザは、実験中に経時的に実験データがどのように進展するかを見ることができる。

【0037】

開示するように、本明細書で説明されるメタデータ管理システムは、基礎的な画像データのリソース効率の良い選択および／またはフィルタリングを可能にする。タイムラインパネルは、フィルタによって除外された画像および／または画像データを強調しないことによって、選択されたまたはフィルタリングされた画像をさらに視覚的に示す。この例は、例えば図１０に示す。

【0038】

タイムラインはさらに、実験が進行するにつれて、メタデータのいずれかを経時的にプロットすることを可能にする。これは、メタデータパネル内でメタデータを選択することによって行われる。

【0039】

図６Ａ～図６Ｃは、それぞれ、図５に示されるタイムラインパネルの左部分、中央部分、および右部分の詳細図を示す。図６Ａから分かるように、タイムラインパネルは、タイムラインをフィルタリングするために使用されるメタデータを示す。

【0040】

図７は、本明細書に記載のメタデータ管理システムの概要パネルの画像パネルの詳細図を示す。図７は、ライブラリパネル（図８により詳細に示される）をさらに示すものとして示される。

【0041】

図８は、本明細書に記載されたメタデータ管理システムの概観パネルの画像パネルのライブラリパネルの詳細な図を示す。ライブラリパネルは、ユーザが画像のフィルタリングされたサブセットから画像のコレクションを作成することを可能にする、ユーザインターフェースを提供する。ライブラリパネルは、ユーザが画像データベースのデータベース管理を実行することを可能にする。各ライブラリは１つ以上のセッションを有する。これは、維持されるデータ階層の視覚的表現である。データは、コレクション内でさらに分割されてもよく、単一のセッションの一部であってもよく、または複数のセッションにまたがっていてもよい。

【0042】

図９は、本明細書に記載のメタデータ管理システムの概要パネルの画像メタデータパネルの詳細図を示す。これは、ユーザがタイムライン上のカーソルによって選択される現在の画像のメタデータを捜索するための選択肢を提供する。タイムライン上の選択された画像が変更すると、画像メタデータパネルに表示されるメタデータがリアルタイムで更新され、タイムラインパネルから識別された選択された画像のメタデータが反映される。

【0043】

図１０は、図４に示される概要パネルのフィルタリングされた図を示す。上記で説明したように、フィルタは、ユーザがデータベース内の画像から画像のサブセットをフィルタリングまたは選択することを可能にする。図１０は、フィルタパネル（図１１により詳細に示される）を示すボックスを示す。図１０に示されるように、タイムラインがフィルタパネルを使用してフィルタリングされたとき、タイムラインは、フィルタリングされたデータおよびフィルタによって除外されたデータを示す。例えば、タイムラインのセクション１００２は、メタデータを使用するフィルタによってフィルタ除去された、除外されたデータを示す。一方、セクション１００４は、フィルタリングされたデータを示し、フィルタによって選択されたデータを意味する。一実施形態において、図１０に示されるように、タイムラインのグラフィック表現は、強調されることで、フィルタリングされたデータおよびタイムラインのフィルタリングされた部分を示し（例えば、太字および／または色を使用する）、強調されないことで、タイムラインの除外された部分を示す（例えば、細線および／またはグレーアウトを使用する）。

【0044】

図１１は、図１０に示されるフィルタパネルの詳細図を示す。ひとたびコレクションまたはデータセットが概要パネル内ですでに開かれた後には、ユーザは、画像に関連付けられたキャプチャされたメタデータの任意のピースに従って画像をフィルタ除去するために、フィルタパネルを使用することができる。フィルタは、タイムラインパネルに示される選択された画像に適用される。

【0045】

図１２は、画像メタデータパネルに位置することができるＦＦＴ分析パネルを有する図４の概要パネルを示す。ＦＦＴ分析パネルは画像表示パネルと共に動作する。ＦＦＴ分析パネルは、図１２に図１３として示されている。

【0046】

図１３は、タイムラインパネル上のカーソルによって選択される現在の画像のためのＦＦＴ分析パネルの詳細図を示す。ＦＦＴ分析パネルは、画像がタイムラインパネルから識別されるときにリアルタイムで計算される、各画像の半径方向平均および空間周波数を示す。

【0047】

図１４は、タイムラインの拡大表示を示すタイムラインパネルを有する図１２の概要パネルを示す。タイムラインの拡大表示は、タイムライン上でより細かい制御が可能になる。

【0048】

図１５は、メタデータ管理システムから画像データをエクスポートするためのユーザインターフェース画面を示す。メタデータ管理システムは、画像ファイルを１つ以上の様々な業界標準フォーマットで出力し、その結果、画像データは、システムの外部に提示するか、または別の方法で使用するためにエクスポートされ得る。

【0049】

〔コンテキストにおけるフィルタリング〕
本開示の実施形態によれば、メタデータプロパティは、画像、セッション、シーケンス、および／または画像のコレクションをフィルタリングおよび／または見出すために使用されてよい。ＴＥＭセッションによって生成されるデータの多くの例において、フィルタは、コンテキストとともに適用される必要がある。測定値および／または計算のフィルタは、チャートまたはプロットに対して最も良く行われる。例えば、ＴＥＭセッションユーザは、焦点スコアあるいは時間をプロットし、特定の閾値を超える焦点スコアを有する全ての画像が良好な品質であることを迅速に決定するために画像をスクラブスルーして、イン焦点画像（焦点が合っている画像）にのみ、ワーキングセットビューにおけるフィルタを適用することができる。そのようなフィルタは例えば、焦点スコアがユーザ定義閾値を上回ることをメタデータプロパティが示す、すべての画像であってもよい。ユーザがフィルタリングされた画像からコレクションを作成するとき、例えば、除外されていない画像のみがコレクションに含まれることになる。

【0050】

本明細書に記載される画像分析メタデータは、試料が経時的にどのように変化したかを示すために画像が正規化されうるため、画像のドリフト補正されたシーケンス上でより価値があってよい。例えば、ＴＥＭセッション中に、ライブ計算は、正規化されたデータセットを生成するために、すべてのライブドリフト補正フレーム上で実行されてよい。ライブ計算は、焦点品質、一致相関、パーセント結晶化度、画像コントラストなどを含むことができる。ドリフト補正された画像はまた、その試料に対して最良の可能性を有する、または最良に記録される、正規化された焦点スコアを実現する。一致相関は、破断フレームまたは不良フレームから良好なフレームを分離するために決定することができる。一致相関はまた、試料が安定している場合であるか、あるいは、試料が反応している場合であるかの決定に有用である。

【0051】

さらに、他の画像分析計算は、定量化コントラスト、画像ピクセル分散、および画像強度を含んでよい。

【0052】

画像処理計算は、画像全体または画像のサブセットにわたって実行されてよい。画像処理計算は、画像がキャプチャされるにつれてライブで実行されてもよく、または事後に実行されてもよい。

【0053】

メタデータプロパティは例えば、ＴＥＭ、カメラ、検出器、および接続されたインサイチュまたは補助的なシステムからの測定値、状態、および計算を含んでよい。

【0054】

画像、セッション、シーケンス、および／または画像のコレクションは、インサイチュ刺激によって、または、温度または温度範囲（例えば、５００Ｃ～６００Ｃ）、ガス組成、流量、などの、上流および／または下流の測定結果によってフィルタリングされてよい。

【0055】

別の実施例として、画像、セッション、シーケンス、および／または画像のコレクションは、ＴＥＭあるいはＳＴＥＭ顕微鏡、画像解像度、倍率、加速電圧、ビーム電流などの、顕微鏡、カメラ、検出器、または実験状態によってフィルタリングされてよい。

【0056】

別の実施例として、画像、セッション、シーケンス、および／または画像のコレクションは、粒子サイズ、粒子分布、焦点品質、結晶化度パーセンテージ、組成などのような計算または特性によってフィルタリングされてよい。

【0057】

別の実施例として、画像、セッション、シーケンス、および／または画像のコレクションは、日付、実験のタイプ、試料のタイプ、オペレータなどによるセッションデータによってフィルタリングされてもよい。

【0058】

別の実施例として、画像、セッション、シーケンス、および／または画像のコレクションは、ライブノートおよび／またはタグ付き画像説明によってフィルタリングされてよい。

【0059】

〔タイムライン〕
本開示の実施形態によれば、メタデータプロパティは、実験を通して起きたことの完全な履歴のタイムラインを示す対話型グラフィカル表現を、ユーザに提供するために使用されてよい。完全な履歴は、画像表示パネルにインデックス付けされたタイムラインパネル内のタイムラインとしてユーザに提示されてよい。

【0060】

一実施形態において、タイムラインは受動的でよく、例えば状態を報告してよい。別の実施形態において、タイムラインは対話型でよく、ユーザが画像を選択するか、または、画像マーカ上をホバリングして画像のプレビューを見ること、画像マーカ上でクリックして画像ビューをシーケンス内のその画像にナビゲートすること、画像をコレクションとして保存するための画像を選択すること、画像スタックをパブリッシュするための画像を選択すること、メタデータレポートまたはビデオを提供すること、タグを適用するための画像を選択すること、タグ持続時間、テキスト、または説明を編集すること、画像を選択してビューからそれを非表示または削除すること、画像を選択してセッション、コレクション、またはアーカイブから削除すること、画像を選択して単一の高解像度画像内に集合の平均をとりタイムライン上にハイライトさせることなど、追加の機能性を提供することが可能である。本明細書で説明するメタデータ管理システムは、平均を生成するときにメタデータを考慮することによって、新規の方法で平均化を実行する。平均化は、スマート平均化アルゴリズムを使用して実行され、その結果、類似の画像のみが平均に含まれる。一例として、メタデータ管理システムは、画像メタデータに基づいて決定される、同じ倍率レベルでキャプチャされた画像のみを平均化してもよい。

【0061】

例えば、総ライブラリディスクサイズを縮小するが、キーシーケンスを説明するのに必要なコンテキストを保持するために、ユーザは、解像度を縮小し、平均をブロックし、またはキーシーケンスに届きまたは続く重要度の低いシーケンスから、ｎ番目ごとの画像を除去することが求められてもよい。タイムラインとの対話は、ユーザにシーケンスを別々に分離させ、取り扱わせることができる。

【0062】

ユーザは、ＴＥＭまたはＳＴＥＭ画像がどのように変化したかを見るために、タイムラインに対してスクラブすることができる。タイムラインがスクラブされると、ユーザはノートを参照し、メタデータ傾向を見ることができる。タイムラインは、画像のコンテキストをユーザに提供する。

【0063】

タイムラインは、ライブ測定から生成された時系列ラボのノートブックと、キャプチャされた画像にインデックス付けされたユーザ入力のノートとを提供する。

【0064】

タイムラインは、利用可能な画像タイプをユーザが容易に視覚化することを可能にするクイックビューレイヤを含むことができる。例えば、ユーザは、ドリフト補正を実行していたとき、または単一の高解像度キャプチャをキャプチャしたとき、またはそれらが高い時間分解能（例えば、より速いフレームレートデータ）を有するときを見たい場合がある。

【0065】

タイムラインは、タグ層をさらに含むことができる。フレームまたは時間シーケンスは、例えば、実験ノートまたは記録とともにタグ付けされてよい。タグは、検索可能、選択可能、および編集可能であってもよい。

【0066】

タイムラインは、メタデータプロットをさらに含むことができる。メタデータは、メタデータが経時的に視覚化され得るように、時間に対してプロットされてよい。メタデータプロットは、セッション中の重要なモーメントにナビゲートするために使用されてよい。メタデータプロットにおけるピーク、谷、および遷移は、多くの場合、関心のあるシーケンスである。ユーザは、タイムラインをダブルクリックして、その画像にジャンプすることができる。

【0067】

〔コレクション〕
本開示の実施形態によれば、メタデータプロパティは、画像のコレクションおよびそれらの関連するメタデータを生成するために使用されてよい。

【0068】

ユーザは、画像のグループおよび関連するメタデータをコレクションに編成することができる。コレクションは複数のセッション（例えば、試料挿入から、画像化セッションまたは実験の終了時に試料を除去するまで顕微鏡に費やされる時間）に及んでもよく、または単一のセッションのサブセットであってもよい。

【0069】

単一画像ファイルは、メモリ内で複製されることなく、多くの異なるコレクションに含まれてよい。１つの基礎的な画像ファイルがあるが、コレクションに含まれるものを示すメタデータタグを使用して、さまざまなコレクションに含めることができる。これにより、ハードディスク上の複数の場所で大きなファイルを複製することが回避される。本明細書で説明する実施形態において、画像の最初のセッションを画像から決定することができるが、画像は画像データを複製することなく、多くの異なるコレクションに関連付けられてよい。

【0070】

コレクションは階層的様式に（例えば、フォルダ構造として）ネストすることができるが、各画像は、それがキャプチャされた最初のセッションに戻るように参照する。コレクションは、画像シーケンスのように編成するためのバインダとして複数のセッションを含むことができる。

【0071】

図５は、画像の選択からコレクションを作成することを示すユーザインターフェース画面を示す。ユーザは、メタデータおよび／またはフィルタを使用して、セッションから複数の画像を選択することができる。

【0072】

本明細書に記載のコレクションは、データベースを使用して実行される。データベースは、画像ファイルを複製することなく、単一画像ファイルを複数のコレクションに登録するために使用される。

【0073】

コレクションはユーザが画像シーケンスをデータベースからビデオファイルなどのオープンフォーマットに「パブリッシュ」するか、または別の方法にエクスポートするときに、自動的に作成されてよい。これにより、ユーザにそれらのフレームを素早く参照させ、追加または編集させることが可能である。

【0074】

〔実施例１〕
第１の実施例では、ユーザが作成したタグを分離し、次に、原子構造の変化を明確に評価するために信号あるいはノイズ比（ＳＮＲ）を改善することで高品質ビデオをエクスポートすることによって、実験から特定のセグメントを迅速に手動で識別することを望むインサイチュユーザを考える。

【0075】

本明細書で説明するメタデータ管理の方法およびシステムを使用して、ユーザは、ユーザが使用したいセグメントを表すタグまたはシーケンスを選択してよい。次に、ユーザは、焦点があまり合っていないフレームおよび破断フレームをフィルタ除去してよい。次に、ユーザは画像の空間分解能を改善するために、画像に対して画像平均化（または画像加算）を実行してよい。これは、特徴がすでに整列されているので、ドリフト補正された画像シーケンスに特に有利となり得る。次いで、画素強度は、好ましい空間分解能を有するシーケンスを作成するために、画像シーケンス内にセットされた数のフレームにわたって平均化されてよい。一実施形態において、平均６フレームのローリングが使用されてよい。他の実施形態において、ブロックされた平均が使用されてよい。画像のコレクションがローリング平均またはブロック平均を使用して作成されるとき、同様の画像のみが、変換において使用されてよい。平均は、倍率の変更、解像度の変更、スポットサイズの変更、取得設定の変更などには及ばない。一実施形態において、本明細書で説明するメタデータ管理の方法およびシステムは、スタック全体を平均化する前に、フレームの小さなセット（例えば、約１００フレーム）をプレビューして、ユーザにスタック全体を平均化する前にセッティングをテストおよび調整させることが可能であってよい。最後に、ユーザは、選択されたセグメントのビデオシーケンスをエクスポートすることができる。

【0076】

〔実施例２〕
第２の実施例では、最後の実験の特定のセクションを迅速に手動で識別し、信号からノイズをクリーンアップした後にビデオにエクスポートすることを望むインサイチュユーザを考える。ユーザは、彼らが探しているのが実験の何のセクションか正確には知りえないが、汚染を防ぐために、良好な場所を探し、試料を温める間のセッションの最初の部分を素早く無視することができることを知っている。ユーザは、高解像度セグメントからのビデオにのみ関心があり、一度それらのセグメントが分離されると、ユーザは、ユーザが試料に起こっていることについて見たものに基づいて、開始点および停止点を手動で調整する。

【0077】

本明細書で説明するメタデータ管理の方法およびシステムを使用して、ユーザは、特定のセッションを開くことができる。次いで、ユーザは特定の温度範囲、例えば、３００℃を超えるすべての温度にフィルタリングすることができる。次いで、ユーザは高倍率画像、例えば、１ＭＸ（１００万倍の倍率）よりも大きい全ての画像のみを見るためにフィルタリングすることができる。次いで、ユーザは前のフィルタリングが実行された後に、残りの画像から時間シーケンスを選択することができる。次に、ユーザは、焦点があまり合っていないフレームおよび破断フレームをフィルタ除去することができる。次いで、ユーザは残りのフレームのコレクションを作成し、そのコレクションに名前を付けることができる。コレクションの名前を有するタグは、ユーザがコレクションを呼び出すことができるように、残りのデータセット内の各フレームに追加される。次いで、ユーザは画像の空間分解能を改善するために、画像に対して画像平均化（または画像加算）を実行することができる。一実施形態において、平均２フレームのローリングを使用することができる。ユーザは、コレクションのビデオシーケンスをエクスポートすることができる。

【0078】

〔実施例３〕
第３の実施例では、特定のＴＥＭセッションを過去１年以内から見つけたいインサイチュユーザを考える。ユーザは、酸化環境内の挙動を表すデータのセクションを見つけ、アドバイザーを示すためのビデオを作成することを望む。

【0079】

本明細書で説明するメタデータ管理の方法およびシステムを使用して、ユーザは、特定のタイプの触媒および特定の顕微鏡についてすべてのセッションを検索することができる。そこから、ユーザは、関心のある特定のセッションを選択することができる。次いで、ユーザは、（ユーザが酸化環境を探しているので）Ｏ２が存在する全てのフレームを見るためにフィルタリングすることができる。次いで、ユーザは前のフィルタリングが実行された後に、残りの画像から時間シーケンスを選択することができる。次に、ユーザは、焦点があまり合っていないフレームおよび破断フレームをフィルタ除去することができる。次いで、ユーザは、画像をビデオにエクスポートすることができる。

【0080】

〔実施例４〕
第４の実施例では、特定の触媒を使用して過去６ヶ月以内からのすべてのＴＥＭセッションを見つけるのを望むインサイチュユーザを考える。インサイチュユーザは、それらの最後の結果を質問しており、それらのデータにおける過去の一貫性を探したいからである。最後の結果では、ユーザが６００℃で試料に特定の遷移が起こったことを見たので、ユーザは、同じ環境を使用するすべての過去の実験についての、その温度範囲でのすべてのＳＴＥＭデータを見て、その遷移がすべての事例においてその温度で起こったかどうかを見るための比較を作成することを望む。

【0081】

本明細書で説明するメタデータ管理の方法およびシステムを使用して、ユーザは、関心のある特定の触媒についてすべてのセッションを検索してよい。次いで、この使用は、ＳＴＥＭ画像をフィルタリングしてよい。次いで、ユーザは、摂氏５９５℃～摂氏６０５℃の範囲の温度を有するフレームを見るためにフィルタリングしてよい。次いで、ユーザは、５００ｋ倍率でフレームを見るためにフィルタリングしてよい。次いで、ユーザは残りのすべてのフレームに温度および日付をラベル付けし、それらをコレクションとして保存することができる。

【0082】

〔実施例５〕
第５の実施例では、様々なＴＥＭからデータを定期的に取得する大規模ラボ内のインサイチュユーザを考える。ユーザは、重要なデータを見つけるために環境チップがどのＴＥＭ上で使用されたかにかかわらず、履歴セッションデータを通して検索することを望む。

【0083】

本明細書で説明するメタデータ管理の方法およびシステムを使用して、ユーザは、顕微鏡にかかわらず、特定のコアシェル粒子についてすべてのセッションを検索することができる。次いで、ユーザは、摂氏５００℃で撮影された画像にフィルタリングすることができる。次いで、ユーザは、最良の画像または摂氏５００℃で撮影された画像を有するセッションを手動で選択することができる。次に、ユーザは、摂氏４００℃から摂氏５５０℃の間で取得されたシーケンスを手動で選択することができる。次いで、ユーザは、すべての焦点外れ画像をフィルタ除去することができる。次いで、ユーザは、残りの画像をコレクションとして保存することができる。次いで、ユーザは画像の空間分解能を改善するために、画像に対して画像平均化（または画像加算）を実行することができる。一実施形態において、平均３フレームのローリングを使用することができる。次いで、ユーザは、コレクション内の画像をビデオにエクスポートすることができる。

【0084】

一実施形態において、実験セッションに由来するメタデータを使用して、透過型電子顕微鏡上の実験セッションから実験データの視覚表現を生成するためのシステムが開示される。システムは、透過型電子顕微鏡と、透過型電子顕微鏡に通信可能に接続されたコンピュータシステムとを含む。コンピュータシステムは、メモリと、データベースと、少なくとも１つのプロセッサとを含む。プロセッサは、透過型電子顕微鏡を使用して実行された実験セッション中にキャプチャされた複数の画像を含む画像データのセットを、透過型電子顕微鏡から受信するように構成される。プロセッサは、透過型電子顕微鏡から受信した画像データのセットを、メモリ内のディレクトリに保存するようにさらに構成される。プロセッサは、画像データに関連付けられたメタデータをデータベースに保存するようにさらに構成される。特定画像のためのメタデータはディレクトリ内の特定画像に対するファイルパス参照を含み、メタデータが関連画像を有するように、データベース内で特定画像と関連付けられる。プロセッサは画像データのセットから画像データのサブセットを識別するために、データベースに保存されたメタデータをフィルタリングするようにさらに構成される。プロセッサは、対話型タイムラインフォーマット内のフィルタリングされたメタデータを使用して識別された画像データのサブセットの視覚的表現を生成するようにさらに構成される。

【0085】

様々な実施形態において、プロセッサは、タイムラインフォーマット内に配列された画像データの返信されたサブセットをグラフィカルユーザインターフェース上に表示するようにさらに構成される。

【0086】

様々な実施形態において、プロセッサは、画像データの返信されたサブセットを含むコレクションを作成するようにさらに構成される。画像データは、単一画像が複数のコレクションに関連付けられ得るように、コレクションを作成するために複製されない。

【0087】

様々な実施形態において、プロセッサは、画像データの返信されたサブセットをパブリッシュするようにさらに構成される。画像データの返信されたサブセットをパブリッシュすることは、画像データの返信されたサブセットを示すビデオを生成することを含み得る。

【0088】

一実施形態において、実験後分析を実行するために実験セッションに由来するメタデータを使用するための方法が開示される。この方法は、実験セッション中にキャプチャされた複数の画像を含む画像データのセットをディレクトリに保存することを含む。一実施形態において、画像データのセットはドリフト補正された画像を含んでもよい。実験セッションは、電子顕微鏡を使用して実行される。本方法は、画像データに関連付けられたメタデータをデータベースに保存することをさらに含む。特定画像のためのメタデータはディレクトリ内の特定画像に対するファイルパス参照を含み、メタデータが関連画像を有するように、データベース内で特定画像と関連付けられる。本方法は画像データのセットから画像データのサブセットを識別するために、データベースに保存されたメタデータをフィルタリングすることをさらに含む。方法は、フィルタリングされたメタデータを使用して識別された画像データのサブセットを返信することをさらに含む。

【0089】

様々な実施形態において、本方法は、タイムラインフォーマットで配列された画像データの返信されたサブセットをグラフィカルユーザインターフェース上に表示することをさらに含む。

【0090】

様々な実施形態において、本方法が画像データの返信されたサブセットを含むコレクションを作成することをさらに含む。画像データは、コレクションを作成するために複製されないことで、単一画像が複数のコレクションに関連付けられ得る。

【0091】

様々な実施形態において、本方法は、画像データの返信されたサブセットをパブリッシュすることをさらに含む。画像データの返信されたサブセットをパブリッシュすることは、画像データの返信されたサブセットを示すビデオを生成することを含んでよい。

【0092】

別の実施形態において、実験セッションに由来するメタデータを使用して実験後分析を実行するためのコンピュータシステムが開示される。コンピュータシステムは、メモリと、データベースと、少なくとも１つのプロセッサとを含む。プロセッサは、メモリ内のディレクトリに、実験セッション中にキャプチャされた複数の画像を含む画像データのセットを保存するように構成される。実験セッションは、電子顕微鏡を使用して実施される。一実施形態において、画像データのセットはドリフト補正された画像を含む。プロセッサは、画像データに関連付けられたメタデータをデータベースに保存するようにさらに構成される。特定画像のためのメタデータは、ディレクトリ内の特定画像に対するファイルパス参照を含み、メタデータが関連画像を有するように、データベース内で特定画像と関連付けられる。プロセッサは画像データのセットから画像データのサブセットを識別するために、データベースに保存されたメタデータをフィルタリングするようにさらに構成される。プロセッサは、フィルタリングされたメタデータを使用して識別された画像データのサブセットを返信するようにさらに構成される。

【0093】

様々な実施形態において、プロセッサは、タイムラインフォーマット内に配列された画像データの、返信されたサブセットをグラフィカルユーザインターフェース上に表示するようにさらに構成される。

【0094】

様々な実施形態において、プロセッサは、画像データの返信されたサブセットを含むコレクションを作成するようにさらに構成される。コレクションを作成するために画像データを複製しないことで、単一画像が複数のコレクションに関連付けられ得る。

【0095】

様々な実施形態において、プロセッサは、画像データの返信されたサブセットをパブリッシュするようにさらに構成される。画像データの返信されたサブセットは、画像データの返信されたサブセットを示すビデオを生成することを含む。

【0096】

別の実施形態において、少なくとも１つのプロセッサを含む少なくとも１つのコンピューティングデバイス上で実行される命令を保存する非一時的コンピュータ可読記録媒体が開示される。命令が少なくとも１つのプロセッサによって実行されるとき、命令は、少なくとも１つのコンピューティングデバイスに、実験後分析を実行させるために実験セッションに由来するメタデータを使用する方法を実行させる。この方法は、ディレクトリ内に、実験セッション中にキャプチャされた複数の画像を含む画像データのセットを保存することを含む。実験セッションは、電子顕微鏡を使用して実行される。一実施形態において、画像データのセットは、ドリフト補正された画像を含む。本方法は、画像データに関連付けられたメタデータをデータベースに保存することをさらに含む。特定画像のためのメタデータは、ディレクトリ内の特定画像に対するファイルパス参照を含み、メタデータが関連画像を有するように、データベース内で特定画像と関連付けられる。本方法は画像データのセットから画像データのサブセットを識別するために、データベース内に保存されたメタデータをフィルタリングすることをさらに含む。方法は、フィルタリングされたメタデータを使用して識別された画像データのサブセットを返信することをさらに含む。

【0097】

様々な実施形態において、命令はさらに、少なくとも１つのコンピューティングデバイスに、タイムラインフォーマット内に配列された画像データの返信されたサブセットを、グラフィカルユーザインターフェース上に表示させる。

【0098】

様々な実施形態において、命令はさらに、少なくとも１つのコンピューティングデバイスに、画像データの返信されたサブセットを含むコレクションを作成させる。画像データは、コレクションを作成するために複製されないことで、単一画像が複数のコレクションに関連付けられ得る。

【0099】

様々な実施形態において、命令は、少なくとも１つのコンピューティングデバイスに、画像データの返信されたサブセットをさらにパブリッシュさせる。画像データの返信されたサブセットをパブリッシュすることは、画像データの返信されたサブセットを示すビデオを生成することを含み得る。

【0100】

上記の様々な実施形態において、メタデータは、以下：実験セッションを識別する値、実験セッションに使用される電子顕微鏡のタイプを示す値、実験セッションに使用される環境のタイプを示す値、実験セッションに使用されるカメラまたはＳＴＥＭ検出器のタイプを示す値、実験セッションに使用されるカメラまたはＳＴＥＭ検出器の設定を示す値、実験セッションに使用される試料の測定値、実験セッション中に採取される試料の測定値、実験セッション中の試料の流量、実験セッションの日付、実験セッションの実験のタイプを示す値、実験セッションの試料のタイプを示す値、実験セッションの試料の試料調製ノートを示す値、関連画像の品質を示す焦点スコア値、関連画像がキャプチャされたときの試料の温度値、関連画像がキャプチャされたときの試料中のガス組成、関連画像がキャプチャされたときの試料の圧力値、関連画像がキャプチャされたときの試料の質量分析値、実験中に関連画像がキャプチャされたときを示す時間値、関連画像のタグ、関連画像のライブノート、関連画像データの画像記述、関連画像の粒径を示す値、関連画像の粒度分布を示す値、関連画像の結晶化度パーセンテージを示す値、の任意の１つ以上を含んでよい。実験セッション中に採取される試料の測定は、上流測定または下流測定である。試料の質量分析値は、上流値または下流値である。当業者によって理解されるように、本開示の態様は、システム、方法、またはコンピュータプログラム製品として具現化され得る。したがって、本開示の態様は、もっぱらハードウェアの実施形態、およびソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）、または本明細書ですべて一般的に「回路」、「モジュール」、または「システム」と呼称され得る、ソフトウェア態様とハードウェア態様とを組み合わせた実施形態の形態をとることができる。さらに、本開示の態様は、コンピュータ可読プログラムコードを有し、具現化された１つ以上のコンピュータ可読媒体中に具現化された、コンピュータプログラム製品の形態をとることができる。

【0101】

１つ以上のコンピュータ可読媒体の任意の組合せが利用され得る。コンピュータ可読媒体はコンピュータ可読信号媒体またはコンピュータ可読記録媒体（非一時的コンピュータ可読記録媒体を含むが、これに限定されない）でよい。コンピュータ可読記録媒体は、例えば、電子、磁気、光学、電磁気、赤外線、もしくは半導体のシステム、装置、もしくはデバイス、または前述の任意の適切な組合せでよいが、これらに限定されない。コンピュータ可読記録媒体のより具体的な例（非網羅的リスト）は、以下：１つ以上のワイヤを有する電気接続、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、消去可能プログラマブル読取専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読取専用メモリ（ＣＤ－ＲＯＭ）、光保存デバイス、磁気保存デバイス、または前述の任意の適切な組合せ、を含む。本文書のコンテキストでは、コンピュータ可読記録媒体は、命令実行システム、装置、またはデバイスによって、またはそれに関連して使用するためのプログラムを含むか、または保存することができる任意の有形媒体でよい。

【0102】

コンピュータ可読信号媒体は例えば、ベースバンドにおいて、または搬送波の一部として、その中に具現化されたコンピュータ可読プログラムコードを有する伝播データ信号を含み得る。そのような伝播信号は電磁気、光学、またはそれらの任意の適切な組合せを含むが、それらに限定されない様々な形態のいずれかをとってよい。コンピュータ可読信号媒体は、コンピュータ可読記録媒体ではなく、命令実行システム、装置、またはデバイスによって、またはそれに関連して使用するためのプログラムを通信、伝播、または移送することができる任意のコンピュータ可読媒体でよい。

【0103】

コンピュータ可読媒体上に具現化されたプログラムコードは、無線、有線、光ファイバケーブル、ＲＦなど、または前述のもの任意の適切な組合せを含むが、これらに限定されない、任意の適切な媒体を使用して透過されてよい。

【0104】

本開示の態様のための動作を実行するためのコンピュータプログラムコードは、Ｊａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、およびＣなどのプログラミング言語または同様のプログラミング言語などの従来の手続き型プログラミング言語を含む、１つ以上のプログラミング言語の任意の組合せで書かれてよい。プログラムコードは、完全にユーザのコンピュータで、部分的にユーザのコンピュータで、スタンドアロンソフトウェアパッケージとして、部分的にユーザのコンピュータで、かつ部分的にリモートコンピュータで、または完全にリモートコンピュータで、もしくはサーバで、実行することができる。後者の状況シナリオでは、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介してユーザのコンピュータに接続されてもよく、または接続は外部コンピュータに（例えば、インターネットサービスプロバイダを使用してインターネットを介して）行われてもよい。

【0105】

本開示の態様は、本開示の実施形態による方法、装置（システム）、およびコンピュータプログラム製品のフローチャート図および／またはブロック図を参照して上述される。フローチャート図および／またはブロック図の各ブロック、ならびにフローチャート図および／またはブロック図のブロックの組合せは、コンピュータプログラム命令によって実行され得ることが理解されよう。これらのコンピュータプログラム命令は、汎用コンピュータ、専用コンピュータ、または他のプログラマブルデータ処理装置のプロセッサに提供されて、コンピュータまたは他のプログラマブルデータ処理装置のプロセッサを介して実行される命令が、フローチャートおよび／またはブロック図における１つまたは複数のブロック内で指定された機能／行為を実施するための手段を作成するように、マシンを生成することができる。

【0106】

これらのコンピュータプログラム命令はまた、コンピュータ、他のプログラム可能なデータ処理装置、または他のデバイスに特定の方法で機能するように指示することができるコンピュータ可読媒体に保存されてもよく、その結果、コンピュータ可読媒体に保存された命令は、フローチャートおよび／またはブロック図のブロックまたは複数のブロックにおいて指定された機能／動作を実施する命令を含む製造品を生成する。

【0107】

コンピュータプログラム命令はまた、コンピュータ、他のプログラマブルデータ処理装置、または他のデバイス上にロードされ、一連の動作ステップに、コンピュータ、他のプログラマブル装置、または他のデバイス上で実行させ、コンピュータまたは他のプログラマブル装置上で実行される命令がフローチャートおよび／またはブロック図における１つまたは複数のブロック内で指定された機能／動作を実行するためのプロセスを提供するように、コンピュータ実行プロセスを生成することができる。

【0108】

図中のフローチャートおよびブロック図は、本開示の様々な実施形態による、システム、方法、およびコンピュータプログラム製品の可能な実行形態のアーキテクチャ、機能、および動作を示す。この点に関して、フローチャートまたはブロック図中の各ブロックは、指定された論理機能を実行するための１つ以上の実行可能命令を備える、モジュール、セグメント、またはコードの一部を表し得る。また、いくつかの別の実行形態において、ブロックに示された機能が図に示された順序から外れて発生し得ることに留意されたい。例えば、連続して示される２つのブロックは、実際には、実質的に同時に実行されてもよく、またはブロックが関与する機能に応じて、逆の順序で実行されてもよい。ブロック図および／またはフローチャート図の各ブロック、ならびにブロック図および／またはフローチャート図のブロックの組合せは、指定された機能または動作を実行する専用ハードウェアベースのシステム、または専用ハードウェアとコンピュータ命令との組合せによって実行され得ることにも留意されたい。

【0109】

本明細書で使用される用語は、特定の実施形態を説明することのみを目的としており、本開示を限定することを意図するものではない。本明細書で使用される場合、単数形「ａ」、「ａｎ」および「ｔｈｅ」は、文脈が明らかに沿わないことを示さない限り、複数形も含むことが意図される。用語「備える、含む（ｃｏｍｐｒｉｓｅｓ）」および／または「備えている、含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」は、本明細書で使用される場合、述べられた特徴、整数、ステップ、動作、要素、および／または構成要素の存在を指定するが、１つ以上の他の特徴、整数、工程、動作、要素、構成要素、および／またはそれらのグループの存在または追加を排除しないことがさらに理解されよう。

【0110】

本開示の様々な実施形態の説明は、例示の目的で提示されたが、網羅的であること、または開示された実施形態に限定されることを意図するものではない。記載された実施形態の範囲および趣旨から逸脱することなく、多くの修正および変形が当業者には明らかであろう。本明細書で使用される用語は実施形態の原理、市場に見られる技術に対する実用的な適用または技術的改善を最もよく説明するために、または当業者が本明細書で開示される実施形態を理解することを可能にするために選択された。

【0111】

特許請求の範囲におけるすべてのミーンズプラスまたはステッププラスの機能要素の対応する構造、材料、作用、および均等物は、具体的に特許請求されているものとして、他の特許請求される要素と組合せて機能を実行するための任意の構造、材料、または作用を含むことが意図される。本開示の説明は、例示および説明の目的のために提示されているが、網羅的であること、または開示された形態で本開示に限定されることは意図されていない。本開示の範囲および趣旨から逸脱することなく、多くの修正および変形が当業者には明らかであろう。実施形態は本開示の原理および実用的な用途を最も良く説明し、当業者が企図される特定の使用に適した様々な修正を伴う様々な実施形態について本開示を理解することを可能にするために、選択され、説明された。

【0112】

これらおよび他の変更は、発明を実施するための形態に照らして本開示に対して行うことができる。上記の説明は、本開示の特定の実施形態を説明し、企図される最良の形態を説明するが、上記の詳細が本文中にどのように現れても、本教示は多くの方法で実施することができる。システムの詳細は、本明細書に開示される主題に包含されながら、その実施の詳細においてかなり変化し得る。上記のように、本開示の特定の特性または態様を説明するときに使用される特定の用語は、その用語が関連する本開示の任意の特定の特性、特性、または態様に限定されるように用語が本明細書で再定義されることを暗示するものと解釈されるべきではない。概して、特許請求の範囲で使用される用語は、上記の詳細な説明のセクションがそのような用語を明示的に定義しない限り、本明細書に開示される特定の実施形態に本開示を限定すると解釈されるべきではない。したがって、本開示の実際の範囲は、開示された実施形態だけでなく、特許請求の範囲で本開示を実施または実施する同等のすべての方法も包含する。

【図面の簡単な説明】

【0113】

【図1】本明細書に記載の一実施形態に係る、透過型電子顕微鏡のためのメタデータ管理システムを示す。

【図2A】本明細書に記載の一実施形態の例に係る、メタデータ管理の方法およびシステムのデータアーキテクチャを示す。

【図2B】本明細書に記載の一実施形態の例に係る、メタデータ管理の方法およびシステムのデータアーキテクチャを示す。

【図2C】本明細書に記載の一実施形態の例に係る、メタデータ管理の方法およびシステムのデータアーキテクチャを示す。

【図3】フィルタリングされた画像のサブセットから、ユーザが画像のコレクションを作成することを可能にする、ユーザインターフェース画面を示す。

【図4】本明細書に記載の、メタデータ管理システムの概要パネルを示すユーザインターフェース画面を示す。

【図5】本明細書に記載の、メタデータ管理システムの概要パネルのタイムラインパネルを示す。

【図6A】図５に示されたタイムラインパネルの左部分の詳細図を示す。

【図6B】図５に示されたタイムラインパネルの中央部分の詳細図を示す。

【図6C】図５に示されたタイムラインパネルの右部分の詳細図を示す。

【図7】本明細書に記載の、メタデータ管理システムの概要パネルの画像パネルの詳細図を示す。

【図8】本明細書に記載の、メタデータ管理システムの概要パネルの画像パネルのライブラリパネルの詳細図を示す。

【図9A】本明細書に記載の、メタデータ管理システムの概要パネルの画像メタデータパネルの詳細図を示す。

【図9B】本明細書に記載の、メタデータ管理システムの概要パネルの画像メタデータパネルの詳細図を示す。

【図10】図４に示された概要パネルのフィルタリングされた図を示す。

【図11】図１０に示されたフィルタパネルの詳細図を示す。

【図12】画像メタデータパネルの代わりにＦＦＴ分析パネルが有効にされた図４の概要パネルを示す。

【図13】タイムラインパネル上のカーソルによって選択される最新の画像のためのＦＦＴ分析パネルの詳細図を示す。

【図14】タイムラインの拡大図を示すタイムラインパネルを有する図１２の概要パネルを示す。

【図15】メタデータ管理システムから画像データをエクスポートするためのユーザインターフェース画面を示す。

【図1】

【図2A】

【図2B】

【図2C】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図6C】

【図7】

【図8】

【図9A】

【図9B】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【国際調査報告】