特開 2023-91766 画像アノテーションシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023091766

(43)【公開日】2023-06-30

(54)【発明の名称】画像アノテーションシステムおよび方法

(51)【国際特許分類】

   G02B 21/36 20060101AFI20230623BHJP

   G06F 3/04845 20220101ALI20230623BHJP

   G06F 3/04812 20220101ALI20230623BHJP

【ＦＩ】

G02B21/36

G06F3/04845

G06F3/04812

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2022201772

(22)【出願日】2022-12-19

(31)【優先権主張番号】21215993

(32)【優先日】2021-12-20

(33)【優先権主張国・地域又は機関】EP

(71)【出願人】

【識別番号】511079735

【氏名又は名称】ライカ マイクロシステムズ シーエムエス ゲゼルシャフト ミット ベシュレンクテル ハフツング

【氏名又は名称原語表記】Ｌｅｉｃａ Ｍｉｃｒｏｓｙｓｔｅｍｓ ＣＭＳ ＧｍｂＨ

【住所又は居所原語表記】Ｅｒｎｓｔ－Ｌｅｉｔｚ－Ｓｔｒａｓｓｅ １７－３７， Ｄ－３５５７８ Ｗｅｔｚｌａｒ， Ｇｅｒｍａｎｙ

(74)【代理人】

【識別番号】100114890

【弁理士】

【氏名又は名称】アインゼル・フェリックス＝ラインハルト

(74)【代理人】

【識別番号】100098501

【弁理士】

【氏名又は名称】森田 拓

(74)【代理人】

【識別番号】100116403

【弁理士】

【氏名又は名称】前川 純一

(74)【代理人】

【識別番号】100134315

【弁理士】

【氏名又は名称】永島 秀郎

(74)【代理人】

【識別番号】100162880

【弁理士】

【氏名又は名称】上島 類

(72)【発明者】

【氏名】パトリック ペルツァー

(72)【発明者】

【氏名】マルクス オット

【テーマコード（参考）】

2H052

5E555

【Ｆターム（参考）】

2H052AF14

2H052AF21

5E555AA04

5E555BA02

5E555BB02

5E555BC18

5E555CA02

5E555CA12

5E555CA18

5E555CB02

5E555CB10

5E555CB45

5E555CC05

5E555CC06

5E555DB06

5E555DB53

5E555DB56

5E555DC09

5E555DC31

5E555DC73

5E555DD06

5E555EA07

5E555EA14

5E555EA19

5E555FA00

(57)【要約】      （修正有）

【課題】迅速かつ容易に顕微鏡画像に注釈を付すことのできる、画像アノテーションシステムを提供する。
【解決手段】画像アノテーションシステム（１００）は、サンプルの画像を表示する出力ユニット（１０４）と、画像の第１の選択領域におけるカーソル（１１２）の第１の動きを含む第１のユーザ入力シーケンス、および、画像の第２の選択領域におけるカーソルの第２の動きを含む少なくとも１つの第２のユーザ入力シーケンスを捕捉する入力ユニット（１０８，１１０）と、を備える。プロセッサ（１１４）は、第１の選択領域に基づいて第１の画像領域（１２２ａ）を決定し、第２の動きが第１の選択領域内で始まる場合、第１の選択領域および第２の選択領域に基づいて第１の画像領域を再決定し、第２の動きが第１の選択領域外で始まる場合、第２の選択領域に基づいて第２の画像領域（１２２ｂ）を決定することにより、サンプルの画像の画像領域を決定する。
【選択図】図１

【特許請求の範囲】

【請求項1】

サンプル（１０２）の顕微鏡画像に注釈を付すための画像アノテーションシステム（１００）であって、前記画像アノテーションシステム（１００）は、
前記サンプル（１０２）の画像を表示するように構成された出力ユニット（１０４）と、
表示された前記画像の第１の選択領域におけるカーソル（１１２）の第１の動きを含む第１のユーザ入力シーケンス、および、表示された前記画像の第２の選択領域における前記カーソル（１１２）の第２の動きを含む少なくとも１つの第２のユーザ入力シーケンスを捕捉するように構成された入力ユニット（１０８，１１０）と、
プロセッサ（１１４）と、
を備え、
前記プロセッサ（１１４）は、
前記第１の選択領域に基づいて第１の画像領域（１２２ａ）を決定し、
前記第２の動きが前記第１の選択領域内で始まる場合、前記第１の選択領域および前記第２の選択領域に基づいて前記第１の画像領域（１２２ａ）を再決定し、
前記第２の動きが前記第１の選択領域外で始まる場合、前記第２の選択領域に基づいて第２の画像領域（１２２ｂ）を決定する
ことにより、前記サンプル（１０２）の前記画像の少なくとも１つの画像領域（１２２ａ，１２２ｂ）を決定するように構成されている、
画像アノテーションシステム（１００）。

【請求項2】

前記カーソル（１１２）は、カーソル形状を有し、
前記第１の選択領域は、表示された前記画像のうち前記第１の動きに際して前記カーソル形状が通過する領域であり、
前記第２の選択領域は、表示された前記画像のうち前記第２の動きに際して前記カーソル形状が通過する領域である、
請求項１記載の画像アノテーションシステム（１００）。

【請求項3】

前記プロセッサ（１１４）は、前記第２の動きが始まるときに前記カーソル形状の重心が前記第１の選択領域内にあるか否かを判定することにより、前記第２の動きが前記第１の選択領域内で始まるか否かを判定するように構成されている、
請求項２記載の画像アノテーションシステム（１００）。

【請求項4】

前記カーソル形状は、楕円、円、長方形または正方形である、
請求項２または３記載の画像アノテーションシステム（１００）。

【請求項5】

前記第２の動きが前記第１の選択領域外で始まる場合、前記第１の画像領域（１２２ａ）は、前記第１の選択領域に対応し、前記第２の画像領域（１２２ｂ）は、前記第２の選択領域に対応し、
前記第２の動きが前記第１の選択領域内で始まる場合、前記第１の画像領域（１２２ａ）は、前記第１の選択領域および前記第２の選択領域の集合に対応する、
請求項１から４までのいずれか１項記載の画像アノテーションシステム（１００）。

【請求項6】

前記プロセッサ（１１４）は、画像点からなるオブジェクトマップを生成するように構成されており、各画像点は、前記サンプル（１０２）の前記画像の画像点に対応し、前記オブジェクトマップの各画像点は、前記サンプル（１０２）の前記画像の対応する画像点がどの画像領域（１２２ａ，１２２ｂ）に属するかという情報を符号化している、
請求項１から５までのいずれか１項記載の画像アノテーションシステム（１００）。

【請求項7】

前記プロセッサ（１１４）は、ボタンの押下に基づいて前記第１の動きおよび前記第２の動きの始まりを決定し、ボタンの解放に基づいて前記第１の動きおよび前記第２の動きの終わりを決定するように構成されている、
請求項１から６までのいずれか１項記載の画像アノテーションシステム（１００）。

【請求項8】

前記入力ユニット（１０８，１１０）は、コンピュータマウス（１０８）であり、
前記プロセッサ（１１４）は、前記コンピュータマウス（１０８）の動きに基づいて前記カーソル（１１２）の前記第１の動きおよび前記第２の動きを決定するように構成されている、
請求項１から７までのいずれか１項記載の画像アノテーションシステム（１００）。

【請求項9】

前記画像アノテーションシステム（１００）は、前記出力ユニット（１０４）および／または前記入力ユニット（１０８，１１０）を形成するタッチスクリーンを備える、
請求項１から８までのいずれか１項記載の画像アノテーションシステム（１００）。

【請求項10】

前記プロセッサ（１１４）は、対象物が前記タッチスクリーンに触れているとの判定により、前記第１の動きおよび前記第２の動きの始まりを決定し、前記対象物がもはや前記タッチスクリーンに触れていないとの判定により、前記第１の動きおよび前記第２の動きの終わりを決定するように構成されており、
前記プロセッサ（１１４）は、前記タッチスクリーン上の前記対象物の動きに基づいて前記カーソル（１１２）の前記第１の動きおよび前記第２の動きを決定するように構成されている、
請求項９記載の画像アノテーションシステム（１００）。

【請求項11】

前記出力ユニット（１０４）は、前記第１の画像領域および前記第２の画像領域（１２２ａ，１２２ｂ）を表示するように構成されている、
請求項１から１０までのいずれか１項記載の画像アノテーションシステム（１００）。

【請求項12】

顕微鏡システム（１２０）であって、前記顕微鏡システム（１２０）は、
サンプル（１０２）の画像を捕捉するように構成された光学検出系（１１８）と、
請求項１から１１までのいずれか１項記載の画像アノテーションシステム（１００）と、
を備える顕微鏡システム（１２０）。

【請求項13】

ユーザ入力に基づいてサンプル（１０２）の顕微鏡画像中の少なくとも１つの画像領域（１２２ａ，１２２ｂ）を決定するための方法であって、前記方法は、
前記サンプル（１０２）の画像を表示するステップと、
前記サンプル（１０２）の表示された前記画像の第１の選択領域におけるカーソル（１１２）の第１の動きを含む第１のユーザ入力シーケンスを捕捉するステップと、
前記第１のユーザ入力シーケンスに基づいて第１の画像領域（１２２ａ）を決定するステップと、
前記サンプル（１０２）の表示された前記画像の第２の選択領域における前記カーソル（１１２）の第２の動きを含む第２のユーザ入力シーケンスを捕捉するステップと、
前記第２の動きが前記第１の選択領域内で始まる場合、前記第１のユーザ入力シーケンスおよび前記第２のユーザ入力シーケンスに基づいて前記第１の画像領域（１２２ａ）を再決定するステップと、
前記第２の動きが前記第１の選択領域外で始まる場合、前記第２のユーザ入力シーケンスに基づいて第２の画像領域（１２２ｂ）を決定するステップと、
を含む方法。

【請求項14】

プロセッサ（１１４）上で実行される際に請求項１３記載の方法を実行するためのプログラムコードを含む、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、サンプルの顕微鏡画像に注釈を付すための画像アノテーションシステムに関する。さらに、本発明は、ユーザ入力に基づいてサンプルの顕微鏡画像中の少なくとも１つの画像領域を決定するための方法に関する。

【背景技術】

【0002】

顕微鏡によって収集された大量の画像を処理するために、機械学習アルゴリズムが使用される。これらの機械学習アルゴリズムは、適切にトレーニングされると、顕微鏡画像中の対象物を自律的に分類する、すなわち識別してラベル付けすることができる。トレーニングには、トレーニング用データセットと呼ばれる注釈付き画像のセットを使用する。このトレーニング用データセットは、機械学習アルゴリズムが再現すべきものの例を提供する。タスクに応じて、例は、単一ピクセル、および／または、機械学習アルゴリズムによって分類する必要がある対象物全体の輪郭から構成される。対象物全体の輪郭により、機械学習アルゴリズムはより大きな文脈を理解することができる。例えば、分類すべき対象物が明るいエッジのみを有する円形の対象物であれば、対象物の中央における暗い信号を正しく識別することが困難になる。さらに、対象物全体の輪郭を描くことにより、機械学習アルゴリズムが円および内／外といった概念を理解できるようになり、これにより、対象物全体を適正に分類する機会が得られる。

【0003】

トレーニング用データセットの例は、ユーザによって提供される必要がある。トレーニング用データセットを効率的に生成するために、ユーザは、画像アノテーションシステムを必要とする。例えば、画像処理ツールを用いて顕微鏡画像中の個々のピクセルにユーザがラベル付けできるビジュアルインタフェースを使用することができる。特に、顕微鏡画像上にユーザがラベルを描くことの可能なビジュアルインタフェース。

【発明の概要】

【発明が解決しようとする課題】

【0004】

したがって、ユーザが迅速かつ容易に顕微鏡画像に注釈を付すことのできる、画像アノテーションシステムおよび方法を提供することが目的である。

【課題を解決するための手段】

【0005】

サンプルの顕微鏡画像に注釈を付すための提案された画像アノテーションシステムは、サンプルの画像を表示するように構成された出力ユニットと、表示された画像の第１の選択領域におけるカーソルの第１の動きを含む第１のユーザ入力シーケンス、および表示された画像の第２の選択領域におけるカーソルの第２の動きを含む少なくとも１つの第２のユーザ入力シーケンスを捕捉するように構成された入力ユニットと、を備える。画像アノテーションシステムは、プロセッサをさらに備える。プロセッサは、第１の選択領域に基づいて第１の画像領域を決定し、第２の動きが第１の選択領域内で始まる場合、第１の選択領域および第２の選択領域に基づいて第１の画像領域を再決定し、第２の動きが第１の選択領域外で始まる場合、第２の選択領域に基づいて第２の画像領域を決定することにより、サンプルの画像の少なくとも１つの画像領域を決定するように構成されている。

【0006】

顕微鏡画像は、顕微鏡画像の異なる領域に第１の画像領域と第２の画像領域とを割り当てることによって注釈が付される。画像領域はそれぞれ、サンプルの異なる対象物または領域に対応しうる。異なる画像領域は、注釈が付される顕微鏡画像におけるカーソルの動きによって生成される。こうしたジェスチャは、顕微鏡画像上に筆で絵を描く動きに類似しており、顕微鏡画像に注釈を付す直感的な方法を提供する。また、既に定義された画像領域内でカーソルの動きが開始される場合、画像領域が拡張される。これにより、既に生成された画像領域を迅速に修正することができる。ゆえに、画像アノテーションシステムは、例えば機械学習アルゴリズムのトレーニング用データセットを生成するために、顕微鏡画像に注釈を付すことをサポートする迅速かつ使いやすいスマートツールをユーザに提供する。

【0007】

好ましい実施形態において、カーソルはカーソル形状を有し、第１の選択領域は、表示された画像のうち第１の動きに際してカーソル形状が通過する領域であり、第２の選択領域は、表示された画像のうち第２の動きに際してカーソル形状が通過する領域である。特に、カーソル形状は、楕円、円、長方形または正方形である。好ましくは、カーソル形状は、顕微鏡画像の複数のピクセルを含む寸法である。これにより、ユーザは、複数のピクセルを一度に選択することができ、処理の高速化を図ることができる。好ましくは、カーソルの形状および／または大きさは、ユーザによって選択することができる。１つ以上のカーソル形状を提供することにより、ユーザは、選択する必要がある顕微鏡画像の領域の詳細に応じて、適切なツールを選択することができる。これにより、画像アノテーションシステムの汎用性がさらに高まる。

【0008】

別の好ましい実施形態において、プロセッサは、第２の動きが始まるときにカーソル形状の重心が第１の選択領域内にあるか否かを判定することにより、第２の動きが第１の選択領域内で始まるか否かを判定するように構成されている。これにより、カーソル形状の大部分が第１の選択領域内にあるか否かの直感的な尺度が提供される。これにより、ユーザは、第１の選択領域を容易に拡大することができ、これにより、間違いを素早く修正したり、第１の選択領域の形状をさらに改良したりすることができる。

【0009】

別の好ましい実施形態において、第２の動きが第１の選択領域外で始まる場合、第１の画像領域は第１の選択領域に対応し、第２の画像領域は第２の選択領域に対応する。第２の動きが第１の選択領域内で始まる場合、第１の画像領域は第１の選択領域および第２の選択領域の集合に対応する。本実施形態において、画像領域は選択領域と同一である。これにより、ユーザは、非常に正確に画像領域を選択することができる。代替的にまたは付加的に、プロセッサは、例えば、顕微鏡画像の画像内容に基づいて、それぞれの選択領域に対して画像領域を拡大するかつ／または縮小するように構成されうる。

【0010】

別の好ましい実施形態において、プロセッサは、画像点からなるオブジェクトマップを生成するように構成されており、各画像点は、サンプルの画像の画像点に対応する。オブジェクトマップの各画像点は、サンプルの画像の対応する画像点がどの画像領域に属するかという情報を符号化している。オブジェクトマップは、顕微鏡画像とは別個のものであり、機械学習アルゴリズムのトレーニング用データセットを生成するために使用することができる。

【0011】

別の好ましい実施形態において、プロセッサは、ボタンの押下に基づいて第１の動きおよび第２の動きの始まりを決定し、ボタンの解放に基づいて第１の動きおよび第２の動きの終わりを決定するように構成されている。第１の動きおよび第２の動きの始まりおよび終わりを決定する手法としてボタンの押下／解放を使用することは非常に直感的である。これにより、ユーザは、第１の画像領域および第２の画像領域を非常に迅速に選択することができ、高いスループットを実現することができる。

【0012】

別の好ましい実施形態において、入力ユニットはコンピュータマウスである。この実施形態において、プロセッサは、コンピュータマウスの動きに基づいてカーソルの第１の動きおよび第２の動きを決定するように構成されている。代替的に、ジョイスティックやトラックボールなどの他の入力ユニットを使用してもよい。特に、画像アノテーションシステムは、多くの異なる入力装置を使用できるようにセットアップされる。これにより、ユーザは、画像アノテーションシステムを直感的かつ迅速に使用することが保証される最も快適な入力装置を選択することができる。

【0013】

別の好ましい実施形態において、画像アノテーションシステムは、出力ユニットおよび／または入力ユニットを形成するタッチスクリーンを備える。好ましくは、プロセッサは、対象物がタッチスクリーンに触れているとの判定により、第１の動きおよび第２の動きの始まりを決定し、対象物がもはやタッチスクリーンに触れていないとの判定により、第１の動きおよび第２の動きの終わりを決定するように構成されている。プロセッサは、タッチスクリーン上の対象物の動きに基づいてカーソルの第１の動きおよび第２の動きを決定するように構成されている。対象物は、ユーザの指、ペンまたはスタイラスであってよい。特にペンまたはスタイラスと組み合わせたタッチスクリーンの使用は、ペンと紙の使用によく似ているので、非常に直感的である。これにより、ユーザは、顕微鏡画像に素早く注釈を付すことができる。

【0014】

別の好ましい実施形態において、画像アノテーションシステムは、入力ユニットおよび／または出力ユニットを提供するように構成された仮想現実および／または拡張現実インタフェースを備える。仮想現実および拡張現実は、画像アノテーションシステムと対話する直感的な方法を提供する。

【0015】

別の好ましい実施形態において、出力ユニットは、第１の画像領域および第２の画像領域を表示するように構成されている。これにより、画像アノテーションシステムは、第１の画像領域および第２の画像領域をそれぞれ定義する第１のユーザ入力シーケンスおよび第２のユーザ入力シーケンスに関するフィードバックをユーザに提供する。これにより、使い勝手がさらに高まる。

【0016】

本発明は、顕微鏡システムであって、サンプルの画像を捕捉するように構成された光学検出系と、上述した画像アノテーションシステムと、を備える顕微鏡システムにも関する。

【0017】

本発明は、ユーザ入力に基づいてサンプルの顕微鏡画像中の少なくとも１つの画像領域を決定するための方法であって、サンプルの画像を表示するステップと、サンプルの表示された画像の第１の選択領域におけるカーソルの第１の動きを含む第１のユーザ入力シーケンスを捕捉するステップと、第１のユーザ入力シーケンスに基づいて第１の画像領域を決定するステップと、サンプルの表示された画像の第２の選択領域におけるカーソルの第２の動きを含む第２のユーザ入力シーケンスを捕捉するステップと、第２の動きが第１の選択領域内で始まる場合、第１のユーザ入力シーケンスおよび第２のユーザ入力シーケンスに基づいて第１の画像領域を再決定するステップと、第２の動きが第１の選択領域外で始まる場合、第２のユーザ入力シーケンスに基づいて第２の画像領域を決定するステップと、を含む方法にも関する。

【0018】

方法は、上述した画像アノテーションシステムと同じ利点を有する。特に、方法は、画像アノテーションシステムに向けられた各従属請求項の特徴を使用して補足することができる。

【0019】

本発明はさらに、プロセッサ上で実行される際に上述した方法を実行するためのプログラムコードを含む、コンピュータプログラムに関する。プロセッサは、ＣＰＵ（中央処理装置）、ＧＰＵ（グラフィック処理装置）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、ＡＳＩＣ（特定用途向け集積回路）およびＤＳＰ（デジタルシグナルプロセッサ）のうちの少なくとも１つを備えていてよい。

【0020】

以上、画像アノテーションシステムを主に機械学習との関連において説明した。しかし、画像アノテーションシステムの用途は、機械学習アルゴリズムで使用するためのトレーニング用画像データとして使用できる画像データの生成に限定されるものではない。例えば、画像アノテーションシステムは、観察者のために顕微鏡画像の特定の特徴に対してコメントまたは強調を付すために使用することができる。

【0021】

以下では、図面を参照して具体的な実施形態を説明する。

【図面の簡単な説明】

【0022】

【図1】サンプルの顕微鏡画像に注釈を付すための画像アノテーションシステムの概略図である。

【図2】ユーザ入力に基づいてサンプルの顕微鏡画像中の少なくとも１つの画像領域を決定するための方法のフローチャートである。

【図3】第１の画像領域および第２の画像領域の概略図である。

【図4】第１の領域の概略図である。

【発明を実施するための形態】

【0023】

図１は、サンプル１０２の顕微鏡画像に注釈を付すための画像アノテーションシステム１００の概略図である。

【0024】

本実施形態において、画像アノテーションシステム１００は、表示領域１０６を有するコンピュータモニタとして例示的に形成される出力ユニット１０４と、コンピュータマウス１０８およびキーボード１１０としてそれぞれ例示的に形成される２つの入力ユニットと、を備える。コンピュータマウス１０８は、ユーザ入力を受け、出力ユニット１０４の表示領域１０６においてカーソル１１２を移動させるように構成されている。キーボード１１０も、特にボタンの押下／解放の形態のユーザ入力を受けるように構成されている。画像アノテーションシステム１００は、出力ユニット１０４および入力ユニット１０８，１１０に接続されたプロセッサ１１４をさらに備える。プロセッサ１１４は、サンプル１０２の顕微鏡画像を捕捉するように構成された光学検出系１１８を有する顕微鏡１１６にさらに接続される。画像アノテーションシステム１００および顕微鏡１１６は、顕微鏡システム１２０を形成してもよい。

【0025】

プロセッサ１１４は、サンプル１０２の顕微鏡画像に対応する画像データを顕微鏡１１６から受信するように構成されている。プロセッサ１１４は、例えば、直接接続、ネットワーク接続またはデータ媒体を介して画像データを受信してもよい。プロセッサ１１４は、出力ユニット１０４を制御して、サンプル１０２の顕微鏡画像を表示領域１０６に表示させるように構成されている。プロセッサ１１４は、２つの入力ユニット１０８，１１０に対するユーザ入力に対応する制御データを受信するようにも構成されている。さらに、プロセッサ１１４は、ユーザによる入力に基づいてサンプル１０２の顕微鏡画像中の少なくとも１つの画像領域１２２ａ，１２２ｂを決定するための方法を行うように構成されている。方法につき、図２～図４を参照して以下に説明する。

【0026】

図２は、ユーザ入力に基づいてサンプル１０２の顕微鏡画像中の少なくとも１つの画像領域１２２ａ，１２２ｂを決定するための方法のフローチャートである。

【0027】

ステップＳ２００において、処理は開始する。オプションのステップＳ２０２で、ユーザは、視認できる詳細レベルを決定するために、出力ユニット１０４の表示領域１０６に表示される顕微鏡画像のズームレベルを決定する。ステップＳ２０２で、ユーザは、ポインタ、円または他の任意の適切な形状などのカーソル形状を選択しうる。ステップＳ２０４において、ボタンが押下される。これは、コンピュータマウス１０８またはキーボード１１０のボタンであってよい。他の実施形態において、ボタンの押下は、タッチスクリーンの表面に触れるスタイラスなどの対象物に対応するものであってもよい。ボタンの押下により、第１の動きの始まりが決定される。ステップＳ２０６で、カーソル１１２が、第１の動きにおいて、出力ユニット１０４の表示領域１０６に表示された顕微鏡画像の第１の選択領域において移動される。第１の動きは、例えばコンピュータマウス１０８の動きまたはタッチスクリーン上のスタイラスの動きによって促されうる。ステップＳ２０８で、ボタンが解放され、第１の動きの終わりが決定される。ボタンの押下、カーソル１１２の第１の動きおよびボタンの解放が、第１の入力シーケンスである。次に、プロセッサ１１４は、ステップＳ２１０において、第１の選択領域に基づいて第１の画像領域１２２ａを決定する。好ましくは、第１の画像領域１２２ａは第１の選択領域と同一である。代替的に、プロセッサ１１４が顕微鏡画像の画像内容に基づいて第１の画像領域１２２ａを決定してもよい。例えば、プロセッサ１１４は、ある閾値未満の輝度値を有する顕微鏡画像のピクセルを無視してもよい。

【0028】

ステップＳ２１４で、ボタンが再び押下される。このとき、ボタンの押下により、第２の動きの始まりが決定される。ステップＳ２１６で、プロセッサ１１４は、第２の動きが始まるときにカーソル１１２が第１の画像領域１２２ａ内にあるか否かを判定する。例えば、カーソル形状がポインタである場合、プロセッサ１１４は、第２の動きが始まるときに、ポインタの先端が第１の画像領域１２２ａ内にあるか否かを判定する。カーソル形状が拡張形状、例えば円である場合、プロセッサ１１４は、第２の動きが始まるときに、カーソル形状の重心が第１の画像領域１２２ａ内にあるか否かを判定してもよい。ステップＳ２１８で、カーソル１１２は、第２の動きにおいて、出力ユニット１０４の表示領域１０６に表示された顕微鏡画像の第２の選択領域において移動される。ステップＳ２２０において、ボタンが解放され、第２の動きの終わりが決定される。ボタンの押下、カーソル１１２の第２の動きおよびボタンの解放は、第２の入力シーケンスである。画像選択領域１２２ａ内で第２の動きが開始された場合、プロセッサ１１４は、ステップＳ２２２において、第１の選択領域および第２の選択領域に基づいて第１の画像領域１２２ａを再決定する。好ましくは、再決定された第１の画像領域１２２ａは、第１の選択領域と第２の選択領域の集合と同一である。第１の選択領域外で第２の動きが開始された場合、プロセッサ１１４は、ステップＳ２２４において、第２の選択領域に基づいて第２の画像領域１２２ｂを決定する。好ましくは、第２の画像領域１２２ｂは第２の選択領域と同一である。以下では、図３および図４を参照して、ステップＳ２１４～Ｓ２２４をより詳細に説明する。

【0029】

追加の画像領域１２２ａ，１２２ｂを決定するために、ステップＳ２１２～Ｓ２２４を繰り返すことができる。ステップＳ２１２～Ｓ２２４が繰り返される場合、ステップＳ２１６で、プロセッサ１１４は、第２の動きが始まるときに、カーソル１１２が既に決定された画像領域１２２ａ，１２２ｂのいずれかの内部にあるか否かを判定する。次に、ステップＳ２２２で、プロセッサ１１４は、第２の動きが開始された画像領域１２２ａ，１２２ｂを再決定する。オプションとして、ステップ２１４において、別のボタンが押下されたり、さらに別のボタンが押下されたりした場合に、ボタンが解放されて第２の動きが終わるまで、消しゴムモードが作動される。消しゴムモードにおいて、プロセッサ１１４は、ボタンが解放された後、従前に定義されたすべての画像領域１２２ａ，１２２ｂから第２の選択領域を取り去る。これにより、間違いを素早く修正することができる。

【0030】

オプションのステップＳ２２６で、プロセッサ１１４は、オブジェクトマップを生成する。オブジェクトマップは、画像点からなり、各画像点は、サンプル１０２の画像の画像点に対応する。オブジェクトマップの各画像点は、サンプル１０２の画像の対応する画像点がどの画像領域１２２ａ，１２２ｂに属するかという情報を符号化している。オブジェクトマップは、機械学習アルゴリズムのトレーニング用データセットを生成するために使用されうる。その後、処理は、ステップＳ２２８で終了する。

【0031】

図３は、第１の画像領域および第２の画像領域１２２ａ，１２２ｂの概略図である。

【0032】

図３には、カーソル１１２の第２の動きが破線３００で示されている。図３には、第２の動きの開始点を矢印Ｐ１で示している。図３に見られるように、第２の動きは第１の画像領域１２２ａ外で開始されている。したがって、プロセッサ１１４は、第２の画像領域１２２ｂを、第２の動きに際してカーソル形状が移動された領域、すなわち第２の選択領域となるように決定する。

【0033】

図４は、第１の画像領域１２２ａの概略図である。

【0034】

図４には、カーソル１１２の第２の動きが破線４００で示されている。図４には、第２の動きの開始点が矢印Ｐ２で示されている。図４に見られるように、第２の動きは第１の画像領域１２２ａ内で開始されている。したがって、プロセッサ１１４は、第１の画像領域１２２ａを、第２の動きに際してカーソル形状が移動された領域４０２、すなわち第２の選択領域も含むように再決定する。

【0035】

同一または同様に作用する要素を、すべての図において同じ参照符号で指定している。本明細書で使用されるように、用語「および／または（かつ／または）」は、関連する記載項目のうちの１つまたは複数の項目のあらゆるすべての組み合わせを含んでおり、「／」として略記されることがある。

【0036】

実施形態の個々の特徴と特徴相互間のすべての組み合わせとの両方が開示されているとみなされる。さらに、実施形態の個々の特徴は、先の説明の個々の特徴または特徴群との組み合わせにおいて、かつ／または特許請求の範囲の個々の特徴または特徴群との組み合わせにおいて開示されているとみなされる。

【0037】

いくつかの態様を装置の文脈において説明してきたが、これらの態様が、対応する方法の説明も表していることが明らかであり、ここではブロックまたは装置がステップまたはステップの特徴に対応している。同様に、ステップの文脈において説明された態様は、対応する装置の対応するブロックまたは項目または特徴の説明も表している。

【符号の説明】

【0038】

１００ 画像アノテーションシステム
１０２ サンプル
１０４ 出力ユニット
１０６ 表示領域
１０８，１１０ 入力ユニット
１１２ カーソル
１１４ プロセッサ
１１６ 顕微鏡
１１８ 光学検出系
１２０ 顕微鏡システム
１２２ａ，１２２ｂ 画像領域
３００，４００ 線
４０２ 領域
Ｐ１，Ｐ２ 矢印

【図1】

【図2】

【図3】

【図4】

【外国語明細書】