特許 6742863 顕微鏡画像処理装置、方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6742863

(24)【登録日】2020年7月31日

(45)【発行日】2020年8月19日

(54)【発明の名称】顕微鏡画像処理装置、方法およびプログラム

(51)【国際特許分類】

   G02B 21/00 20060101AFI20200806BHJP

   G06T 3/00 20060101ALI20200806BHJP

【ＦＩ】

   G02B21/00

   G06T3/00 745

【請求項の数】8

【全頁数】11

(21)【出願番号】特願2016-171455(P2016-171455)

(22)【出願日】2016年9月2日

(65)【公開番号】特開2018-36579(P2018-36579A)

(43)【公開日】2018年3月8日

【審査請求日】2019年8月29日

(73)【特許権者】

【識別番号】000000376

【氏名又は名称】オリンパス株式会社

(74)【代理人】

【識別番号】100118913

【弁理士】

【氏名又は名称】上田 邦生

(74)【代理人】

【識別番号】100142789

【弁理士】

【氏名又は名称】柳 順一郎

(74)【代理人】

【識別番号】100163050

【弁理士】

【氏名又は名称】小栗 眞由美

(74)【代理人】

【識別番号】100201466

【弁理士】

【氏名又は名称】竹内 邦彦

(72)【発明者】

【氏名】岡部 将志

(72)【発明者】

【氏名】今村 尚平

【審査官】 岡田 弘

(56)【参考文献】

【文献】 特開２００４−１０１８７１（ＪＰ，Ａ）

【文献】 特開２０１３−２０４７５（ＪＰ，Ａ）

【文献】 特開２０１５−１４１６３３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０２Ｂ １９／００−２１／００

Ｇ０２Ｂ ２１／０６−２１／３６

Ｇ０６Ｔ ３／００

Ｇ０６Ｔ １／００

Ｇ０６Ｔ １１／６０−１１／８０

Ｇ０６Ｔ １７／０５

Ｇ０６Ｔ １９／００−１９／２０

(57)【特許請求の範囲】

【請求項1】

試料に対して視野を変更しながら顕微鏡により取得された複数枚の部分画像を貼り合わせて撮影済領域画像を生成する撮影済領域画像生成部と、
該撮影済領域画像生成部により生成される前記撮影済領域画像の縁部に位置する前記部分画像の少なくとも１辺の画素列の画素値に基づいて、未撮影領域の画素値を設定する未撮影領域色設定部と、
前記撮影済領域画像生成部により生成された前記撮影済領域画像と、前記未撮影領域色設定部により設定された画素値を有する未撮影領域画像とを合成して合成画像を生成する画像合成部とを備える顕微鏡画像処理装置。

【請求項2】

前記未撮影領域色設定部が、前記合成画像の４辺に位置する前記画素列の画素値に基づいて、前記未撮影領域の画素値を設定する請求項１に記載の顕微鏡画像処理装置。

【請求項3】

前記未撮影領域色設定部が、前記撮影済領域画像の全周に位置する前記画素列の画素値に基づいて、前記未撮影領域の画素値を設定する請求項１に記載の顕微鏡画像処理装置。

【請求項4】

前記未撮影領域色設定部が、前記合成画像の４隅に位置する前記部分画像の周縁に位置する前記画素列の画素値に基づいて、前記未撮影領域の画素値を設定する請求項１または請求項２に記載の顕微鏡画像処理装置。

【請求項5】

前記未撮影領域色設定部が、前記画素列の画素値の平均値または最頻値に、前記未撮影領域の画素値を設定する請求項１から請求項４のいずれかに記載の顕微鏡画像処理装置。

【請求項6】

前記未撮影領域色設定部が、前記合成画像の４辺に位置する前記画素列、前記撮影済領域画像の全周に位置する前記画素列、または、前記合成画像の４隅に位置する前記部分画像の周縁に位置する前記画素列の画素値の最小値と最大値との差分が最も小さい前記画素列の画素値の平均値または最頻値に、前記未撮影領域の画素値を設定する請求項１に記載の顕微鏡画像処理装置。

【請求項7】

試料に対して視野を変更しながら顕微鏡により取得された複数枚の部分画像を貼り合わせて撮影済領域画像を生成する撮影済領域画像生成ステップと、
該撮影済領域画像生成ステップにより生成される前記撮影済領域画像の縁部に位置する前記部分画像の少なくとも１辺の画素列の画素値に基づいて、未撮影領域の画素値を設定する未撮影領域色設定ステップと、
前記撮影済領域画像生成ステップにより生成された前記撮影済領域画像と、前記未撮影領域色設定ステップにより設定された画素値を有する未撮影領域画像とを合成して合成画像を生成する画像合成ステップとを含む顕微鏡画像処理方法。

【請求項8】

試料に対して視野を変更しながら顕微鏡により取得された複数枚の部分画像を貼り合わせて撮影済領域画像を生成する撮影済領域画像生成ステップと、
該撮影済領域画像生成ステップにより生成される前記撮影済領域画像の縁部に位置する前記部分画像の少なくとも１辺の画素列の画素値に基づいて、未撮影領域の画素値を設定する未撮影領域色設定ステップと、
前記撮影済領域画像生成ステップにより生成された前記撮影済領域画像と、前記未撮影領域色設定ステップにより設定された画素値を有する未撮影領域画像とを合成して合成画像を生成する画像合成ステップとをコンピュータに実行させる顕微鏡画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、顕微鏡画像処理装置、方法およびプログラムに関するものである。

【背景技術】

【0002】

従来、試料の異なる領域を撮影した複数の部分画像を貼り合わせて貼り合わせ画像を生成する顕微鏡システムが知られている（例えば、特許文献１参照。）。
この顕微鏡システムを用いて、試料の全体ではなくユーザの興味範囲のみを撮影して貼り合わせを行う場合に、全画像範囲の一部に興味範囲の部分画像のみがモザイク状に貼り合わせられた貼り合わせ画像が生成される。

【0003】

このような、全画像範囲の一部に興味範囲の部分画像のみがモザイク状に貼り合わせられる貼り合わせ画像においては、一般に、部分画像が存在しない領域については、観察方法毎に予め定められた色で塗り潰すことにより、撮影が行われた部分画像の背景色と、撮影が行われていない領域の色とをできるだけ近づけて境目を目立たなくする処理が行われる。例えば、明視野画像においては白色（撮影時に使用するカメラのホワイトバランス値を使用して補正）、蛍光画像においては黒色で塗り潰す処理が行われる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１４−２２４９２９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、明視野観察時にホワイトバランスが適正に行われていない場合や、蛍光観察時に遮光が十分に行われていない場合には、撮影が行われた部分画像の背景色が一定の白色や黒色とはならず、撮影が行われた部分画像と撮影が行われていない領域との境目が目立ってしまうという不都合がある。

【0006】

本発明は上述した事情に鑑みてなされたものであって、ホワイトバランスや遮光が適正に行われていない場合でも、取得された部分画像の背景色と撮影されていない領域との境目を目立たなくすることができる顕微鏡画像処理装置、方法およびプログラムを提供することを目的としている。

【課題を解決するための手段】

【0007】

上記目的を達成するために、本発明は以下の手段を提供する。
本発明の一態様は、試料に対して視野を変更しながら顕微鏡により取得された複数枚の部分画像を貼り合わせて撮影済領域画像を生成する撮影済領域画像生成部と、該撮影済領域画像生成部により生成される前記撮影済領域画像の縁部に位置する前記部分画像の少なくとも１辺の画素列の画素値に基づいて、未撮影領域の画素値を設定する未撮影領域色設定部と、前記撮影済領域画像生成部により生成された前記撮影済領域画像と、前記未撮影領域色設定部により設定された画素値を有する未撮影領域画像とを合成して合成画像を生成する画像合成部とを備える顕微鏡画像処理装置を提供する。

【0008】

本態様によれば、顕微鏡により取得された複数枚の試料の部分画像が入力されると、撮影済領域画像生成部により、複数枚の部分画像が貼り合わせられて撮影済領域画像が生成される。また、生成された撮影済領域画像の縁部に位置する部分画像の少なくとも１辺の画素列の画素値に基づいて、未撮影領域色設定部により、未撮影領域の画素値が設定される。そして、撮影済領域画像と、未撮影領域色設定部により設定された画素値を有する未撮影領域画像とが画像合成部により合成されることにより合成画像が生成される。

【0009】

試料の複数枚の部分画像を貼り合わせた撮影済領域画像は試料の縁とその外側の背景色部分とを含んでいる場合が多く、その縁部に位置する部分画像の少なくとも１辺の画素列の画素値は、背景色を構成する画素値である可能性が高い。そこで、この画素列の画素値に基づいて未撮影領域の画素値を設定することにより、未撮影領域の色を撮影済領域画像の背景色に近づけることができる。
その結果、部分画像の取得時におけるホワイトバランスや遮光が適正に行われていない場合でも、撮影済領域画像と未撮影領域との境目が目立たない合成画像を生成することができる。

【0010】

上記態様においては、前記未撮影領域色設定部が、前記合成画像の４辺に位置する前記画素列の画素値に基づいて、前記未撮影領域の画素値を設定してもよい。
このようにすることで、試料の外周縁の外側を取り囲むように設定されることが多い合成画像の４辺に位置する画素列の画素値から未撮影画像の画素値を設定することができ、撮影済領域画像と未撮影領域との境目が目立たない合成画像を生成することができる。

【0011】

また、上記態様においては、前記未撮影領域色設定部が、前記撮影済領域画像の全周に位置する前記画素列の画素値に基づいて、前記未撮影領域の画素値を設定してもよい。
このようにすることで、試料の外周縁の外側を取り囲むように設定されることが多い撮影済領域画像の全周に位置する画素列の画素値から未撮影画像の画素値を設定することができ、撮影済領域画像と未撮影領域との境目が目立たない合成画像を生成することができる。

【0012】

また、上記態様においては、前記未撮影領域色設定部が、前記合成画像の４隅に位置する前記部分画像の周縁に位置する前記画素列の画素値に基づいて、前記未撮影領域の画素値を設定してもよい。
このようにすることで、試料の外周縁の外側を取り囲むように設定されることが多い合成画像の内、試料の外側の背景色を含む可能性が最も高い合成画像の４隅に位置する部分画像の周縁の画素列の画素値から未撮影画像の画素値を設定することができ、撮影済領域画像と未撮影領域との境目が目立たない合成画像を生成することができる。

【0013】

また、上記態様においては、前記未撮影領域色設定部が、前記画素列の画素値の平均値または最頻値に、前記未撮影領域の画素値を設定してもよい。
このようにすることで、未撮影領域画像の縁部に存在する可能性が高い背景色をより確実に取り出して未設定領域の画素値に設定し、撮影済領域画像と未撮影領域との境目が目立たない合成画像を生成することができる。

【0014】

また、上記態様においては、前記未撮影領域色設定部が、前記合成画像の４辺に位置する前記画素列、前記撮影済領域画像の全周に位置する前記画素列、または、前記合成画像の４隅に位置する前記部分画像の周縁に位置する前記画素列の画素値の最小値と最大値との差分が最も小さい前記画素列の画素値の平均値または最頻値に、前記未撮影領域の画素値を設定してもよい。
このようにすることで、画素値の最小値と最大値との差分が最も小さい画素列は、試料の周囲の背景色が多く含まれていると考えることができ、その画素値の平均値および最頻値によって背景色を構成する画素値をより正確に取り出すことができる。

【0015】

本発明の他の態様は、試料に対して視野を変更しながら顕微鏡により取得された複数枚の部分画像を貼り合わせて撮影済領域画像を生成する撮影済領域画像生成ステップと、該撮影済領域画像生成ステップにより生成される前記撮影済領域画像の縁部に位置する前記部分画像の少なくとも１辺の画素列の画素値に基づいて、未撮影領域の画素値を設定する未撮影領域色設定ステップと、前記撮影済領域画像生成ステップにより生成された前記撮影済領域画像と、前記未撮影領域色設定ステップにより設定された画素値を有する未撮影領域画像とを合成して合成画像を生成する画像合成ステップとを含む顕微鏡画像処理方法を提供する。

【0016】

また、本発明の他の態様は、試料に対して視野を変更しながら顕微鏡により取得された複数枚の部分画像を貼り合わせて撮影済領域画像を生成する撮影済領域画像生成ステップと、該撮影済領域画像生成ステップにより生成される前記撮影済領域画像の縁部に位置する前記部分画像の少なくとも１辺の画素列の画素値に基づいて、未撮影領域の画素値を設定する未撮影領域色設定ステップと、前記撮影済領域画像生成ステップにより生成された前記撮影済領域画像と、前記未撮影領域色設定ステップにより設定された画素値を有する未撮影領域画像とを合成して合成画像を生成する画像合成ステップとをコンピュータに実行させる顕微鏡画像処理プログラムを提供する。

【発明の効果】

【0017】

本発明によれば、ホワイトバランスや遮光が適正に行われていない場合でも、取得された部分画像の背景色と撮影されていない領域との境目を目立たなくすることができるという効果を奏する。

【図面の簡単な説明】

【0018】

【図1】本発明の一実施形態に係る顕微鏡画像処理装置を示すブロック図である。

【図2】図１の顕微鏡画像処理装置により取得された撮影済領域画像の一例を示す図である。

【図3】図１の顕微鏡画像処理装置において未撮影領域の色を設定するための画素値を抽出する画素列の位置を示す図である。

【図4】図１の顕微鏡画像処理装置を用いた顕微鏡画像処理方法を示すフローチャートである。

【図5】図１の顕微鏡画像処理装置により生成された合成画像の一例を示す図である。

【図6】図３の画素列の位置の第１の変形例を示す図である。

【図7】図３の画素列の位置の第２の変形例を示す図である。

【図8】図３の画素列の位置の第３の変形例を示す図である。

【図9】図４の顕微鏡画像処理方法の変形例を示すフローチャートである。

【図10】図９の顕微鏡画像処理方法において試料の部分画像を取得する前の事前設定を行う操作画面の一例を示す図である。

【図11】図９の顕微鏡画像処理方法において部分画像の撮影を開始する操作画面の一例を示す図である。

【図12】図１１の撮影開始の指示に続く背景領域の指定画面の一例を示す図である。

【図13】図１０の事前画面においてチェックボックスを外した場合の部分画像の撮影を開始する操作画面の一例を示す図である。

【図14】図１３のプルダウンメニューにより観察方法が指定された場合の図９のステップＳ１６の詳細を示すフローチャートである。

【発明を実施するための形態】

【0019】

本発明の一実施形態に係る顕微鏡画像処理装置１、顕微鏡画像処理方法および顕微鏡画像処理プログラムについて、図面を参照して以下に説明する。
本実施形態に係る顕微鏡画像処理装置１は、図１に示されるように、顕微鏡１００に接続されている。顕微鏡画像処理装置１には、ユーザが顕微鏡１００を操作することにより、ステージ１１０上の試料Ｘと対物レンズ１２０とを水平方向に相対的に移動させて、試料Ｘに対する視野を変更しながら顕微鏡１００により取得された試料Ｘの複数枚の部分画像が入力されるようになっている。

【0020】

顕微鏡画像処理装置１は、入力された複数枚の部分画像を貼り合わせて、図２に示されるように、最終的な合成画像の一部を形成するモザイク状の撮影済領域画像を生成する撮影済領域画像生成部２と、該撮影済領域画像生成部２により生成された撮影済領域画像に基づいて、図２の黒塗り部分に位置する未撮影領域画像を生成する未撮影領域画像生成部（未撮影領域色設定部）３と、生成された未撮影領域画像と撮影済領域画像とを合成して四角形（本実施形態では長方形）の合成画像を生成する画像合成部４とを備えている。
ここで、顕微鏡画像処理装置１を構成するハードウェアとしては、例えば汎用コンピュータまたはパーソナルコンピュータ等のようにコンピュータプログラムによって作動する汎用的な処理装置を用いることができる。

【0021】

未撮影領域画像生成部３は、図３に２重線で示されるように、撮影済領域画像生成部２により複数枚の部分画像を貼り合わせて生成された撮影済領域画像の最外縁部に位置する画素列の画素値を全周にわたって検出し、その最頻値を求めるようになっている。そして、未撮影領域画像生成部３は、図３の黒塗り部分全体の画素値を、求められた単一の最頻値に設定した未撮影領域画像を生成するようになっている。

【0022】

このように構成された本実施形態に係る顕微鏡画像処理装置１を用いた顕微鏡画像処理方法について以下に説明する。
本実施形態に係る顕微鏡画像処理方法は、図４に示されるように、撮影済領域画像生成部２において、顕微鏡１００により取得された複数枚の部分画像を貼り合わせて撮影済領域画像を生成する撮影済領域画像生成ステップＳ１と、該撮影済領域画像生成ステップＳ１により生成される撮影済領域画像の全周にわたる最外縁部に位置する画素列の画素値に基づいて、未撮影領域画像生成部３により未撮影領域画像を生成する未撮影領域画像生成ステップ（未撮影領域色設定ステップ）Ｓ２と、撮影済領域画像生成ステップＳ１により生成された撮影済領域画像と未撮影領域画像生成ステップＳ２により生成された未撮影領域画像とを画像合成部４において合成して合成画像を生成する画像合成ステップＳ３とを含んでいる。

【0023】

さらに詳細には、未撮影領域画像生成ステップＳ２は、入力された撮影済領域画像の最外縁部に位置する一列の画素列の画素値を撮影済領域画像の全周にわたって抽出する画素値抽出ステップＳ２１と、抽出された画素値の最頻値を算出する最頻値算出ステップＳ２２と、最終的な合成画像となる長方形の領域から撮影済領域画像を除外した未撮影領域の画素値を、算出された最頻値に設定する画素値設定ステップＳ２３とを含んでいる。

【0024】

このように本実施形態に係る顕微鏡画像処理装置１および顕微鏡画像処理方法によれば、最終的な合成画像における撮影済領域画像を除外した未撮影領域の色が、撮影済領域画像の全周にわたる縁部の画素列の代表的な色に近い色に設定されるので、画像合成部４により合成された合成画像において、図５に示されるように、撮影済領域画像と未撮影領域画像との境界を目立たなくすることができる。

【0025】

すなわち、部分画像の撮影時におけるカメラのホワイトバランス調整や、蛍光観察時における遮光が十分に行われなかった場合においても、部分画像を貼り合わせて構成された撮影済領域画像の背景色に未撮影領域画像の色を合わせることができ、撮影済領域画像と未撮影領域画像との境界が目立たない合成画像を生成することができるという利点がある。

【0026】

特に、未撮影領域画像の画素値として、撮影済領域画像の最外縁部の画素列の画素値を用いるので、背景色に近い色を設定することができる。すなわち、撮影済領域画像は、ユーザが試料Ｘ全体を含む範囲で設定するのが一般的であるため、撮影済領域画像の最外縁部に位置する画素列の色は、背景色である場合が多い。したがって、その画素列の画素値の最頻値を算出することにより、背景色に最も近い色を選択することができる。

【0027】

なお、本実施形態においては、未撮影領域画像生成部３が、撮影済領域画像の最外縁部に位置する一列の画素列の画素値を撮影済領域画像の全周にわたって抽出し、その最頻値を求めることとしたが、これに代えて、図６に示されるように、撮影済領域画像の全周ではなく、最終的な合成画像の外周に位置する画素列のみからその画素値の最頻値を求めることにしてもよい。

【0028】

また、図７に示されるように、さらに最頻値を求める画素値を、合成画像の４隅に位置することとなる部分画像の周縁の画素列の画素値に限定してもよいし、図８に示されるように、さらにその内の最終的な合成画像の外周に位置する画素列のみからその画素値の最頻値を求めることにしてもよい。

【0029】

また、本実施形態においては、抽出された画素値の最頻値を未撮影領域画像の画素値に設定することとしたが、これに代えて、平均値を採用してもよい。
また、上述した図３、図６から図８の画素列における最小値と最大値との差分が最も小さい画素列の画素値の最頻値あるいは平均値を未撮影領域画像の画素値として設定することにしてもよい。差分が最も小さい場合に、背景色のみが含まれていると考えることができ、背景色に最も近い色に未撮影領域画像の色を設定できて、境界を目立たなくすることができる。

【0030】

また、本実施形態においては、他の設定方法と組み合わせてもよい。
他の設定方法と組み合わせた場合のフローチャートを図９に示す。
まず、背景領域を指定するか否かの判定がなされる（ステップＳ１０）。例えば、図１０に示されるように、試料Ｘの部分画像を取得する前の事前設定において、「撮影前に背景領域を指定する」のチェックボックスにチェックを入れておくことにより、図１１の操作画面がディスプレイに表示される。

【0031】

ユーザが操作画面上の撮影開始スイッチを押すと、図１２に示されるように、ディスプレイに表示されたライブ画像上において、マウス等の入力手段によってユーザが背景色領域を取り囲むことにより、背景色領域を指定させ（ステップＳ１１）、指定された領域内の画素値に基づいて背景色が設定される（ステップＳ１２）。

【0032】

一方、図１０のチェックボックスのチェックを外すことにより、図１３に示されるように、観察方法を選択するための選択肢（プルダウンメニュー）によって、観察方法をユーザに選択させることができることにしてもよい。
プルダウンメニューには、「観察方法不指定」、「明視野観察」、「位相差観察」、「暗視野または蛍光観察」および「その他」のメニュー項目が表示され、ユーザがいずれかのメニュー項目を選択することができる。

【0033】

「観察方法不指定」が選択され（ステップＳ１３）、図１３における操作画面上において撮影開始スイッチが押されると、本実施形態に係る顕微鏡画像処理方法により所定の画素列の画素値が抽出され（ステップＳ１４）、抽出された画素値により背景色が設定される（ステップＳ１５）。

【0034】

また、観察方法によって背景色を設定するステップＳ１６においては、図１４に示されるように、「明視野観察」が選択された場合には（ステップＳ１６１）、背景色を白に（ステップＳ１６２）、「位相差観察」が選択された場合には（ステップＳ１６３）、背景色をグレーに（ステップＳ１６４）、「暗視野または蛍光観察」が選択された場合には（ステップＳ１６５）、背景色を黒に（ステップＳ１６６）、「その他」が選択された場合には背景色を緑に設定すればよい（ステップＳ１６７）。

【0035】

また、本実施形態においては、顕微鏡画像処理方法をハードウェアによって実現する構成について説明したが、コンピュータにより実行可能な顕微鏡画像処理プログラムによって実現することとしてもよい。この場合、コンピュータは、ＣＰＵ、ＲＡＭ等の主記憶装置、およびコンピュータ読み取り可能な記録媒体を備え、該記録媒体に上述した処理を実現させるための顕微鏡画像処理プログラムが記録される。そして、ＣＰＵが記録媒体に記録されている顕微鏡画像処理プログラムを読み出して、顕微鏡画像処理装置１と同様の処理を実現することができる。

【符号の説明】

【0036】

１ 顕微鏡画像処理装置
２ 撮影済領域画像生成部
３ 未撮影領域画像生成部（未撮影領域色設定部）
４ 画像合成部
１００ 顕微鏡
Ｘ 試料
Ｓ１ 撮影済領域画像生成ステップ
Ｓ２ 未撮影領域画像生成ステップ（未撮影領域色設定ステップ）
Ｓ３ 画像合成ステップ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】