特開 2024-78874 検出システム、検出装置、学習装置、検出方法、学習方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024078874

(43)【公開日】2024-06-11

(54)【発明の名称】検出システム、検出装置、学習装置、検出方法、学習方法及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240604BHJP

   G01N 33/48 20060101ALN20240604BHJP

【ＦＩ】

G06T7/00 350C

G06T7/00 630

G01N33/48 M

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022191465

(22)【出願日】2022-11-30

(71)【出願人】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(74)【代理人】

【識別番号】110001634

【氏名又は名称】弁理士法人志賀国際特許事務所

(72)【発明者】

【氏名】工藤 俊介

(72)【発明者】

【氏名】林 和花

(72)【発明者】

【氏名】塩本 周作

【テーマコード（参考）】

2G045

5L096

【Ｆターム（参考）】

2G045CB01

2G045FA16

5L096BA08

5L096DA01

5L096EA05

5L096HA11

5L096JA11

5L096KA04

5L096KA15

(57)【要約】

【課題】微小な検出対象の画像を撮像画像において検出する性能を向上させることができる検出システム、検出装置、学習装置、検出方法、学習方法及びプログラムを提供する。
【解決手段】検出システムは、学習装置と検出装置とを備える検出システムであって、学習装置は、検出対象を有する物体の画像とノイズ画像とを含む学習用の撮像画像から、検出対象の画像を含む学習画像を、検出対象の周囲の構造に基づいて抽出する第１前処理部と、学習画像に基づいて機械学習モデルの学習を実行する学習部とを有し、検出装置は、機械学習モデルを取得する取得部と、検出対象を有する物体の画像とノイズ画像とを含む検出用の撮像画像から、検出対象が撮像された検出対象画像の候補を、検出対象の周囲の構造に基づいて抽出する第２前処理部と、機械学習モデルを用いて、検出用の撮像画像において検出対象画像の候補のうちから検出対象画像を検出する検出部とを有する。
【選択図】図１

【特許請求の範囲】

【請求項1】

学習装置と検出装置とを備える検出システムであって、
前記学習装置は、
検出対象を有する物体の画像とノイズ画像とを含む学習用の撮像画像から、前記検出対象の画像を含む学習画像を、前記検出対象の周囲の構造に基づいて抽出する第１前処理部と、
前記学習画像に基づいて機械学習モデルの学習を実行する学習部とを有し、
前記検出装置は、
前記機械学習モデルを取得する取得部と、
前記検出対象を有する物体の画像とノイズ画像とを含む検出用の撮像画像から、前記検出対象が撮像された検出対象画像の候補を、前記検出対象の周囲の構造に基づいて抽出する第２前処理部と、
前記機械学習モデルを用いて、前記検出用の撮像画像において、前記検出対象画像の候補のうちから前記検出対象画像を検出する検出部とを有する、
検出システム。

【請求項2】

印及び色付けのうちの少なくとも一方によって前記検出対象の位置が強調された前記学習用の撮像画像又は前記検出用の撮像画像を表示部に表示させる後処理部を更に備える、請求項１に記載の検出システム。

【請求項3】

前記第１前処理部は、前記検出対象の周囲の構造に応じた線状画像に基づいて、前記学習画像を前記学習用の撮像画像から抽出する、請求項１又は請求項２に記載の検出システム。

【請求項4】

前記第２前処理部は、前記検出対象の周囲の構造に応じた線状画像に基づいて、前記学習画像を前記検出用の撮像画像から抽出する、請求項１又は請求項２に記載の検出システム。

【請求項5】

検出対象の周囲の構造に基づいて学習用の撮像画像から抽出された学習画像を用いて学習が実行された機械学習モデルを取得する取得部と、
前記検出対象を有する物体の画像とノイズ画像とを含む検出用の撮像画像から、前記検出対象が撮像された検出対象画像の候補を、前記検出対象の周囲の構造に基づいて抽出する前処理部と、
前記機械学習モデルを用いて、前記検出用の撮像画像において、前記検出対象画像の候補のうちから前記検出対象画像を検出する検出部と
を備える検出装置。

【請求項6】

検出対象を有する物体の画像とノイズ画像とを含む学習用の撮像画像から、前記検出対象の画像を含む学習画像を、前記検出対象の周囲の構造に基づいて抽出する前処理部と、
前記学習画像に基づいて機械学習モデルの学習を実行する学習部と
を備える学習装置。

【請求項7】

検出装置が実行する検出方法であって、
検出対象の周囲の構造に基づいて学習用の撮像画像から抽出された学習画像を用いて学習が実行された機械学習モデルを取得するステップと、
前記検出対象を有する物体の画像とノイズ画像とを含む検出用の撮像画像から、前記検出対象が撮像された検出対象画像の候補を、前記検出対象の周囲の構造に基づいて抽出するステップと、
前記機械学習モデルを用いて、前記検出用の撮像画像において、前記検出対象画像の候補のうちから前記検出対象画像を検出するステップと
を含む検出方法。

【請求項8】

学習装置が実行する検出方法であって、
検出対象を有する物体の画像とノイズ画像とを含む学習用の撮像画像から、前記検出対象の画像を含む学習画像を、前記検出対象の周囲の構造に基づいて抽出するステップと、
前記学習画像に基づいて機械学習モデルの学習を実行するステップと
を含む学習方法。

【請求項9】

コンピュータに、
検出対象の周囲の構造に基づいて学習用の撮像画像から抽出された学習画像を用いて学習が実行された機械学習モデルを取得する手順と、
前記検出対象を有する物体の画像とノイズ画像とを含む検出用の撮像画像から、前記検出対象が撮像された検出対象画像の候補を、前記検出対象の周囲の構造に基づいて抽出する手順と、
前記機械学習モデルを用いて、前記検出用の撮像画像において、前記検出対象画像の候補のうちから前記検出対象画像を検出する手順と
を実行させるためのプログラム。

【請求項10】

コンピュータに、
検出対象を有する物体の画像とノイズ画像とを含む学習用の撮像画像から、前記検出対象の画像を含む学習画像を、前記検出対象の周囲の構造に基づいて抽出する手順と、
前記学習画像に基づいて機械学習モデルの学習を実行する手順と
を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、検出システム、検出装置、学習装置、検出方法、学習方法及びプログラムに関する。

【背景技術】

【0002】

所定の倍率で撮像された画像（撮像画像）における微小な検出対象の画像を検出する技術がある。また、粒子解析等の画像処理アルゴリズムが知られている。

【0003】

しかしながら、粒子解析等の画像処理アルゴリズムでは、例えば、撮像画像における粒状の微小な検出対象とノイズとを区別することは難しい。このため、微小な検出対象と大量のノイズとの両方が撮像画像から抽出されてしまい、粒子解析の精度が低下することがある。また、蛍光染色、実験条件又は検出対象によっては、撮像画像の画質が低下することで、撮像画像における検出対象とノイズとの区別が難しくなることがある。

【0004】

細胞種及び組織を分類するための画像処理アルゴリズムでは、細胞種等を観察者が分類できる程度の倍率と観察機器とを用いて分類が実行されており、大量のノイズを含む撮像画像における微小な物体は、検出対象とされていない。また、微小な検出対象の形状は撮像画像において不明瞭であることから、その形状の特徴に単に着目しただけでは、撮像画像における検出対象の画像とノイズ画像とを区別することができない場合がある。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明は、微小な検出対象の画像を撮像画像において検出する性能を向上させることができる検出システム、検出装置、学習装置、検出方法、学習方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明は、学習装置と検出装置とを備える検出システムであって、前記学習装置は、検出対象を有する物体の画像とノイズ画像とを含む学習用の撮像画像から、前記検出対象の画像を含む学習画像を、前記検出対象の周囲の構造に基づいて抽出する第１前処理部と、前記学習画像に基づいて機械学習モデルの学習を実行する学習部とを有し、前記検出装置は、前記機械学習モデルを取得する取得部と、前記検出対象を有する物体の画像とノイズ画像とを含む検出用の撮像画像から、前記検出対象が撮像された検出対象画像の候補を、前記検出対象の周囲の構造に基づいて抽出する第２前処理部と、前記機械学習モデルを用いて、前記検出用の撮像画像において、前記検出対象画像の候補のうちから前記検出対象画像を検出する検出部とを有する、検出システムである。

【発明の効果】

【0007】

本発明によれば、微小な検出対象の画像を撮像画像において検出する性能を向上させることができる。

【図面の簡単な説明】

【0008】

【図1】第１実施形態における、検出システムの構成例を示す図である。

【図2】第１実施形態における、撮像画像に対する前処理の例を示す図である。

【図3】第１実施形態における、学習用の撮像画像の例を示す図である。

【図4】第１実施形態における、教師データの例を示す図である。

【図5】第１実施形態における、検出用の撮像画像に対する前処理及び検出処理の例を示す図である。

【図6】第１実施形態における、検出システムの学習段階の動作例を示すフローチャートである。

【図7】第１実施形態における、検出システムの推論段階の動作例を示すフローチャートである。

【図8】第２実施形態における、検出システムの推論段階の動作例を示すフローチャートである。

【図9】第２実施形態における、検出システムの学習段階の動作例を示すフローチャートである。

【発明を実施するための形態】

【0009】

本発明の実施形態について、図面を参照して詳細に説明する。
（第１実施形態）
図１は、第１実施形態における、検出システム１の構成例を示す図である。検出システム１は、微小な検出対象の画像を撮像画像において検出するシステムである。ここで、検出システム１は、微小な検出対象の周囲の構造（形状、色）に注目した画像処理アルゴリズムを用いて、検出対象画像の候補を撮像画像から抽出する。検出システム１は、抽出された検出対象画像の候補のうちから、機械学習モデルを用いて、検出対象画像を検出する。

【0010】

撮像画像は、例えば、光学顕微鏡を用いて所定の倍率で撮像された生物学的試料の画像である。撮像画像は、カラー画像でもよいし、モノクロ画像（グレー画像）でもよい。カラー画像は、ＲＧＢ（Red Green Blue）画像でもよいし、他の色空間（例えば、Ｌａｂ色空間）の画像でもよい。

【0011】

検出対象は、例えば、細胞小器官、細胞骨格及びタンパク質である。細胞小器官は、例えば、リソソーム、オートファゴソーム、細胞組織、小胞及びミトコンドリア等である。細胞骨格は、成長円錐、神経細胞の樹状突起スパイン、アクチンフィラメント及び微小管等である。タンパク質（タンパク質凝集体）は、神経細胞のシナプスに集積されるシナプシン、シナプトフィジン、小胞型グルタミン酸トランスポータ（vGLUT）、小胞型ＧＡＢＡトランスポータ（vGAT）、ＰＳＤ－９５（postsynaptic density-95）、ドレブリン、Ｈｏｍｅｒ、細胞核、小核、ストレス顆粒、プリオン、βアミロイド及びαシヌクレイン等である。

【0012】

微小な検出対象の大きさは、例えば、０．０１から数μｍ^３程度である。なお、微小な検出対象の大きさは、撮像画像に対して微小（予め定められた閾値以下）であればよく、特定の大きさに限定されない。

【0013】

検出システム１は、通信回線２と、画像送信装置３と、学習装置４と、検出装置５とを備える。通信回線２は、有線の通信回線でもよいし、無線の通信回線でもよい。学習装置４と検出装置５とは、一体でもよいし、別体でもよい。すなわち、単一の情報処理装置にインストールされたコンピュータプログラムに応じて、その単一の情報処理装置が、学習装置４として機能してもよいし、検出装置５として機能してもよい。また、検出システム１の各装置の各機能部は、クラウド技術を利用して、インターネット等のネットワーク上に分散配置されてもよい。

【0014】

学習装置４は、操作部４１と、通信部４２と、記憶装置４３と、メモリ４４と、学習実行部４５と、表示部４６とを備える。学習実行部４５は、前処理部４５１と、学習部４５２と、後処理部４５３とを備える。

【0015】

学習装置４は、ＣＰＵ（Central Processing Unit）等のプロセッサが、不揮発性の記録媒体（非一時的な記録媒体）を有する記憶装置４３とメモリ４４とに記憶されたプログラムを実行することにより、ソフトウェアとして実現される。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク又はソリッド・ステート・ドライブ（SSD : Solid State Drive）等の記憶装置などの非一時的な記録媒体である。学習装置４は、例えば、ＬＳＩ（Large Scale Integrated circuit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）又はＦＰＧＡ（Field Programmable Gate Array）等を用いた電子回路（electronic circuit又はcircuitry）を含むハードウェアを用いて実現されてもよい。

【0016】

検出装置５は、操作部５１と、通信部５２と、記憶装置５３と、メモリ５４と、検出実行部５５と、表示部５６とを備える。検出実行部５５は、前処理部５５１と、検出部５５２と、後処理部５５３とを備える。

【0017】

検出装置５は、ＣＰＵ等のプロセッサが、不揮発性の記録媒体（非一時的な記録媒体）を有する記憶装置５３とメモリ５４とに記憶されたプログラムを実行することにより、ソフトウェアとして実現される。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。検出装置５は、例えば、ＬＳＩ、ＡＳＩＣ、ＰＬＤ又はＦＰＧＡ等を用いた電子回路を含むハードウェアを用いて実現されてもよい。

【0018】

画像送信装置３は、例えば、サーバ装置である。画像送信装置３は、複数の撮像画像を予め記憶する。撮像画像には、例えば、光学顕微鏡によって撮像された細胞の画像が含まれている。画像送信装置３は、通信部４２からの要求に応じて、学習用の撮像画像を通信部４２に送信する。また、画像送信装置３は、通信部５２からの要求に応じて、検出用の撮像画像を通信部５２に送信する。

【0019】

学習段階（学習フェーズ）において、学習装置４は、学習画像に基づいて、機械学習モデルの学習を実行する。機械学習モデルは、例えば、畳み込みニューラルネットワーク(CNN : Convolutional Neural Network）等のニューラルネットワークを含む。畳み込みニューラルネットワークは、畳み込み層と全結合層とを有する。機械学習モデルは、１種類でもよいし、複数種類でもよい。また、事前に学習された機械学習モデルが教師データを用いてファインチューニングされることによって、実施形態における機械学習モデルが生成されてもよい。

【0020】

操作部４１は、マウス、キーボード及びタッチパネル等の操作デバイスである。操作部４１は、ユーザによる操作を受け付ける。ユーザによる操作は、例えば、学習の実行を終了するか否かの指示を学習装置４に入力する操作である。ユーザによる操作は、例えば、機械学習に用いられる教師データの正解ラベルを学習装置４に入力する操作でもよい。これによって、入力された教師データのバリエーションに対応した機械学習が実行されるので、ユーザの感覚に合う機械学習モデルを生成することができる。

【0021】

通信部４２は、画像送信装置３との通信を実行する。また、通信部４２は、通信部５２との通信を実行する。記憶装置４３は、機械学習モデルを用いた学習処理のコンピュータプログラムと、教師データとを予め記憶する。教師データは、学習画像（説明変数）と正解ラベル（目的変数）との組み合わせである。メモリ４４には、深層学習等の機械学習のコンピュータプログラムが、記憶装置４３から展開される。メモリ４４は、グラフィック・プロセッシング・ユニット（GPU）等の補助記憶装置を備えてもよい。

【0022】

学習実行部４５は、学習画像と正解ラベルとを用いて、機械学習モデルの学習を実行する。学習実行部４５は、例えば、機械学習モデルの出力（確率分布（確率マップ）、確率スコア）に対する誤差逆伝播法を利用して、機械学習モデルのパラメータを調整する。ここで、確率分布ごとに１種類の検出対象が対応付けられる。複数の機械学習モデルが用いられた場合、検出対象ごとの確率分布が統合（加算）されてもよい。

【0023】

前処理部４５１は、画像送信装置３から取得された撮像画像に対して、所定の前処理を実行する。前処理部４５１は、検出対象（例えば、ドレブリン）を有する物体（例えば、細胞）の画像とノイズ画像とを含む撮像画像から、検出対象の画像を含む学習画像を、検出対象の周囲の構造に基づく画像特徴量（例えば、輝度）に基づいて抽出する。

【0024】

前処理部４５１は、撮像画像に分布する粒状（球状、凸状）の画像を、検出対象画像の候補とする。前処理部４５１は、検出対象の画像を含む学習画像を、撮像画像に対してハフ変換を実行することによって、撮像画像から抽出してもよい。前処理部４５１は、撮像画像に分布する画像の凸状の曲率（Shape Index値）に基づいて、検出対象の画像を含む学習画像を、撮像画像から抽出してもよい。前処理部４５１は、ヘッシアン（Hessian）を利用したブロブフィルタ（Blob Filter）、一次差分を利用した配向勾配ヒストグラム（Histograms of Oriented Gradients）、又は、ガウシアンを利用したガウス差分フィルタ（Difference of Gaussian Filter）に基づいて、検出対象の画像を含む学習画像を、撮像画像から抽出してもよい。

【0025】

このような画素値を用いた抽出アルゴリズムでは、画素値に対する感度に応じて、候補の判定結果に偽陽性(FP : False Positive)が生じる。なお、撮像画像にノイズ画像が少ない場合、学習画像にユーザが正解ラベルを付与する手間が増大しても構わないのであれば、撮像画像に対してセグメンテーションネットワークが用いられてもよい。

【0026】

候補の判定結果に多くの偽陽性が生じた場合、候補の判定における検出対象の特異度を高めるために、前処理部４５１は、検出対象の生物学的な構造に基づいて、検出対象の画像を含む学習画像を、撮像画像から抽出してもよい。例えば、シナプスの周囲に存在する微小構造が検出対象とされた場合、前処理部４５１は、樹状突起の周囲の画像のみを、検出対象画像の候補としてもよい。

【0027】

樹状突起を含む細胞体の蛍光染色とシナプスの蛍光染色とが異なっている場合、前処理部４５１は、撮像画像に対して距離変換処理が実行されることで、凸状の細胞体におけるピーク検出を実行してもよい。また、細胞核が蛍光染色されることで、前処理部４５１は、細胞核付近の座標を特定してもよい。前処理部４５１は、ピークの位置からの距離情報に基づいて、ピークの位置を含む領域に丸形マスクを適用してもよい。このように、前処理部４５１は、撮像画像において丸形マスクを用いて、細胞核画像を含む細胞体画像を、撮像画像から除去してもよい。

【0028】

前処理部４５１は、ユーザによる操作に基づいて、検出対象画像の候補ごとに、教師データの正解ラベルを作成する。前処理部４５１は、検出対象画像の候補が強調された画像を、単一又は複数の拡大倍率で、表示部４６に表示させてもよい。これによって、セグメンテーションネットワークを用いる複雑なアノテーション方法を、ユーザが行う必要がなくなる。なお、検出対象画像であるか否かをユーザでも判定することが難しい候補には、ユーザは正解ラベルを無理に付与しなくてもよい。ユーザは、このような検出対象画像の候補には、機械学習に用いないことを表す正解ラベルを付与してもよい。

【0029】

学習部４５２は、学習画像に基づいて、機械学習モデルの学習を実行する。学習部４５２は、各学習画像を機械学習モデルに入力する。入力は、バッチ処理で実行されてもよい。学習部４５２は、学習画像ごとの機械学習モデルの出力（クラス）と正解ラベルとの誤差を小さくするように、機械学習モデルのパラメータを調整する。

【0030】

後処理部４５３は、学習部４５２による学習結果に基づいて、所定の後処理を実行する。後処理部４５３は、所定の後処理として、印及び色付けのうちの少なくとも一方によって検出対象の位置が強調された撮像画像等を生成してよい。後処理部４５３は、所定の後処理として、所定の指標を表す画像を生成してよい。

【0031】

表示部４６は、液晶ディスプレイ等の表示デバイスである。表示部４６は、後処理部４５３によって生成された画像を表示する。

【0032】

推論段階（推論フェーズ）において、検出装置５は、機械学習モデルを用いて、学習用の撮像画像における検出対象画像を検出する。操作部５１は、マウス、キーボード及びタッチパネル等の操作デバイスである。操作部５１は、ユーザによる操作を受け付ける。ユーザによる操作は、例えば、推論の実行を終了するか否かの指示を検出装置５に入力する操作である。

【0033】

通信部５２は、画像送信装置３との通信を実行する。また、通信部５２は、通信部４２との通信を実行する。記憶装置５３は、機械学習モデルを用いた推論処理のコンピュータプログラムを予め記憶する。記憶装置５３は、学習装置４から取得された機械学習モデルを記憶する。記憶装置５３は、撮像画像における各検出対象画像の候補の座標を記憶してもよい。メモリ５４には、深層学習等の機械学習のコンピュータプログラムが、記憶装置５３から展開される。メモリ５４は、グラフィック・プロセッシング・ユニット（GPU）等の補助記憶装置を備えてもよい。

【0034】

検出実行部５５は、機械学習モデルを用いて、検出用の撮像画像において、検出対象画像を検出する。前処理部５５１は、画像送信装置３から取得された検出用の撮像画像に対して、学習段階において前処理部４５１が実行した前処理と同様の前処理を実行する。前処理部５５１は、画像送信装置３から取得された検出用の撮像画像における検出対象画像の候補を、検出対象の周囲の構造に基づく画像特徴量に基づいて生成する。

【0035】

検出部５５２は、機械学習モデルを用いて、検出用の撮像画像に対して検出処理を実行する。検出部５５２は、検出対象画像の各候補を、機械学習モデルに入力する。入力は、バッチ処理で実行されてもよい。検出部５５２は、検出対象画像の候補を機械学習モデルに入力することによって、機械学習モデルの出力（確率分布（確率マップ）、確率スコア）を得る。これによって、検出部５５２は、機械学習モデルの出力に基づいて、検出対象画像の候補が検出対象画像であるか否かを判定する。

【0036】

なお、検出実行部５５は、検出対象画像の候補の大きさに関する統計量と、検出対象画像の候補の周囲の情報に関する統計量とを、撮像画像において導出してもよい。検出実行部５５は、統計量に基づいて、前処理された撮像画像に対してサポート・ベクタ・マシン（Support Vector Machine）を用いて、検出対象画像の候補が検出対象画像であるか否かを判定してもよい。検出実行部５５は、統計量に基づくクラスタリング手法（例えば、Ｋ－Ｍｅａｎｓ）の結果に基づいて、検出対象画像の候補が検出対象画像であるか否かを判定してもよい。

【0037】

後処理部５５３は、検出部５５２による検出結果に基づいて、所定の後処理を実行する。後処理部５５３は、所定の後処理として、印及び色付けのうちの少なくとも一方によって検出対象の位置が強調された撮像画像等を生成してよい。後処理部５５３は、所定の後処理として、所定の指標を表す画像を生成してよい。

【0038】

表示部５６は、液晶ディスプレイ等の表示デバイスである。表示部５６は、後処理部５５３によって生成された画像を表示する。

【0039】

次に、学習装置４における、前処理について説明する。
図２は、第１実施形態における、撮像画像に対する前処理の例を示す図である。撮像画像１００は、学習用の撮像画像（元画像）である。撮像画像１００には、１種類以上の染料又は免疫染色法を用いて染色された複数の細胞の画像が含まれている。各細胞体の形状は、粒状（球状、凸状）に類似する。撮像画像１００の撮像倍率（画角）は、例えば光学顕微鏡における撮像倍率であって、任意である。

【0040】

学習段階において、前処理部４５１は、画像送信装置３から取得された撮像画像１００（グレー画像）に対して、２値化処理を実行する。これによって、前処理部４５１は、撮像画像１００ａを生成する。前処理部４５１は、撮像画像１００ａに対して、ゴミ除去処理を実行する。これによって、前処理部４５１は、撮像画像１００ｂを生成する。

【0041】

前処理部４５１は、撮像画像１００ｂに対して、距離変換処理及びピーク検出処理を実行する。これによって、前処理部４５１は、撮像画像１００ｃを生成する。各細胞の形状は粒状（球状、凸状）に類似しているので、ピーク検出処理によって検出されたピークの位置は、撮像画像１００ｃにおける各細胞体画像の中央付近（細胞核付近）の位置となる。前処理部４５１は、検出されたピークの位置と距離変換処理の結果とに基づいて、マスク画像１０１を生成する。マスク画像１０１は、各細胞体画像の中央付近を中心とする丸形マスク画像を含む。丸形マスク画像の大きさは、距離変換処理の結果に応じて定まる。

【0042】

前処理部４５１は、マスク画像１０１を用いるマスク処理を、撮像画像１００ｃに対して実行する。これによって、前処理部４５１は、撮像画像１００ｄを生成する。撮像画像１００ｄでは、マスク処理によって各細胞体の画像が除去され、シナプス画像を有する軸索画像及び樹状突起画像等の線状画像が残る。検出対象の一例であるドレブリンは、神経細胞のシナプスに集積する。したがって、例えば、撮像画像１００においてシナプス画像の付近には無い不定形画像は、ノイズ画像である可能性が高い。このように、ドレブリンの周囲の構造であるシナプスの画像（分布）を前処理部４５１が撮像画像１００ｄにおいて得ることによって、撮像画像１００（元画像）におけるドレブリン画像とノイズ画像とが区別し易くなる。

【0043】

次に、学習装置４における、学習処理及び後処理について説明する。
図３は、第１実施形態における、学習用の撮像画像１００の例を示す図である。教師データにおける各学習画像は、学習用の撮像画像１００において定められた各部分画像（各小領域、各小画像）である。学習画像の形状は、例えば、矩形である。また、学習画像の寸法は、撮像画像の寸法未満であり（撮像画像に対して微小であり）、且つ、検出対象画像の寸法以上であれば、任意である。学習画像１１０は、神経細胞のシナプスにおける検出対象画像１１１（ドレブリン画像）を含む。学習画像１２０は、神経細胞のシナプスにおける検出対象画像１２１（ドレブリン画像）を含む。学習画像１３０は、神経細胞のシナプスでない位置におけるノイズ画像１３１を含む。

【0044】

なお、図３に例示された撮像画像１００では、図の見易さを確保する観点から、学習画像の代表としての学習画像１１０、学習画像１２０及び学習画像１３０のみに符号が付されている。撮像画像１００には、更に多くの学習画像が定められてもよい。

【0045】

ユーザは、表示部４６に表示された学習用の撮像画像１００を見ながら、操作部４１を操作する。ユーザは、操作部４１を操作することによって、学習画像ごとに正解ラベルを定義する。ここで、検出対象の一例であるドレブリンは、神経細胞のシナプスに集積する。したがって、例えば、シナプス画像を有する軸索画像及び樹状突起画像の付近に在る粒状画像は、ドレブリン画像である可能性が高い。

【0046】

例えば、学習画像１１０がシナプス画像を含んでいるので、ユーザは、正解ラベル「ドレブリン・クラス」（検出対象クラス）を、学習画像１１０に対応付ける。また、学習画像１２０がシナプス画像を含んでいるので、ユーザは、正解ラベル「ドレブリン・クラス」を、学習画像１２０に対応付ける。

【0047】

例えば、学習画像１３０がシナプス画像を含んでおらず、且つ、ノイズ画像１３１は不定形画像（非粒状画像）である。また、ノイズ画像１３１の輪郭のコントラスト成分は高くない。これらのことから、ユーザは、正解ラベル「ノイズ・クラス」又は「背景クラス」を、学習画像１２０に対応付ける。

【0048】

図４は、第１実施形態における、教師データの例を示す図である。教師データは、学習画像と、正解ラベル「検出対象クラス」との組み合わせを含む。教師データは、学習画像と、正解ラベル「ノイズクラス」との組み合わせを含んでもよい。ここで、正解ラベルは、検出対象クラスとノイズクラス（背景クラス）との２クラスに定義されてもよいし、粒状（凸部）のサイズごとのクラスとノイズクラスとに定義されてもよい。

【0049】

次に、検出装置５における、前処理、検出処理（推論処理）及び後処理について説明する。
図５は、第１実施形態における、検出用の撮像画像に対する前処理及び検出処理の例を示す図である。撮像画像２００は、検出用の撮像画像（元画像）である。推論段階において、前処理部５５１は、画像送信装置３から取得された撮像画像２００に対して、学習段階において前処理部４５１が実行した前処理と同様の前処理を実行する。これによって、前処理部５５１は、撮像画像２００ａにおける検出対象画像（ドレブリン画像）の候補を生成する。前処理部５５１は、撮像画像２００ａにおける検出対象画像の候補に、撮像画像２００ａにおける座標を対応付ける。

【0050】

図５に例示された撮像画像２００ａには、神経細胞のシナプスにおける検出対象画像（ドレブリン画像）の候補の位置を示す目的で、便宜的に、複数の丸印が描かれている。各丸印の位置は、各検出対象画像の候補の位置を示す。撮像画像２００ａでは、図の見易さを確保する観点から、検出対象画像の候補の代表としての検出対象画像２０１及びノイズ画像２０２のみに符号が付されている。

【0051】

検出対象画像の候補２１０は、推論段階において機械学習モデルに入力される検出対象画像の候補の一つである。検出対象画像の候補２１０は、検出対象画像２０１（粒状画像）を含む。検出対象画像の候補２１１は、推論段階において機械学習モデルに入力される検出対象画像の他の候補の一つである。検出対象画像の候補２１１は、ノイズ画像２０２（不定形画像）を含む。このように、前処理部５５１による前処理の実行後、機械学習モデルを用いる検出処理が検出部５５２によって実行されていない段階（推論段階において、検出処理が実行される前の段階）では、検出対象画像の候補にノイズ画像２０２が含まれていてもよい。

【0052】

推論段階において、検出部５５２は、機械学習モデルを用いて、撮像画像２００ａに対して検出処理（推論処理）を実行する。ここで、検出部５５２は、検出対象画像の各候補を、機械学習モデルに入力する。図５では、検出部５５２は、候補２１０を機械学習モデルに入力することによって、機械学習モデル（学習済モデル）の出力「ドレブリン・クラス」を得る。これによって、検出部５５２は、候補２１０の検出対象画像２０１が検出対象画像（ドレブリン画像）であると判定する。また、検出部５５２は、候補２１１を機械学習モデルに入力することによって、機械学習モデル（学習済モデル）の出力「ノイズ・クラス」を得る。これによって、検出部５５２は、候補２１１のノイズ画像２０２が検出対象画像でないと判定する。すなわち、検出部５５２は、候補２１１のノイズ画像２０２がノイズ画像であると判定する。

【0053】

後処理部５５３は、検出対象画像であると判定された各候補について、所定の後処理を実行する。例えば、後処理部５５３は、撮像画像２００における検出対象画像の各位置に丸印を描くことによって、撮像画像２００ｂを生成する。後処理部５５３は、撮像画像２００ｂにおける検出対象画像の個数を、指標の一つとして計数してもよい。後処理部５５３は、撮像画像２００における検出対象画像（ドレブリン画像）の個数に基づいて、細胞の成熟度を、指標の一つとして導出してもよい。

【0054】

次に、検出システム１の動作例を説明する。
図６は、第１実施形態における、検出システム１の学習段階の動作例を示すフローチャートである。前処理部４５１は、画像送信装置３から、学習用の撮像画像１００を取得する（ステップＳ１０１）。前処理部４５１は、検出対象（ドレブリン）の周囲の構造（シナプス）から所定距離内であることに基づいて、学習画像１１０及び学習画像１２０等を、学習用の撮像画像１００から抽出する。前処理部４５１は、検出対象の周囲の構造から所定距離以上に離れていることに基づいて、学習画像１３０等を、学習用の撮像画像１００から抽出してもよい（ステップＳ１０２）。

【0055】

前処理部４５１は、操作部４１が受け付けた操作に基づいて、学習画像と正解ラベルとを対応付ける。例えば、前処理部４５１は、シナプス画像及び検出対象画像１１１（ドレブリン画像）を含む学習画像１１０と、正解ラベル「ドレブリン・クラス」とを対応付ける。例えば、前処理部４５１は、シナプス画像を含まない学習画像１３０と、正解ラベル「ノイズ・クラス」とを対応付ける（ステップＳ１０３）。

【0056】

学習部４５２は、各学習画像を機械学習モデルに入力する（ステップＳ１０４）。学習部４５２は、学習画像ごとの機械学習モデルの出力（クラス）と正解ラベルとの誤差を小さくするように、機械学習モデルのパラメータを調整する（ステップＳ１０５）。学習部４５２は、学習処理を終了するか否かを、例えば、操作部４１が受け付けた操作に基づいて判定する（ステップＳ１０６）。学習処理を継続する場合（ステップＳ１０６：ＮＯ）、学習部４５２は、ステップＳ１０１に処理を戻す。学習処理を終了する場合（ステップＳ１０６：ＹＥＳ）、学習部４５２は、機械学習モデル（学習済モデル）を、記憶装置４３に記録する（ステップＳ１０７）。

【0057】

図７は、第１実施形態における、検出システム１の推論段階の動作例を示すフローチャートである。検出部５５２は、機械学習モデル（学習済モデル）を、学習装置４から取得する（ステップＳ２０１）。前処理部５５１は、検出用の撮像画像２００を、画像送信装置３から取得する（ステップＳ２０２）。前処理部５５１は、検出対象（シナプシン）の周囲の構造に基づいて、検出対象画像の候補２１０等を、検出用の撮像画像２００から抽出する（ステップＳ２０３）。前処理部５５１は、各検出対象画像の候補の座標を、記憶装置５３に記録する（ステップＳ２０４）。

【0058】

検出部５５２は、各検出対象画像の候補を、機械学習モデルに入力する（ステップＳ２０５）。検出部５５２は、機械学習モデルの出力「ドレブリン・クラス」に基づいて、各検出対象画像の候補２１０等のうちから、検出対象画像２０１を含む候補２１０等を、各検出対象画像として選択する（ステップＳ２０６）。

【0059】

後処理部５５３は、選択された検出対象画像２０１等に基づいて、所定の指標（例えば、細胞の成熟度）を導出する。例えば、後処理部５５３は、検出対象画像の個数に基づいて、タンパク質（ドレブリン）の個数を計数する。後処理部５５３は、樹状突起の情報を用いて、樹状突起の単位長さと、単位面積での密度とを導出する。後処理部５５３は、単位面積での密度に基づいて、細胞の成熟度を導出する（ステップＳ２０７）。後処理部５５３は、検出用の撮像画像２００と、検出用の撮像画像２００における選択された検出対象画像２０１等と、導出された指標とを、表示部５６に表示させる（ステップＳ２０８）。

【0060】

検出部５５２は、検出処理を終了するか否かを、例えば、操作部４１によって受け付けられた操作に基づいて判定する。検出処理を継続する場合（ステップＳ２０９：ＮＯ）、検出部５５２は、ステップＳ２０２に処理を戻す。検出処理を終了する場合（ステップＳ２０９：ＹＥＳ）、検出部５５２は、検出処理を終了する。

【0061】

以上のように、検出システム１は、学習装置４と、検出装置５とを備える。学習装置４は、前処理部４５１（第１前処理部）と、学習部４５２とを有する。前処理部４５１は、検出対象（例えば、ドレブリン）を有する物体（例えば、細胞）の画像とノイズ画像とを含む撮像画像から、検出対象の画像を含む学習画像を、検出対象の周囲の構造に基づいて抽出する。検出対象自体は微小でも、検出対象の周囲の構造は微小ではない。学習部４５２は、学習画像に基づいて、機械学習モデルの学習を実行する。

【0062】

検出装置５は、前処理部５５１（第２前処理部）と、検出部５５２（取得部）とを有する。検出部５５２は、通信部５２を用いて、機械学習モデルを画像送信装置３から取得する。前処理部５５１は、検出対象を有する物体の画像とノイズ画像とを含む検出用の撮像画像２００から、検出対象が撮像された検出対象画像の候補を、検出対象の周囲の構造（例えば、シナプスの分布）に基づいて抽出する。検出部５５２は、機械学習モデルを用いて、撮像画像２００ａにおいて、検出対象画像の候補２１０及び候補２１１等のうちから、例えば、候補２１０の検出対象画像２０１を検出する。

【0063】

これによって、微小な検出対象の画像を撮像画像において検出する性能を向上させることができる。

【0064】

（第２実施形態）
第２実施形態では、推論段階における検出結果が学習段階における機械学習にフィードバックされる点が、第１実施形態との主な差分である。第２実施形態では、第１実施形態との差分を中心に説明する。

【0065】

学習部４５２は、検出装置５からフィードバックされた機械学習モデルの出力と検出対象画像との組み合わせを、学習段階における正解ラベルと学習画像との組み合わせの少なくとも一つとして、機械学習モデルの学習処理に用いる。

【0066】

図８は、第２実施形態における、検出システム１の推論段階の動作例を示すフローチャートである。図８に例示されたステップＳ３０１からステップＳ３０６までの各動作は、図７に例示されたステップＳ２０１からステップＳ２０６までの各動作と同様である。検出部５５２は、推論段階における、機械学習モデルの出力（正解ラベル）と検出対象画像との組み合わせを、記憶装置４３又は記憶装置５３に記録する（ステップＳ３０７）。図８に例示されたステップＳ３０８からステップＳ３１０までの各動作は、図７に例示されたステップＳ２０７からステップＳ２０９までの各動作と同様である。

【0067】

図９は、第２実施形態における、検出システム１の学習段階の動作例を示すフローチャートである。学習部４５２は、推論段階における機械学習モデルの出力と検出対象画像との組み合わせを、学習段階における正解ラベルと学習画像との組み合わせの少なくとも一つとして、記憶装置４３又は記憶装置５３から取得する（ステップＳ４０１）。図９に例示されたステップＳ４０２からステップＳ４０８までの各動作は、図６に例示されたステップＳ１０１からステップＳ２０７までの各動作と同様である。

【0068】

以上のように、学習部４５２は、推論段階における機械学習モデルの出力と検出対象画像との組み合わせを、学習段階における正解ラベルと学習画像との組み合わせの少なくとも一つとして、機械学習モデルの学習処理に用いる。

【0069】

これによって、微小な検出対象の画像を撮像画像において検出する性能を更に向上させることができる。

【0070】

本発明は、以下の態様を含む。
［１］学習装置と検出装置とを備える検出システムであって、前記学習装置は、検出対象を有する物体の画像とノイズ画像とを含む学習用の撮像画像から、前記検出対象の画像を含む学習画像を、前記検出対象の周囲の構造に基づいて抽出する第１前処理部と、前記学習画像に基づいて前記機械学習モデルの学習を実行する学習部とを有し、前記検出装置は、前記機械学習モデルを取得する取得部と、前記検出対象を有する物体の画像とノイズ画像とを含む検出用の撮像画像から、前記検出対象が撮像された検出対象画像の候補を、前記検出対象の周囲の構造に基づいて抽出する第２前処理部と、前記機械学習モデルを用いて、前記検出用の撮像画像において、前記検出対象画像の候補のうちから前記検出対象画像を検出する検出部とを有する、検出システム。
［２］印及び色付けのうちの少なくとも一方によって前記検出対象の位置が強調された前記学習用の撮像画像又は前記検出用の撮像画像を表示部に表示させる後処理部を更に備える、［１］に記載の検出システム。
［３］前記第１前処理部は、前記検出対象の周囲の構造に応じた線状画像に基づいて、前記学習画像を前記学習用の撮像画像から抽出する、［１］又は［２］に記載の検出システム。
［４］前記第２前処理部は、前記検出対象の周囲の構造に応じた線状画像に基づいて、前記学習画像を前記検出用の撮像画像から抽出する、［１］から［３］のいずれか一つに記載の検出システム。
［５］検出対象の周囲の構造に基づいて学習用の撮像画像から抽出された学習画像を用いて学習が実行された機械学習モデルを取得する取得部と、前記検出対象を有する物体の画像とノイズ画像とを含む検出用の撮像画像から、前記検出対象が撮像された検出対象画像の候補を、前記検出対象の周囲の構造に基づいて抽出する前処理部と、前記機械学習モデルを用いて、前記検出用の撮像画像において、前記検出対象画像の候補のうちから前記検出対象画像を検出する検出部とを備える検出装置。
［６］検出対象を有する物体の画像とノイズ画像とを含む学習用の撮像画像から、前記検出対象の画像を含む学習画像を、前記検出対象の周囲の構造に基づいて抽出する前処理部と、前記学習画像に基づいて前記機械学習モデルの学習を実行する学習部とを備える学習装置。
［７］検出装置が実行する検出方法であって、検出対象の周囲の構造に基づいて学習用の撮像画像から抽出された学習画像を用いて学習が実行された機械学習モデルを取得するステップと、前記検出対象を有する物体の画像とノイズ画像とを含む検出用の撮像画像から、前記検出対象が撮像された検出対象画像の候補を、前記検出対象の周囲の構造に基づいて抽出するステップと、前記機械学習モデルを用いて、前記検出用の撮像画像において、前記検出対象画像の候補のうちから前記検出対象画像を検出するステップとを含む検出方法。
［８］学習装置が実行する検出方法であって、検出対象を有する物体の画像とノイズ画像とを含む学習用の撮像画像から、前記検出対象の画像を含む学習画像を、前記検出対象の周囲の構造に基づいて抽出するステップと、前記学習画像に基づいて前記機械学習モデルの学習を実行するステップとを含む学習方法。
［９］コンピュータに、検出対象の周囲の構造に基づいて学習用の撮像画像から抽出された学習画像を用いて学習が実行された機械学習モデルを取得する手順と、前記検出対象を有する物体の画像とノイズ画像とを含む検出用の撮像画像から、前記検出対象が撮像された検出対象画像の候補を、前記検出対象の周囲の構造に基づいて抽出する手順と、前記機械学習モデルを用いて、前記検出用の撮像画像において、前記検出対象画像の候補のうちから前記検出対象画像を検出する手順とを実行させるためのプログラム。
［１０］コンピュータに、検出対象を有する物体の画像とノイズ画像とを含む学習用の撮像画像から、前記検出対象の画像を含む学習画像を、前記検出対象の周囲の構造に基づいて抽出する手順と、前記学習画像に基づいて前記機械学習モデルの学習を実行する手順とを実行させるためのプログラム。

【0071】

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

【符号の説明】

【0072】

１…検出システム、２…通信回線、３…画像送信装置、４…学習装置、５…検出装置、４１…操作部、４２…通信部、４３…記憶装置、４４…メモリ、４５…学習実行部、４６…表示部、５１…操作部、５２…通信部、５３…記憶装置、５４…メモリ、５５…検出実行部、５６…表示部、１００，１００ａ，１００ｂ，１００ｃ，１００ｄ…撮像画像、１０１…マスク画像、１１０…学習画像、１１１…検出対象画像、１２０…学習画像、１２１…検出対象画像、１３０…学習画像、１３１…ノイズ画像、２００，２００ａ，２００ｂ…撮像画像、２０１…検出対象画像、２０２…ノイズ画像、２１０…候補、２１１…候補、４５１…前処理部、４５２…学習部、４５３…後処理部、５５１…前処理部、５５２…検出部、５５３…後処理部

【先行技術文献】

【特許文献】

【0073】

【特許文献1】特許第６６２９７６２号公報

【特許文献2】特表２０２１－５１７２５５号公報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】