特開 2024-66233 画像解析装置、画像解析方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024066233

(43)【公開日】2024-05-15

(54)【発明の名称】画像解析装置、画像解析方法及びプログラム

(51)【国際特許分類】

   C12M 1/34 20060101AFI20240508BHJP

   G06T 7/00 20170101ALI20240508BHJP

【ＦＩ】

C12M1/34 D

G06T7/00 630

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2022175682

(22)【出願日】2022-11-01

(71)【出願人】

【識別番号】000003964

【氏名又は名称】日東電工株式会社

(71)【出願人】

【識別番号】506286928

【氏名又は名称】地方独立行政法人 大阪府立病院機構

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】藤田 裕

(72)【発明者】

【氏名】木川 洋一

(72)【発明者】

【氏名】末廣 一郎

(72)【発明者】

【氏名】増田 良太

【テーマコード（参考）】

4B029

5L096

【Ｆターム（参考）】

4B029AA07

4B029BB11

4B029CC02

4B029FA03

4B029FA15

5L096AA06

5L096BA06

5L096CA02

5L096DA02

5L096GA30

5L096HA09

5L096JA11

5L096JA18

5L096KA04

(57)【要約】

【課題】培養細胞の増殖能を高精度に推定する。
【解決手段】画像解析装置は、培養中の細胞を撮影したサイズの異なる複数の部分画像データからサイズ毎に特徴量を抽出する特徴抽出部と、サイズ毎の特徴量を結合した結合特徴量に基づいて、細胞の増殖能を推定する増殖能推定部と、を備える。
【選択図】図４

【特許請求の範囲】

【請求項1】

培養中の細胞を撮影したサイズの異なる複数の部分画像データから前記サイズ毎に特徴量を抽出する特徴抽出部と、
前記サイズ毎の前記特徴量を結合した結合特徴量に基づいて、前記細胞の増殖能を推定する増殖能推定部と、
を備える画像解析装置。

【請求項2】

請求項１に記載の画像解析装置であって、
前記細胞を撮影した画像データから、前記複数の部分画像データを生成する部分画像生成部をさらに備える、
画像解析装置。

【請求項3】

請求項２に記載の画像解析装置であって、
前記画像データは、前記細胞を所定の時間間隔で所定期間撮影した画像を時系列に並べた時系列データである、
画像解析装置。

【請求項4】

請求項３に記載の画像解析装置であって、
前記特徴抽出部は、前記サイズ毎に前記部分画像データを特徴抽出器に入力することで、前記サイズ毎の前記特徴量を抽出し、
前記増殖能推定部は、前記画像データと培養結果との関係を学習した識別器に、前記結合特徴量を入力することで、前記増殖能の有無を表す確率値を求める、
画像解析装置。

【請求項5】

請求項４に記載の画像解析装置であって、
前記細胞は、がん細胞又はがん初代培養細胞である、
画像解析装置。

【請求項6】

請求項５に記載の画像解析装置であって、
前記画像データは、前記細胞を培養開始から１日間隔で３日間撮影した４個の画像からなる、
画像解析装置。

【請求項7】

請求項６に記載の画像解析装置であって、
前記サイズは、前記細胞の形状を確認可能なサイズ、及び細胞塊の位置関係が確認可能なサイズを含む、
画像解析装置。

【請求項8】

コンピュータが、
培養中の細胞を撮影したサイズの異なる複数の部分画像データから前記サイズ毎に特徴量を抽出する特徴抽出手順と、
前記サイズ毎の前記特徴量を結合した結合特徴量に基づいて、前記細胞の増殖能を推定する増殖能推定手順と、
を実行する画像解析方法。

【請求項9】

コンピュータに、
培養中の細胞を撮影したサイズの異なる複数の部分画像データをから前記サイズ毎に特徴量を抽出する特徴抽出手順と、
前記サイズ毎の前記特徴量を結合した結合特徴量に基づいて、前記細胞の増殖能を推定する増殖能推定手順と、
を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像解析装置、画像解析方法及びプログラムに関する。

【背景技術】

【0002】

がんの治療では、外科治療や化学療法等が行われる。抗がん剤等の化学療法における基礎的研究には、がん細胞に対する作用を検証する必要がある。特に、個々の患者のがん組織の特性を保持したがん細胞を抽出して解析することが重要である。

【0003】

例えば、特許文献１には、がん組織由来の細胞塊を浮遊培養し、次いで接着培養することにより、インビトロで、簡便、短時間かつ安定に大量のがん細胞の初代培養物を得ることができる発明が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第６７１９７６９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１に開示された従来技術は、医師及び研究者の判断又は技師のスキルの影響が大きい、という課題がある。例えば、培養細胞の品質判断、及び継代やスクリーニングに移行する判断は、経験豊富な医師又は研究者であっても難易度が高い判断である。さらにがん治療の対象となるがん細胞となると、臨床経験のみならず、がん細胞に関わる基礎研究の知見も重要な要素となる。

【0006】

本発明の一態様は、上記のような技術的課題に鑑みて、培養細胞の増殖能を高精度に推定することを目的とする。

【課題を解決するための手段】

【0007】

上記の課題を解決するために、本発明の一態様の画像解析装置は、培養中の細胞を撮影したサイズの異なる複数の部分画像データからサイズ毎に特徴量を抽出する特徴抽出部と、サイズ毎の特徴量を結合した結合特徴量に基づいて、細胞の増殖能を推定する増殖能推定部と、を備える。

【発明の効果】

【0008】

本発明の一態様によれば、培養細胞の増殖能を高精度に推定することができる。

【図面の簡単な説明】

【0009】

【図1】細胞画像解析システムの全体構成の一例を示す図である。

【図2】コンピュータのハードウェア構成の一例を示す図である。

【図3】画像取得装置のハードウェア構成の一例を示す図である。

【図4】細胞画像解析システムの機能構成の一例を示す図である。

【図5】学習処理の一例を示す図である。

【図6】細胞画像データの一例を示す図である。

【図7】部分画像データの一例を示す図である。

【図8】特徴抽出器のネットワーク構成の一例を示す図である。

【図9】推定処理の一例を示す図である。

【図10】解析結果の一例を示す図である。

【発明を実施するための形態】

【0010】

以下、本発明の各実施形態について添付の図面を参照しながら説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。

【0011】

［概要］
近年、がん治療は、外科治療や化学療法等において、目覚ましい進歩を遂げているが、未だ十分な効果が得られていないのが現状である。抗がん剤等の化学療法における基礎的研究には、がん細胞に対する作用を検証する必要がある。特に、個々の患者のがん組織の特性を保持したがん細胞を抽出して解析することが重要である。

【0012】

がん細胞を培養して得られる培養がん細胞には、樹立細胞株及び初代培養細胞がある。樹立細胞株は、安定しており取り扱いが容易であるが、患者に由来するがん細胞の特性を失っており、臨床結果と合致しない場合が多い。一方、初代培養細胞は、患者に由来するがん細胞の特性を保持しているが、例えばマウスの体内で培養を行う等、コスト、時間、取り扱い等で多くの課題がある。

【0013】

特に、個々の患者に由来する臨床検体からがん細胞を樹立する「がん初代培養」には、高い技能が必要とされる。がん初代培養では、培養細胞の品質判断、及び継代やスクリーニングに移行する判断が、経験者の暗黙知によって行われている。

【0014】

上記のような理由から、所望の培養がん細胞を得るために要する時間を見積もることは困難であり、培養計画の進捗に影響を与えることが多い。そのため、予め培養がうまくいかない場合を想定し、過剰な数の培養を並行して実施する、又は必要に応じて追加の培養を行う等、培養作業は技術者の大きな負担となっている。さらに、適切なタイミングで培養細胞を提供することが困難であるため、治療計画に影響することもある。

【0015】

一方、細胞を撮影した画像を用いて、細胞の品質を評価する技術が知られている。例えば、参考文献１に開示された発明は、上皮細胞や間葉系細胞等の細胞を対象としている。参考文献２に開示された発明は、ｉＰＳ（Induced Pluripotent Stem）細胞およびＥＳ（Embryonic Stem）細胞といった多能性幹細胞、並びに幹細胞から分化誘導された神経、皮膚、心筋及び肝臓等の細胞を対象としている。

【0016】

〔参考文献１〕特許第５１８１３８５号公報
〔参考文献２〕特許第６８０１０００号公報

【0017】

しかしながら、参考文献１、２に開示された発明は、正常細胞の培養に関するものであり、がん細胞の培養に関して品質を評価する方法は提案されていない。正常細胞とがん細胞とは性質が大きく異なる。がん細胞は様々な遺伝子変異をもつ細胞から構成されており、性質の違いは形態の違いにも表れている。したがって、参考文献１、２に開示された発明では、がん細胞の品質を高精度に評価することはできない。

【0018】

本発明の一実施形態は、培養細胞の品質を高精度に評価することを目的とする。例えば、がん細胞の培養においては、培地における細胞間の位置関係や細胞密度だけでなく、個々の細胞の性状のいずれもが非常に重要である。一実施形態によれば、培養細胞を撮影した画像から、大局的な特徴と局所的な特徴とを効率よく捉えることができるため、培養細胞の品質を高精度に評価することができる。

【0019】

［実施形態］
本発明の実施形態は、培養中のがん細胞又はがん初代培養細胞（以下、「培養がん細胞」と呼ぶ）を撮影した画像を撮影順に並べた時系列データ（以下、「細胞画像データ」と呼ぶ）を解析する細胞画像解析システムである。本実施形態における細胞画像解析システムは、細胞画像データに基づいて、当該細胞画像データに撮影されている培養がん細胞が有する増殖能を推定する。本実施形態における増殖能は、培養がん細胞が一定期間内に継代まで到達できるか否かを表す。

【0020】

なお、継代とは、増殖した細胞を新たな培地に移す作業である。継代を行うことで、細胞の更なる増殖が可能となる。継代を行うタイミングは細胞の種類により異なる。本実施形態では、培養プレートの５割から８割程度まで増殖が進んだ段階で継代を行うものとする。

【0021】

＜細胞画像解析システムの全体構成＞
まず、本実施形態における細胞画像解析システムの全体構成を、図１を参照しながら説明する。図１は、本実施形態における細胞画像解析システムの全体構成の一例を示すブロック図である。

【0022】

図１に示されているように、本実施形態における細胞画像解析システム１は、画像取得装置１０及び画像解析装置２０を含む。画像取得装置１０及び画像解析装置２０は、ＬＡＮ（Local Area Network）又はインターネット等の通信ネットワークＮ１を介してデータ通信可能に接続されている。

【0023】

画像取得装置１０は、細胞画像データを取得するＰＣ（Personal Computer）、ワークステーション、サーバ等の情報処理装置である。画像取得装置１０は、ユーザの操作に応じて、がん細胞を培養し、培養中のがん細胞を所定の時間間隔で撮影する。また、画像取得装置１０は、画像解析装置２０からの要求に応じて、撮影した画像を時系列に並べた細胞画像データを出力する。

【0024】

画像解析装置２０は、画像取得装置１０により取得された細胞画像データを解析するＰＣ（Personal Computer）、ワークステーション、サーバ等の情報処理装置である。画像解析装置２０は、画像取得装置１０から解析対象とする細胞画像データを取得する。また、画像解析装置２０は、取得した細胞画像データに基づいて、撮影された培養がん細胞の増殖能を推定し、ユーザに対して出力する。

【0025】

なお、図１に示した細胞画像解析システム１の全体構成は一例であって、用途や目的に応じて様々なシステム構成例があり得る。例えば、画像解析装置２０は、複数台のコンピュータにより実現してもよいし、クラウドコンピューティングのサービスとして実現してもよい。また、例えば、細胞画像解析システム１は、画像取得装置１０及び画像解析装置２０がそれぞれ備えるべき機能を兼ね備えたスタンドアローンの情報処理装置により実現してもよい。

【0026】

＜細胞画像解析システムのハードウェア構成＞
次に、本実施形態における細胞画像解析システム１のハードウェア構成を、図２及び図３を参照しながら説明する。

【0027】

≪コンピュータのハードウェア構成≫
本実施形態における画像解析装置２０は、例えばコンピュータにより実現される。図２は、本実施形態におけるコンピュータ５００のハードウェア構成の一例を示すブロック図である。

【0028】

図２に示されているように、コンピュータ５００は、ＣＰＵ（Central Processing Unit）５０１、ＲＯＭ（Read Only Memory）５０２、ＲＡＭ（Random Access Memory）５０３、ＨＤＤ（Hard Disk Drive）５０４、入力装置５０５、表示装置５０６、通信Ｉ／Ｆ（Interface）５０７及び外部Ｉ／Ｆ５０８を有する。ＣＰＵ５０１、ＲＯＭ５０２及びＲＡＭ５０３は、いわゆるコンピュータを形成する。コンピュータ５００の各ハードウェアは、バスライン５０９を介して相互に接続されている。なお、入力装置５０５及び表示装置５０６は外部Ｉ／Ｆ５０８に接続して利用する形態であってもよい。

【0029】

ＣＰＵ５０１は、ＲＯＭ５０２又はＨＤＤ５０４等の記憶装置からプログラムやデータをＲＡＭ５０３上に読み出し、処理を実行することで、コンピュータ５００全体の制御や機能を実現する演算装置である。

【0030】

ＲＯＭ５０２は、電源を切ってもプログラムやデータを保持することができる不揮発性の半導体メモリ（記憶装置）の一例である。ＲＯＭ５０２は、ＨＤＤ５０４にインストールされている各種プログラムをＣＰＵ５０１が実行するために必要な各種プログラム、データ等を格納する主記憶装置として機能する。具体的には、ＲＯＭ５０２には、コンピュータ５００の起動時に実行されるＢＩＯＳ（Basic Input/Output System）、ＥＦＩ（Extensible Firmware Interface）等のブートプログラムや、ＯＳ（Operating System）設定、ネットワーク設定等のデータが格納されている。

【0031】

ＲＡＭ５０３は、電源を切るとプログラムやデータが消去される揮発性の半導体メモリ（記憶装置）の一例である。ＲＡＭ５０３は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等である。ＲＡＭ５０３は、ＨＤＤ５０４にインストールされている各種プログラムがＣＰＵ５０１によって実行される際に展開される作業領域を提供する。

【0032】

ＨＤＤ５０４は、プログラムやデータを格納している不揮発性の記憶装置の一例である。ＨＤＤ５０４に格納されるプログラムやデータには、コンピュータ５００全体を制御する基本ソフトウェアであるＯＳ、及びＯＳ上において各種機能を提供するアプリケーション等がある。なお、コンピュータ５００はＨＤＤ５０４に替えて、記憶媒体としてフラッシュメモリを用いる記憶装置（例えばＳＳＤ：Solid State Drive等）を利用するものであってもよい。

【0033】

入力装置５０５は、ユーザが各種信号を入力するために用いるタッチパネル、操作キーやボタン、キーボードやマウス、音声等の音データを入力するマイクロホン等である。

【0034】

表示装置５０６は、画面を表示する液晶や有機ＥＬ（Electro-Luminescence）等のディスプレイ、音声等の音データを出力するスピーカ等で構成されている。

【0035】

通信Ｉ／Ｆ５０７は、通信ネットワークに接続し、コンピュータ５００がデータ通信を行うためのインタフェースである。

【0036】

外部Ｉ／Ｆ５０８は、外部装置とのインタフェースである。外部装置には、ドライブ装置５１０等がある。

【0037】

ドライブ装置５１０は、記録媒体５１１をセットするためのデバイスである。ここでいう記録媒体５１１には、ＣＤ－ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体５１１には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。これにより、コンピュータ５００は外部Ｉ／Ｆ５０８を介して記録媒体５１１の読み取り及び／又は書き込みを行うことができる。

【0038】

なお、ＨＤＤ５０４にインストールされる各種プログラムは、例えば、配布された記録媒体５１１が外部Ｉ／Ｆ５０８に接続されたドライブ装置５１０にセットされ、記録媒体５１１に記録された各種プログラムがドライブ装置５１０により読み出されることでインストールされる。あるいは、ＨＤＤ５０４にインストールされる各種プログラムは、通信Ｉ／Ｆ５０７を介して、通信ネットワークとは異なる他のネットワークよりダウンロードされることでインストールされてもよい。

【0039】

≪画像取得装置のハードウェア構成≫
図３は、本実施形態における画像取得装置１０のハードウェア構成の一例を示すブロック図である。図３に示されているように、本実施形態における画像取得装置１０は、培養器１１及び制御装置１２を備える。

【0040】

培養器１１は、ステージ１１１、顕微鏡カメラ１１２及び環境調整装置１１３を有する。ステージ１１１には、がん細胞の培養に用いる培養プレート１１０が載置される。顕微鏡カメラ１１２は、培養プレート１１０内の培養がん細胞を所定の撮影方法で撮影する。顕微鏡カメラ１１２は、例えば、位相差顕微鏡に接続したデジタルカメラである。環境調整装置１１３は、予め設定された培養条件（温度及び湿度等）が維持されるように、培養器１１内の環境を調整する。

【0041】

ステージ１１１、顕微鏡カメラ１１２及び環境調整装置１１３は、制御装置１２が備える外部Ｉ／Ｆ５０８に接続されている。ステージ１１１及び顕微鏡カメラ１１２の少なくとも一方は、培養プレート１１０の所望の箇所を撮影できるように、制御装置１２によって相対位置を制御される。顕微鏡カメラ１１２が撮影した画像は、外部Ｉ／Ｆ５０８を介して制御装置１２に入力される。

【0042】

制御装置１２は、例えばコンピュータにより実現される。制御装置１２は、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、入力装置５０５、表示装置５０６、及び外部Ｉ／Ｆ５０８を有する。ＣＰＵ５０１、ＲＯＭ５０２及びＲＡＭ５０３は、いわゆるコンピュータを形成する。制御装置１２の各ハードウェアは、バスライン５０９を介して相互に接続されている。なお、入力装置５０５及び表示装置５０６は外部Ｉ／Ｆ５０８に接続して利用する形態であってもよい。

【0043】

＜細胞画像解析システムの機能構成＞
続いて、本実施形態における細胞画像解析システムの機能構成を、図４を参照しながら説明する。図４は本実施形態における細胞画像解析システム１の機能構成の一例を示すブロック図である。

【0044】

≪画像取得装置の機能構成≫
図４に示されているように、本実施形態における画像取得装置１０は、撮影部１０１、画像記憶部１０２及び画像出力部１０３を備える。

【0045】

撮影部１０１は、培養がん細胞を所定の時間間隔で撮影する。撮影部１０１は、培養がん細胞を撮影した画像を撮影日時と共に画像記憶部１０２に記憶する。撮影部１０１は、図３に示されているＲＯＭ５０２からＲＡＭ５０３上に展開されたプログラムがＣＰＵ５０１及び顕微鏡カメラ１１２に実行させる処理によって実現される。

【0046】

画像記憶部１０２には、撮影部１０１により撮影された画像が時系列に記憶される。画像記憶部１０２は、図３に示されているＲＡＭ５０３又は外部Ｉ／Ｆ５０８に接続された補助記憶装置等によって実現される。

【0047】

画像出力部１０３は、画像解析装置２０からの要求に応じて、画像記憶部１０２に記憶されている画像を時系列に並べた細胞画像データを出力する。画像出力部１０３が出力する細胞画像データは、画像解析装置２０に入力される。画像出力部１０３は、図３に示されているＲＯＭ５０２からＲＡＭ５０３上に展開されたプログラムがＣＰＵ５０１に実行させる処理によって実現される。

【0048】

≪画像解析装置の機能構成≫
図４に示されているように、本実施形態における画像解析装置２０は、学習データ記憶部２００、画像取得部２０１、前処理部２０２、部分画像生成部２０３、特徴抽出器記憶部２０４、特徴抽出部２０５、特徴結合部２０６、識別器学習部２０７、識別器記憶部２０８、増殖能推定部２０９及び結果出力部２１０を備える。

【0049】

画像取得部２０１、前処理部２０２、部分画像生成部２０３、特徴抽出部２０５、特徴結合部２０６、識別器学習部２０７、増殖能推定部２０９及び結果出力部２１０は、図２に示されているＨＤＤ５０４からＲＡＭ５０３上に展開されたプログラムがＣＰＵ５０１に実行させる処理によって実現される。

【0050】

学習データ記憶部２００、特徴抽出器記憶部２０４及び識別器記憶部２０８は、図２に示されているＨＤＤ５０４によって実現される。

【0051】

学習データ記憶部２００には、識別器を学習するための学習データが予め記憶されている。学習データは、予め収集した学習対象とする細胞画像データと、当該細胞画像データに撮影されている培養がん細胞の培養結果とを対応付けたデータセットである。

【0052】

本実施形態における培養結果は、培養に成功したか失敗したかを表す真理値である。本実施形態において、培養成功とは、培養開始から５０日後に継代できるまで培養が進んだこととする。一方、培養失敗とは、培養開始から５０日後までに継代に至らなかったこととする。

【0053】

画像取得部２０１は、ユーザの操作に応じて、学習データ記憶部２００から学習対象とする細胞画像データを取得する。また、画像取得部２０１は、ユーザの操作に応じて、画像取得装置１０から解析対象とする細胞画像データを取得する。

【0054】

前処理部２０２は、画像取得部２０１により取得された細胞画像データに対して前処理を行う。前処理は、例えば、ノイズ除去等の各種フィルタ処理である。

【0055】

部分画像生成部２０３は、前処理部２０２により前処理が行われた細胞画像データに基づいて、サイズが異なる少なくとも２つの部分画像データを生成する。部分画像生成部２０３は、サイズが異なる３つ以上の部分画像データを生成してもよい。なお、サイズとは、部分画像データの描画サイズを表す。描画サイズは、例えば、縦横のピクセル数である。

【0056】

特徴抽出器記憶部２０４には、学習済みの特徴抽出器が記憶される。特徴抽出器は、所定のサイズの画像を入力とし、当該画像の特徴量を出力する。特徴抽出器は、部分画像生成部２０３が生成する各部分画像データのサイズに対応して予め学習されている。

【0057】

特徴抽出部２０５は、部分画像生成部２０３により生成された部分画像データを、特徴抽出器記憶部２０４に記憶されている特徴抽出器に入力することで、部分画像データの特徴量を抽出する。特徴抽出部２０５は、サイズ毎に、当該サイズで生成された部分画像データを、当該サイズに対応するように学習された特徴抽出器に入力することで、サイズ毎の特徴量を抽出する。

【0058】

特徴結合部２０６は、特徴抽出部２０５により抽出されたサイズ毎の特徴量を結合する。以下、結合された特徴量を「結合特徴量」と呼ぶ。

【0059】

識別器学習部２０７は、学習データに含まれる細胞画像データに基づいて生成された結合特徴量と、当該細胞画像データに対応付けられた培養結果とに基づいて、識別器を学習する。識別器学習部２０７は、学習済みの識別器を識別器記憶部２０８に記憶する。

【0060】

識別器記憶部２０８には、識別器学習部２０７により学習された識別器が記憶される。識別器は、細胞画像データの特徴量を入力とし、当該細胞画像データに撮影されている培養がん細胞が増殖能を有する確率を表す値を出力する。

【0061】

増殖能推定部２０９は、特徴結合部２０６により生成された結合特徴量を、特徴抽出器記憶部２０４に記憶されている識別器に入力することで、細胞画像データに撮影されている培養がん細胞の増殖能を推定する。

【0062】

結果出力部２１０は、増殖能推定部２０９により推定された推定結果を、図２に示されている表示装置５０６等に出力する。結果出力部２１０は、図２に示されている通信Ｉ／Ｆ５０７を用いて外部の装置に推定結果を送信してもよい。

【0063】

＜細胞画像解析システムの処理手順＞
次に、本実施形態における細胞画像解析システム１が実行する細胞画像解析方法の処理手順を、図５乃至図９を参照しながら説明する。本実施形態における細胞画像解析方法は、学習処理（図５参照）及び推定処理（図９参照）からなる。

【0064】

≪学習処理≫
まず、本実施形態における学習処理を、図５を参照しながら説明する。図５は、本実施形態における学習処理の一例を示すフローチャートである。

【0065】

ステップＳ１において、画像解析装置２０が備える画像取得部２０１は、ユーザの操作に応じて、学習データ記憶部２００から学習対象とする細胞画像データを取得する。次に、画像取得部２０１は、取得した細胞画像データを前処理部２０２に送る。

【0066】

本実施形態における細胞画像データは、培養中のがん細胞を所定の時間間隔かつ所定の撮影条件で撮影した画像からなる。なお、本実施形態における時間間隔は、例えば、１日間隔とする。本実施形態における撮影条件は、例えば、撮像倍率を１０倍とする。

【0067】

ここで、本実施形態における細胞画像データについて、図６を参照しながら説明する。図６は、本実施形態における細胞画像データの一例を示す図である。

【0068】

図６に示されているように、本実施形態における細胞画像データは、培養プレート１１０における所定の撮影領域１２０を撮影した画像を、所定の数に分割した分割領域１２１の画像を含む。撮影領域１２０は、複数であってもよい。本実施形態において撮影領域１２０は予め指定した９箇所とする。分割領域１２１は撮影領域１２０の画像を縦横に等分した４箇所である。すなわち、本実施形態では、１つの培養プレート１１０について、１日あたり３６枚の画像が生成される。

【0069】

図５に戻って説明する。ステップＳ２において、画像解析装置２０が備える前処理部２０２は、画像取得部２０１から細胞画像データを受け取る。次に、前処理部２０２は、受け取った細胞画像データに対して前処理を行う。続いて、前処理部２０２は、前処理後の細胞画像データを部分画像生成部２０３に送る。

【0070】

本実施形態における前処理は、例えば、バイラテラルフィルタ処理によるノイズ除去である。前処理は、他のフィルタ処理を行ってもよいし、省略してもよい。

【0071】

ステップＳ３において、画像解析装置２０が備える部分画像生成部２０３は、前処理部２０２から前処理後の細胞画像データを受け取る。次に、部分画像生成部２０３は、受け取った細胞画像データに基づいて、サイズが異なる複数の部分画像データを生成する。続いて、部分画像生成部２０３は、生成した複数の部分画像データを特徴抽出部２０５に送る。

【0072】

ここで、本実施形態における部分画像データについて、図７を参照しながら説明する。図７は、本実施形態における部分画像データの一例を示す図である。

【0073】

図７に示されているように、部分画像データは、細胞画像データの各分割領域１２１から、異なる複数のサイズで、それぞれ複数の部分領域１２２、１２３を切り出す。細胞画像データから部分画像データを切り出す位置は、ランダムに決定してもよいし、所定の規則に従って決定してもよい。図７（Ａ）は、部分領域をランダムに切り出す場合の切り出し位置の一例である。図７（Ｂ）は、部分領域を所定の規則に従って切り出す場合の切り出し位置の一例である。

【0074】

各サイズで切り出す枚数は、画像を代表する程度の枚数があればよい。例えば、画像１枚につき数枚～数十枚程度であればよい。

【0075】

本実施形態では、分割領域１２１のサイズは、例えば、縦1080px（ピクセル）×横1408pxとする。相対的に小さい部分領域１２２のサイズは、例えば、縦128px×横128pxとする。相対的に大きい部分領域１２３のサイズは、例えば、縦768px×横768pxとする。ここでは、分割領域の形状を正方形としたが、任意の形状で切り出してもよい。

【0076】

なお、上記のように培養がん細胞を１０倍で撮像した場合、縦128px×横128pxの画像では、個々の細胞の形状が視認できる程度のサイズである。また、縦768px×横768pxの画像では、他の細胞塊との位置関係が視認できる程度のサイズである。

【0077】

図５に戻って説明する。ステップＳ４において、画像解析装置２０が備える特徴抽出部２０５は、部分画像生成部２０３から部分画像データを受け取る。次に、特徴抽出部２０５は、特徴抽出器記憶部２０４に記憶されている特徴抽出器を読み出す。

【0078】

本実施形態における特徴抽出器は、例えば、畳み込みニューラルネットワーク（CNN; Convolutional Neural Network）である。ただし、特徴抽出器は、畳み込みニューラルネットワークに限定されるものではない。特徴抽出器は、サイズ毎に用意されていれば、画像から特徴量を抽出できる任意の手法を用いることができる。

【0079】

ここで、本実施形態における特徴抽出器について、図８を参照しながら説明する。図８は、本実施形態における特徴抽出器のネットワーク構成の一例を示す図である。

【0080】

図８に示されているように、本実施形態における特徴抽出器６００は、入力層６０１、畳み込み層６１１、活性化関数６１２、プーリング層６１３、畳み込み層６２１、活性化関数６２２、ドロップアウト層４２３、全結合層６２４及び出力層６３１を有する。なお、畳み込み層６１１、活性化関数６１２及びプーリング層６１３は、５組が直列で接続される。本実施形態における活性化関数は、ＲｅＬＵ関数である。

【0081】

図５に戻って説明する。特徴抽出部２０５は、サイズ毎に、部分画像データを特徴抽出器に入力することで、部分画像データのサイズ毎の特徴量を抽出する。特徴抽出部２０５は、部分画像データを特徴抽出器の入力サイズにサイズ変更して、特徴抽出器に入力してもよい。次に、特徴抽出部２０５は、抽出した部分画像データのサイズ毎の特徴量を特徴結合部２０６に送る。

【0082】

ステップＳ５において、画像解析装置２０が備える特徴結合部２０６は、特徴抽出部２０５から部分画像データのサイズ毎の特徴量を受け取る。次に、特徴結合部２０６は、部分画像データのサイズ毎の特徴量を結合し、結合特徴量を生成する。特徴量を結合する際の順番は任意に定めればよい。続いて、特徴結合部２０６は、生成した結合特徴量を識別器学習部２０７に送る。

【0083】

ステップＳ６において、画像解析装置２０が備える識別器学習部２０７は、特徴結合部２０６から結合特徴量を受け取る。次に、識別器学習部２０７は、学習データ記憶部２００から結合特徴量に対応する培養結果を読み出す。続いて、識別器学習部２０７は、受け取った結合特徴量と、読み出した培養結果とに基づいて、識別器を学習する。

【0084】

本実施形態における識別器は、例えば、ソフトマックス関数である。ただし、識別器はソフトマックス関数に限定されるものではない。例えば、識別器は、サポートベクターマシン又はランダムフォレスト等、他の機械学習手法に基づくモデルであってもよい。

【0085】

ステップＳ７において、画像解析装置２０が備える識別器学習部２０７は、ステップＳ６で学習した識別器を識別器記憶部２０８に記憶する。

【0086】

≪推定処理≫
次に、本実施形態における推定処理を、図９を参照しながら説明する。図９は、本実施形態における推定処理の一例を示すフローチャートである。

【0087】

ステップＳ１１において、画像取得装置１０が備える撮影部１０１は、培養器１１にセットされた培養プレート１１０内の培養がん細胞を、所定の時間間隔かつ所定の撮影条件で撮影する。撮影部１０１が用いる時間間隔及び撮影条件は、学習データとした細胞画像データを撮影した際に用いた時間間隔及び撮影条件と同様である。

【0088】

ステップＳ１２において、画像解析装置２０が備える画像取得部２０１は、ユーザの操作に応じて、解析対象とする細胞画像データを画像取得装置１０に要求する。

【0089】

ステップＳ１３において、画像取得装置１０が備える画像出力部１０３は、画像解析装置２０からの要求に応じて、画像記憶部１０２に記憶されている画像を読み出す。次に、画像出力部１０３は、読み出した画像を時系列に並べることで、細胞画像データを生成する。続いて、画像出力部１０３は、生成した細胞画像データを画像解析装置２０に出力する。

【0090】

画像解析装置２０では、画像取得部２０１が細胞画像データの入力を受け付ける。画像取得部２０１は、受け付けた細胞画像データを前処理部２０２に送る。

【0091】

ステップＳ１４において、画像解析装置２０が備える前処理部２０２は、画像取得部２０１から細胞画像データを受け取る。次に、前処理部２０２は、受け取った細胞画像データに対して前処理を行う。続いて、前処理部２０２は、前処理後の細胞画像データを部分画像生成部２０３に送る。

【0092】

ステップＳ１５において、画像解析装置２０が備える部分画像生成部２０３は、前処理部２０２から前処理後の細胞画像データを受け取る。次に、部分画像生成部２０３は、受け取った細胞画像データに基づいて、サイズが異なる複数の部分画像データを生成する。続いて、部分画像生成部２０３は、生成した複数の部分画像データを特徴抽出部２０５に送る。

【0093】

ステップＳ１６において、画像解析装置２０が備える特徴抽出部２０５は、部分画像生成部２０３から部分画像データを受け取る。次に、特徴抽出部２０５は、特徴抽出器記憶部２０４に記憶されている特徴抽出器を読み出す。

【0094】

続いて、特徴抽出部２０５は、サイズ毎に、部分画像データを特徴抽出器に入力することで、部分画像データのサイズ毎の特徴量を抽出する。次に、特徴抽出部２０５は、抽出した部分画像データのサイズ毎の特徴量を特徴結合部２０６に送る。

【0095】

ステップＳ１７において、画像解析装置２０が備える特徴結合部２０６は、特徴抽出部２０５から部分画像データのサイズ毎の特徴量を受け取る。次に、特徴結合部２０６は、部分画像データのサイズ毎の特徴量を結合し、結合特徴量を生成する。続いて、特徴結合部２０６は、生成した結合特徴量を増殖能推定部２０９に送る。

【0096】

ステップＳ１８において、画像解析装置２０が備える増殖能推定部２０９は、特徴結合部２０６から結合特徴量を受け取る。次に、増殖能推定部２０９は、識別器記憶部２０８に記憶されている識別器を読み出す。

【0097】

続いて、増殖能推定部２０９は、受け取った結合特徴量を識別器に入力することで、細胞画像データに撮影されている培養がん細胞の増殖能を推定する。具体的には、増殖能推定部２０９は、培養がん細胞が培養に成功する確率を表す確率値を計算する。次に、増殖能推定部２０９は、増殖能の推定結果を結果出力部２１０に送る。

【0098】

ステップＳ１９において、画像解析装置２０が備える結果出力部２１０は、増殖能推定部２０９から増殖能の推定結果を受け取る。次に、結果出力部２１０は、受け取った増殖能の推定結果を、細胞画像データの解析結果として表示装置５０６等に出力する。

【0099】

＜実施形態の効果＞
本実施形態における細胞画像解析システムは、培養中の細胞を撮影した画像を時系列に並べた細胞画像データからサイズの異なる複数の部分画像データを生成し、サイズ毎に部分画像データから抽出した特徴量に基づいて、培養がん細胞の増殖能を推定する。このように構成することにより、本実施形態における細胞画像解析システムによれば、培養細胞の増殖能の有無を高精度に推定することができる。

【0100】

大きいサイズの部分画像データから抽出した特徴量は、細胞画像データの大局的な特徴を表しており、小さいサイズの部分画像データから抽出した特徴量は、細胞画像データの局所的な特徴を表している。本実施形態における細胞画像解析システムは、サイズの異なる部分画像データから抽出した特徴量を同時に用いることで、大局的な特徴と局所的な特徴とを効率的に捉えることができる。

【0101】

［変形例］
実施形態における細胞画像解析システム１では、一定の倍率で培養がん細胞を撮影した細胞画像データを、異なるサイズの部分領域を切り出すことで部分画像データを生成するように構成した。変形例における細胞画像解析システム１では、画像取得装置１０が異なる撮像倍率で培養がん細胞を撮影し、複数の細胞画像データを生成するように構成する。画像解析装置２０では、画像取得装置１０から複数の細胞画像データを取得し、部分画像データとして扱うように構成する。

【0102】

変形例における画像取得装置１０は、実施形態における画像取得装置１０と比較すると、部分画像生成部２０３を備えない点が異なる。

【0103】

変形例における撮影部１０１は、培養がん細胞を所定の時間間隔で撮影する際に、複数の異なる撮像倍率で撮影を行う。撮像倍率は、実施形態における部分画像生成部２０３が生成した部分画像データと同様のサイズとなるように設定する。例えば、撮影部１０１は、個々の細胞の形状が視認できる程度の撮像倍率と、他の細胞塊との位置関係が視認できる程度の撮像倍率とで、培養がん細胞を撮影する。

【0104】

変形例における撮影部１０１は、培養がん細胞の撮像位置を、部分画像生成部２０３が部分領域を切り出した位置と同様に決定する。したがって、撮影部１０１は、撮像位置をランダムに決定してもよいし、所定の規則に従って決定してもよい。

【0105】

変形例における画像出力部１０３は、画像解析装置２０からの要求に応じて、画像記憶部１０２に記憶されている画像を読み出す。次に、画像出力部１０３は、読み出した画像を撮像倍率毎に時系列に並べることで、複数の部分画像データを生成する。続いて、画像出力部１０３は、生成した複数の部分画像データを画像解析装置２０に出力する。

【0106】

変形例における画像取得部２０１は、複数の部分画像データの入力を受け付ける。画像取得部２０１は、受け付けた複数の部分画像データを前処理部２０２に送る。

【0107】

変形例における前処理部２０２は、画像取得部２０１から複数の部分画像データを受け取る。次に、前処理部２０２は、受け取った複数の部分画像データに対して前処理を行う。続いて、前処理部２０２は、前処理後の部分画像データを特徴抽出部２０５に送る。以降の処理は、実施形態における細胞画像解析システム１と同様である。

【0108】

［実施例］
実施形態における細胞画像解析システムを、培養がん細胞を撮影した細胞画像データに適用した実施例について、図１０を参照しながら説明する。図１０は、条件が異なる２つの実施例（実施例１、２）及び２つの比較例（比較例１、２）による、４つの解析結果を比較した図である。

【0109】

実施例及び比較例すべてにおいて、細胞画像データのサイズを縦1080px×横1408pxとした。実施例１、２では、部分画像データのサイズを、縦128px×横128px及び縦768px×横768pxとした。比較例１では、部分画像データのサイズを、縦128px×横128pxとした。比較例２では、部分画像データのサイズを、縦768px×横768pxとした。

【0110】

実施例１及び比較例１、２では、培養初日から７日間の８個の画像からなる細胞画像データを用いた。実施例２では、培養初日から３日間の４個の画像からなる細胞画像データを用いた。ここで、検証に用いた細胞画像データは、学習時には使用していない培養検体から取得した画像データである。なお、実施例１及び比較例１、２では、これら検体の画像データから、培養成功と失敗の画像サンプル数がおおよそ半々となるよう、それぞれ１０００サンプル取得し、予測結果と実際の培養結果との比較検証を行った。実施例２では、同様に取得した７００サンプルで検証を行った。

【0111】

したがって、実施例と比較例とは、部分画像データを生成するサイズの数が異なる。実施例１と実施例２とは、細胞画像データの撮影日数が異なる。比較例１と比較例２とは、部分画像データを生成するサイズが異なる。

【0112】

図１０（Ａ）は、実施例１、２及び比較例１、２それぞれの予測精度（正解率）を比較した表である。正解率は、全件数のうち、実結果と推定結果が一致した件数の割合である。

【0113】

図１０（Ａ）に示されているように、実施例の方が比較例よりも予測精度が高い結果となった。また、実施例１と実施例２では、予測精度は同程度であった。

【0114】

図１０（Ｂ）は、実施例１、２及び比較例１、２それぞれの推定結果と実際の結果（実結果）をクラス分類した混同行列である。図１０（Ｂ）は、混同行列に基づいて培養成功を正として算出した再現率、適合率及び予測精度（Ｆ値）も示している。

【0115】

なお、図１０（Ｂ）に示した混同行列において、実結果と推定結果がいずれも「培養ＯＫ」である値は、真陽性（ＴＰ）を表す。実結果と推定結果がいずれも「培養ＮＧ」である値は、真陰性（ＴＮ）を表す。実結果が「培養ＮＧ」であり推定結果が「培養ＯＫ」である値は、偽陽性（ＦＰ）を表す。実結果が「培養ＯＫ」であり推定結果が「培養ＮＧ」である値は、偽陰性（ＦＮ）を表す。

【0116】

図１０（Ｂ）に示した再現率は、正を正と予測した割合である。再現率Ｒは、Ｒ＝ＴＰ／（ＴＰ＋ＦＮ）で表される。適合率は、正と予測したうち正である割合である。適合率Ｐは、Ｐ＝ＴＰ／（ＴＰ＋ＦＰ）で表される。Ｆ値は、再現率Ｒと適合率Ｐの調和平均である。Ｆ値は、２×（Ｒ×Ｐ）／（Ｒ＋Ｐ）で表される。

【0117】

図１０（Ｂ）に示されているように、いずれの解析結果においても、実施例の方が比較例よりも予測精度が高い結果となった。また、実施例１と実施例２では、予測精度は同程度であった。

【0118】

したがって、図１０に示されている解析結果から、サイズの異なる複数の部分画像データから特徴量を抽出することで推定精度が向上することが示された。また、撮影日数は３日以上であれば十分な精度で推定することが可能であることが示された。

【0119】

［補足］
上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたＡＳＩＣ（Application Specific Integrated Circuit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）や従来の回路モジュール等の機器を含むものとする。

【0120】

以上、本発明の実施の形態について詳述したが、本発明はこれらの実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形又は変更が可能である。

【符号の説明】

【0121】

１ 細胞画像解析システム
１０ 画像取得装置
１０１ 撮影部
１０２ 画像記憶部
１０３ 画像出力部
２０ 画像解析装置
２０１ 画像取得部
２０２ 前処理部
２０３ 部分画像生成部
２０４ 特徴抽出器記憶部
２０５ 特徴抽出部
２０６ 特徴結合部
２０７ 識別器学習部
２０８ 識別器記憶部
２０９ 増殖能推定部
２１０ 結果出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】