(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-05-02
(45)【発行日】2024-05-14
(54)【発明の名称】細胞画像分析システム、細胞画像分析装置及び細胞画像分析プログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20240507BHJP
G16H 30/20 20180101ALI20240507BHJP
【FI】
G06T7/00 630
G16H30/20
(21)【出願番号】P 2023120365
(22)【出願日】2023-07-25
【審査請求日】2023-11-13
【早期審査対象出願】
【前置審査】
(73)【特許権者】
【識別番号】523281283
【氏名又は名称】株式会社Quastella
(74)【代理人】
【識別番号】110004093
【氏名又は名称】弁理士法人アクセル特許事務所
(72)【発明者】
【氏名】加藤 竜司
(72)【発明者】
【氏名】竹本 悠人
【審査官】佐藤 実
(56)【参考文献】
【文献】特開2015-065822(JP,A)
【文献】特開2013-152699(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00
G16H 30/20
C12M 1/34
(57)【特許請求の範囲】
【請求項1】
細胞画像分析システムが実行する細胞画像分析方法であって、
ユーザ端末からアップロードされた複数の細胞画像を含む細胞画像群
が格納されたフォルダを取得する取得ステップと、
前記細胞画像にユーザがユーザメタデータを付与するための画面を表示する表示ステップと、
前記細胞画像と前記ユーザが付与した前記ユーザメタデータとを対応づけて記憶する記憶ステップと、
前記細胞画像群のフォルダ構造から得られるデータを抽出し、ファイルメタデータとして各細胞画像に付与する付与ステップと、
を含む細胞画像分析方法。
【請求項2】
前記ユーザメタデータは、前記ユーザが付与した前記細胞画像に関するデータである
請求項1に記載の細胞画像分析方法。
【請求項3】
前記ユーザメタデータは、細胞種別を含む
請求項1に記載の細胞画像分析方法。
【請求項4】
前記細胞画像に、前記細胞画像を画像解析することにより得られるデータである画像メタデータを付与する付与ステップをさらに含む
請求項1に記載の細胞画像分析方法。
【請求項5】
前記細胞画像群に、前記ユーザメタデータ、ファイルメタデータ及び画像メタデータの少なくとも1つを統計処理することにより得られるデータである統計メタデータを付与する付与ステップをさらに含む
請求項1に記載の細胞画像分析方法。
【請求項6】
前記ユーザメタデータ、ファイルメタデータ、画像メタデータ及び統計メタデータの少なくとも1つに基づいて、前記細胞画像群を分析し、分析結果を表示する表示ステップをさらに含む
請求項1に記載の細胞画像分析方法。
【請求項7】
前記ユーザメタデータ、ファイルメタデータ及び画像メタデータの少なくとも1つを一覧表示するメタデータ表示画面を表示する表示ステップをさらに含む
請求項1に記載の細胞画像分析方法。
【請求項8】
前記ユーザメタデータ、ファイルメタデータ、画像メタデータ、統計メタデータ及び前記細胞画像群の分析結果の少なくとも1つに基づいて、前記ユーザに対するアドバイスを生成する
請求項1に記載の細胞画像分析方法。
【請求項9】
ユーザ端末からアップロードされた複数の細胞画像を含む細胞画像群
が格納されたフォルダを取得する取得部と、
前記細胞画像にユーザがユーザメタデータを付与するための画面を表示する表示部と、
前記細胞画像と前記ユーザが付与した前記ユーザメタデータとを対応づけて記憶する記憶部と、
前記細胞画像群のフォルダ構造から得られるデータを抽出し、ファイルメタデータとして各細胞画像に付与する付与部と、
を備える細胞画像分析システム。
【請求項10】
ユーザ端末からアップロードされた複数の細胞画像を含む細胞画像群
が格納されたフォルダを取得する取得ステップと、
前記細胞画像にユーザがユーザメタデータを付与するための画面を表示する表示ステップと、
前記細胞画像と前記ユーザが付与した前記ユーザメタデータとを対応づけて記憶する記憶ステップと、
前記細胞画像群のフォルダ構造から得られるデータを抽出し、ファイルメタデータとして各細胞画像に付与する付与ステップと、
を含む細胞画像分析方法を細胞画像分析システムに実行させる細胞画像分析プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、細胞画像分析システム、細胞画像分析装置及び細胞画像分析プログラムに関する。
【背景技術】
【0002】
従来、細胞画像を分析するためのシステムが利用されている。引用文献1には、分析装置により取得された分析データを選択する操作を受け付ける制御と、選択された前記分析データについて解析を行うスクリプトを複数選択する操作を受け付ける制御と、選択された前記分析データについて選択された複数の前記スクリプトにより並列的に解析を実行する制御と、を行う制御部と、前記制御部による前記分析データの解析により取得された解析結果を同一画面上に表示する表示部と、を備える、データ解析装置が開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
細胞画像を適切に分析するためには、細胞画像の撮影者や撮影倍率などの情報が不可欠である。しかしながら、従来、これらの情報はノートなどで管理されている場合が多く、分析者がノートの記載をもとに分析対象とする細胞画像を適切に仕分けない限り、細胞画像を適切に分析することはできなかった。そして、このような仕分け作業は、分析者に、分析方法ごとに細胞画像を仕分けるための知識を要求するとともに、大量の画像を手作業で分類する手間がかかるため、分析者にとって大きな負担となっていた。
【0005】
本発明は、上記の課題を鑑みてなされたものであり、細胞画像の分析に必要なデータの管理を容易にすることを目的とする。
【課題を解決するための手段】
【0006】
一実施形態にかかる細胞画像分析方法は、細胞画像分析システムが実行する細胞画像分析方法であって、複数の細胞画像を含む細胞画像群を取得する取得ステップと、前記細胞画像にユーザがユーザメタデータを付与するための画面を表示する表示ステップと、前記細胞画像と前記ユーザが付与した前記ユーザメタデータとを対応づけて記憶する記憶ステップと、を含む。
【発明の効果】
【0007】
一実施形態によれば、細胞画像の分析に必要なデータの管理を容易にすることができる。
【図面の簡単な説明】
【0008】
【
図1】細胞画像分析システム1000の構成の一例を示す図である。
【
図2】細胞画像分析装置1のハードウェア構成の一例を示す図である。
【
図3】ユーザ端末2のハードウェア構成の一例を示す図である。
【
図4】細胞画像分析装置1の機能構成の一例を示す図である。
【
図5】ユーザ端末2の機能構成の一例を示す図である。
【
図6】細胞画像分析システム1000が実行する処理の一例を示すフローチャートである。
【
図9】メタデータ表示画面の一例を示す図である。院試
【発明を実施するための形態】
【0009】
以下、本発明の各実施形態について、添付の図面を参照しながら説明する。なお、各実施形態に係る明細書及び図面の記載に関して、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
【0010】
<細胞画像分析システム1000の構成>
まず、本実施形態に係る細胞画像分析システム1000の概要について説明する。細胞画像分析システム1000は、撮影者が撮影した複数の細胞画像を含む細胞画像群を分析するための情報処理システムである。細胞画像群は、複数の細胞画像のまとまりである。細胞画像は、培養実験などで培養された細胞を顕微鏡などの撮影装置で撮影した画像である。
【0011】
図1は、細胞画像分析システム1000の構成の一例を示す図である。
図1に示すように、細胞画像分析システム1000は、ネットワークNを介して相互に通信可能に接続された、細胞画像分析装置1と、ユーザ端末2と、を備える。ネットワークNは、例えば、有線LAN(Local Area Network)、無線LAN、インターネット、公衆回線網、モバイルデータ通信網、又はこれらの組み合わせである。
図1の例では、細胞画像分析システム1000は、細胞画像分析装置1及びユーザ端末2をそれぞれ1つずつ備えるが、それぞれ複数備えてもよい。
【0012】
細胞画像分析装置1は、細胞画像を分析する情報処理装置である。細胞画像分析装置1は、例えば、PC(Personal Computer)、スマートフォン、タブレット端末、サーバ装置、又はマイクロコンピューであるが、これに限られない。
【0013】
ユーザ端末2は、細胞画像分析システム1000のユーザが操作する情報処理装置である。ユーザは、例えば、細胞画像の撮影者であるが、これに限られない。ユーザ端末2は、例えば、PC、スマートフォン又はタブレット端末であるが、これに限られない。ユーザは、ユーザ端末2から細胞画像分析装置1に細胞画像をアップロードする。細胞画像分析装置1は、ユーザ端末2からアップロードされた細胞画像を分析する。ユーザ端末2は、細胞画像分析装置1による細胞画像の分析結果を表示する。
【0014】
<細胞画像分析装置1のハードウェア構成>
次に、細胞画像分析装置1のハードウェア構成について説明する。
図2は、細胞画像分析装置1のハードウェア構成の一例を示す図である。
図2に示すように、細胞画像分析装置1は、バスB1を介して相互に接続された、プロセッサ101と、メモリ102と、ストレージ103と、通信I/F104と、入力装置105と、出力装置106と、ドライブ装置107と、を備える。
【0015】
プロセッサ101は、ストレージ103に記憶されたOS(Operating System)及び細胞画像分析プログラムを含む各種のプログラムをメモリ102に展開して実行することにより、細胞画像分析装置1の各構成を制御し、細胞画像分析装置1の機能を実現する。プロセッサ101は、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、GPU(Graphics Processing Unit)、ASIC(Application Specific Integrated Circuit)又はDSP(Digital Signal Processor)であるが、これに限られない。
【0016】
メモリ102は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、又はこれらの組み合わせである。ROMは、例えば、PROM(Programmable ROM)、EPROM(Erasable Programmable ROM)、EEPROM(Electrically Erasable Programmable ROM)、又はこれらの組み合わせである。RAMは、例えば、DRAM(Dynamic RAM)又はSRAM(Static RAM)であるが、これに限られない。
【0017】
ストレージ103は、OS及び細胞画像分析プログラムを含む各種のプログラム及びデータを記憶する。ストレージ103は、例えば、フラッシュメモリ、HDD(Hard Disk Drive)、SSD(Solid State Drive)又はSCM(Storage Class Memories)であるが、これに限られない。
【0018】
通信I/F104は、細胞画像分析装置1を、ネットワークNを介して外部装置に接続し、通信を制御するためのインタフェースである。通信I/F104は、例えば、Bluetooth(登録商標)、Wi-Fi(登録商標)、ZigBee(登録商標)又はEthernet(登録商標)であるが、これに限られない。
【0019】
入力装置105は、細胞画像分析装置1に情報を入力するための装置である。入力装置105は、例えば、マウス、キーボード、タッチパネル、マイク、スキャナ、撮影装置(カメラ)、各種センサ又は操作ボタンであるが、これに限られない。
【0020】
出力装置106は、細胞画像分析装置1から情報を出力するための装置である。出力装置106は、例えば、表示装置(ディスプレイ)、プロジェクタ、プリンタ、スピーカ又はバイブレータであるが、これに限られない。
【0021】
ドライブ装置107は、記録メディア108のデータを読み書きする装置である。ドライブ装置107は、例えば、磁気ディスクドライブ、光学ディスクドライブ、光磁気ディスクドライブ又はSDカードリーダであるが、これに限られない。記録メディア108は、例えば、CD(Compact Disc)、DVD(Digital Versatile Disc)、FD(Floppy Disk)、MO(Magneto-Optical disk)、BD(Blu-ray(登録商標) Disc)、USB(登録商標)メモリ又はSDカードであるが、これに限られない。
【0022】
なお、本実施形態において、細胞画像分析プログラムは、細胞画像分析装置1の製造段階でメモリ102又はストレージ103に書き込まれてもよいし、ネットワークNを介して細胞画像分析装置1に提供されてもよいし、記録メディア108などの非一時的でコンピュータ読み取り可能な記録媒体を介して細胞画像分析装置1に提供されてもよい。
【0023】
<ユーザ端末2のハードウェア構成>
次に、ユーザ端末2のハードウェア構成について説明する。
図3は、ユーザ端末2のハードウェア構成の一例を示す図である。
図3に示すように、ユーザ端末2は、バスB2を介して相互に接続された、プロセッサ201と、メモリ202と、ストレージ203と、通信I/F204と、入力装置205と、出力装置206と、ドライブ装置207と、を備える。
【0024】
プロセッサ201は、ストレージ203に記憶されたOS及び細胞画像分析プログラムを含む各種のプログラムをメモリ202に展開して実行することにより、ユーザ端末2の各構成を制御し、ユーザ端末2の機能を実現する。プロセッサ201は、例えば、CPU、MPU、GPU、ASIC又はDSPであるが、これに限られない。
【0025】
メモリ202は、例えば、ROM、RAM、又はこれらの組み合わせである。ROMは、例えば、PROM、EPROM、EEPROM、又はこれらの組み合わせである。RAMは、例えば、DRAM又はSRAMであるが、これに限られない。
【0026】
ストレージ203は、OS及び細胞画像分析プログラムを含む各種のプログラム及びデータを記憶する。ストレージ203は、例えば、フラッシュメモリ、HDD、SSD又はSCMであるが、これに限られない。
【0027】
通信I/F204は、ユーザ端末2を、ネットワークNを介して外部装置に接続し、通信を制御するためのインタフェースである。通信I/F204は、例えば、Bluetooth(登録商標)、Wi-Fi(登録商標)、ZigBee(登録商標)又はEthernet(登録商標)であるが、これに限られない。
【0028】
入力装置205は、ユーザ端末2に情報を入力するための装置である。入力装置205は、例えば、マウス、キーボード、タッチパネル、マイク、スキャナ、撮影装置(カメラ)、各種センサ又は操作ボタンであるが、これに限られない。
【0029】
出力装置206は、ユーザ端末2から情報を出力するための装置である。出力装置206は、例えば、表示装置(ディスプレイ)、プロジェクタ、プリンタ、スピーカ又はバイブレータであるが、これに限られない。ユーザ端末2は、出力装置206として、表示装置206Dを備える。
【0030】
ドライブ装置207は、記録メディア208のデータを読み書きする装置である。ドライブ装置207は、例えば、磁気ディスクドライブ、光学ディスクドライブ、光磁気ディスクドライブ又はSDカードリーダであるが、これに限られない。記録メディア208は、例えば、CD、DVD、FD、MO、BD、USB(登録商標)メモリ又はSDカードであるが、これに限られない。
【0031】
なお、本実施形態において、細胞画像分析プログラムは、ユーザ端末2の製造段階でメモリ202又はストレージ203に書き込まれてもよいし、ネットワークNを介してユーザ端末2に提供されてもよいし、記録メディア208などの非一時的でコンピュータ読み取り可能な記録媒体を介してユーザ端末2に提供されてもよい。
【0032】
<細胞画像分析装置1の機能構成>
次に、細胞画像分析装置1の機能構成について説明する。
図4は、細胞画像分析装置1の機能構成の一例を示す図である。
図4に示すように、細胞画像分析装置1は、通信部11と、記憶部12と、制御部13と、を備える。
【0033】
通信部11は、通信I/F104により実現される。通信部11は、ネットワークNを介して、ユーザ端末2との間で情報の送受信を行う。通信部11は、ユーザ端末2から細胞画像群データ221を受信し、ユーザ端末2に分析結果データ126等を送信する。
【0034】
記憶部12は、メモリ102及びストレージ103により実現される。記憶部12は、細胞画像群データ121と、ユーザメタデータ122と、ファイルメタデータ123と、画像メタデータ124と、統計メタデータ125と、分析結果データ126と、アドバイスデータ127と、を記憶する。
【0035】
細胞画像群データ121は、細胞画像群のデータ(フォルダ)であり、細胞画像を撮影した撮影装置により生成された、複数の画像ファイルのまとまりである。各画像ファイルは、撮影された細胞画像の画像データと、撮影装置により付与された撮影条件に関するデータと、を含む。撮影条件に関するデータは、例えば、倍率、視野数、繰り返し数、撮影機種名、カメラ情報、解像度、撮影日時、光学系の種類(位相差、明視野、蛍光、微分干渉、近赤外、ラマン分光など)を示すデータを含むが、これに限られない。
【0036】
ユーザメタデータ122は、ユーザが付与した細胞画像に関するデータである。ユーザメタデータ122は、細胞画像と対応づけて記憶される。ユーザメタデータ122は、たとえば、研究に関するデータ(分析目的、プロジェクト、関与人数など)、培養に関するデータ(細胞種別、培養目的(増殖、分化)など)、培養環境に関するデータ(培地、試薬、薬剤、容器、装置など)、撮影条件に関するデータ(倍率、視野数、繰り返し数、撮影機種名、カメラ情報、解像度、撮影日時、光学系の種類(位相差、明視野、蛍光、微分干渉、近赤外、ラマン分光)など)、及びユーザコメントを示すデータ(実験成功の可否、実験で気付いたこと、今後やりたいこと、反省点、課題点など)を含むが、これに限られない。
【0037】
ファイルメタデータ123は、細胞画像自体を分析せずに、細胞画像の画像データから得られるデータである。ファイルメタデータ123は、細胞画像と対応づけて記憶される。ファイルメタデータ123は、例えば、撮影装置により付与された撮影条件に関するデータ、細胞画像群データ121のフォルダ構造から得られるデータ(研究目的、プロジェクト名、関与人数)を含むが、これに限られない。撮影条件に関するデータは、例えば、倍率、視野数、繰り返し数、撮影機種名、カメラ情報、解像度、撮影日時、光学系の種類(位相差、明視野、蛍光、微分干渉、近赤外、ラマン分光)を示すデータを含むが、これに限られない。
【0038】
画像メタデータ124は、細胞画像を画像解析することにより得られるデータである。画像メタデータ124は、細胞画像と対応づけて記憶される。画像メタデータ124は、輝度(最大値、最小値、ばらつき)、各細胞の状態(形態、テクスチャ)、細胞集団の状態(形態、テクスチャの統計値、細胞集団の分布)、細胞集団の品質(ヒストグラムの異常の有無、ゴミの有無、輝度ムラの有無)を示すデータを含むが、これに限られない。
【0039】
統計メタデータ125は、ユーザメタデータ122、ファイルメタデータ123及び画像メタデータ124の少なくとも1つを統計処理することにより得られるデータである。統計メタデータ125は、細胞画像群データ121と対応づけて記憶される。統計メタデータ125は、例えば、細胞画像群データ121の細胞種別数、撮影者数及び細胞画像数であるが、これに限られない。
【0040】
分析結果データ126は、細胞画像群の分析結果を示す情報である。分析結果データ126は、細胞画像群データ121と対応づけて記憶される。分析結果データ126は、細胞の成長率及び成長曲線、経時曲線の安定性、Replicateデータのばらつき、メタデータの整合性、細胞集団間のずれ、細胞集団の規格化度合い、適した解析方法(機械学習、線形解析など)、グラフ化の成否、解析方法の信頼度(データ量・データ品質など)を含むが、これに限られない。分析結果データ126は、統計メタデータ125に含まれてもよい。
【0041】
アドバイスデータ127は、ユーザメタデータ122、ファイルメタデータ123、画像メタデータ124及び統計メタデータ125の少なくとも1つに基づいて生成された、ユーザへのアドバイスを示すデータである。アドバイスデータ127は、細胞画像群データ121と対応づけて記憶される。アドバイスは、例えば、メタデータごとの細胞画像の過不足、偏り及び細胞画像の品質に関するものを含むが、これに限られない。
【0042】
制御部13は、プロセッサ101がメモリ102からプログラムを読み出して実行し、他のハードウェア構成と協働することにより実現される。制御部13は、取得部131と、付与部132と、画像解析部133と、分析部134と、アドバイス部135と、を備える。
【0043】
取得部131は、ユーザ端末2から細胞画像群データ221を取得し、細胞画像群データ121として記憶部12に保存する。
【0044】
付与部132は、細胞画像にファイルメタデータ123及び画像メタデータ124を付与し、細胞画像群データ121に統計メタデータ125を付与し、記憶部12に保存する。
【0045】
画像解析部133は、細胞画像群データ121に含まれる細胞画像を画像解析する。すなわち、画像解析部133は、細胞画像群データ121に含まれる細胞画像を画像処理し、得られたデータを解析する。画像解析部133は、例えば、細胞画像を2値化し、2値化画像を計測することにより、画像メタデータ124を取得する。なお、画像解析部133は、任意の方法で細胞画像を画像解析することができる。
【0046】
分析部134は、細胞画像群データ121を分析し、分析結果を分析結果データ126として細胞画像群データ121と対応づけて記憶部12に保存する。分析結果は、例えば、細胞の成長率及び成長曲線であるが、これに限られない。分析部134は、機械学習、線形解析など、任意の方法で細胞画像群を分析することができる。
【0047】
アドバイス部135は、ユーザメタデータ122、ファイルメタデータ123、画像メタデータ124、統計メタデータ125及び分析結果データ126の少なくとも1つに基づいて、ユーザへのアドバイスを生成し、アドバイスデータ127として細胞画像群データ121と対応づけて記憶部12に保存する。
【0048】
なお、細胞画像分析装置1の機能構成は、上記の例に限られない。例えば、細胞画像分析装置1は、上記の機能構成の一部を備え、残りをユーザ端末2が備えてもよい。また、細胞画像分析装置1は、上記以外の機能構成を備えてもよい。また、細胞画像分析装置1の各機能構成は、上記の通り、ソフトウェアにより実現されてもよいし、ICチップ、SoC(System on Chip)、LSI(Large Scale Integration)、マイクロコンピュータ等のハードウェアによって実現されてもよい。
【0049】
<ユーザ端末2の機能構成>
次に、ユーザ端末2の機能構成について説明する。
図5は、ユーザ端末2の機能構成の一例を示す図である。
図5に示すように、ユーザ端末2は、通信部21と、記憶部22と、制御部23と、を備える。
【0050】
通信部21は、通信I/F204により実現される。通信部21は、ネットワークNを介して、細胞画像分析装置1との間で情報の送受信を行う。通信部21は、細胞画像分析装置1に細胞画像群データ221を送信し、細胞画像分析装置1から分析結果データ126等を受信する。
【0051】
記憶部22は、メモリ202及びストレージ203により実現される。記憶部22は、細胞画像群データ221と、ユーザメタデータ222と、を記憶する。
【0052】
細胞画像群データ221は、細胞画像群のデータ(フォルダ)であり、細胞画像を撮影した撮影装置により生成された、複数の画像ファイルのまとまりである。各画像ファイルは、撮影された細胞画像の画像データと、撮影装置により付与された撮影条件に関するデータと、を含む。撮影条件に関するデータは、例えば、倍率、視野数、繰り返し数、撮影機種名、カメラ情報、解像度、撮影日時、光学系の種類(位相差、明視野、蛍光、微分干渉、近赤外、ラマン分光)を示すデータを含むが、これに限られない。
【0053】
ユーザメタデータ222は、ユーザが付与した細胞画像に関するデータである。ユーザメタデータ222は、細胞画像と対応づけて記憶される。ユーザメタデータ222は、研究に関するデータ(研究目的、プロジェクト、関与人数など)、培養に関するデータ(細胞種別、培養目的(増殖、分化)など)、培養環境に関するデータ(培地、試薬、薬剤、容器、装置など)、撮影条件に関するデータ(倍率、視野数、繰り返し数、撮影機種名、カメラ情報、解像度、撮影日時、光学系の種類(位相差、明視野、蛍光、微分干渉、近赤外、ラマン分光)など)、及びユーザコメントを示すデータ(実験成功の可否、実験で気付いたこと、今後やりたいこと、反省点、課題点など)を含むが、これに限られない。
【0054】
制御部23は、プロセッサ201がメモリ202からプログラムを読み出して実行し、他のハードウェア構成と協働することにより実現される。制御部23は、ユーザ端末2の動作全体を制御する。制御部23は、取得部231と、表示部232と、を備える。
【0055】
取得部231は、記録メディア208、入力装置205として接続された撮影装置又はネットワークNを介して接続された外部端末から細胞画像群データ221を取得し、記憶部12に保存する。
【0056】
表示部232は、表示装置206Dに各種の画面を表示する。
【0057】
なお、ユーザ端末2の機能構成は、上記の例に限られない。例えば、ユーザ端末2は、上記の機能構成の一部を備え、残りをユーザ端末2が備えてもよい。また、ユーザ端末2は、上記以外の機能構成を備えてもよい。また、ユーザ端末2の各機能構成は、上記の通り、ソフトウェアにより実現されてもよいし、ICチップ、SoC、LSI、マイクロコンピュータ等のハードウェアによって実現されてもよい。
【0058】
<細胞画像分析システム1000が実行する処理>
次に、細胞画像分析システム1000が実行する処理について説明する。
図6は、細胞画像分析システム1000が実行する処理の一例を示すフローチャートである。
【0059】
(ステップS101)
まず、ユーザ端末2の表示部232が、ユーザの操作に応じて、表示装置206Dにジョブ登録画面sc1を表示する(ステップS101)。ジョブ登録画面sc1は、ユーザがジョブを登録するための画面である。ジョブとは、細胞画像分析装置1による細胞画像群の分析のことである。細胞画像分析装置1は、ジョブ単位で細胞画像群を分析する。言い換えると、ジョブにおける分析対象として登録された複数の細胞画像が、細胞画像群に相当する。
【0060】
(ステップS102)
次に、ユーザ端末2の取得部231は、ユーザがジョブ登録画面sc1で選択した細胞画像群データ221を取得し、記憶部12に保存する(ステップS102)。
【0061】
(ステップS103)
さらに、ユーザ端末2の取得部231は、ユーザがジョブ登録画面sc1で付与したユーザメタデータ222を取得し、細胞画像群データ221に含まれる各細胞画像と対応づけて記憶部12に保存する(ステップS103)。
【0062】
(ステップS104)
その後、ユーザ端末2は、細胞画像群データ221及びユーザメタデータ222を細胞画像分析装置1に送信(アップロード)する(ステップS104)。
【0063】
ここで、
図7は、ジョブ登録画面sc1の一例を示す図である。
図7のジョブ登録画面sc1は、画像選択エリアsc11と、画像選択ボタンsc12と、ユーザメタデータ付与欄sc13と、アップロードボタンsc14と、を含む。
【0064】
画像選択エリアsc11は、ジョブの分析対象として処理する細胞画像群を選択するための領域である。ユーザが細胞画像群の画像ファイルを画像選択エリアsc11にドラッグ&ドロップすることにより、ジョブの分析対象として処理する細胞画像群が選択され、細胞画像群の画像ファイルが細胞画像群データ221として記憶部12に保存される。
【0065】
画像選択ボタンsc12は、ジョブの分析対象として処理する細胞画像群を選択するための領域である。ユーザが画像選択ボタンsc12から細胞画像群の画像ファイルを選択することにより、ジョブの分析対象として処理する細胞画像群が選択され、細胞画像群の画像ファイルが細胞画像群データ221として記憶部12に保存される。
【0066】
ユーザは、画像選択エリアsc11又は画像選択ボタンsc12のいずれかを利用して細胞画像群を選択する。取得部231は、ここで選択された細胞画像群の画像ファイルを細胞画像群データ221として取得する(ステップS102)。
【0067】
ユーザメタデータ付与欄sc13は、ジョブの分析対象として選択された細胞画像群に対して、ユーザがユーザメタデータ222を付与するためのリストである。
図7の例では、ジョブの分析対象として選択された細胞画像群の画像ファイル名が行名として表示され、各細胞画像に付与するユーザメタデータ222の項目(種類)が列名として表示されている。ユーザが細胞画像群を選択すると、そこに含まれる細胞画像の画像ファイル名が抽出され、ユーザメタデータ付与欄sc13の行名として設定される。なお、行列は逆であってもよい。
【0068】
ユーザが、細胞画像のユーザメタデータ222の項目(ユーザメタデータ付与欄sc13のセル)に値を入力することで、その細胞画像のその項目にユーザメタデータ222が付与される。例えば、細胞画像Img1.jpgの細胞種別には「MSC」が入力されている。これは、細胞画像Img1.jpgの細胞種別として「MSC」というユーザメタデータ222が付与されていることを意味する。なお、ジョブ登録画面sc1で付与されるユーザメタデータ222の項目(種類)は、予め設定されていてもよいし、ユーザが任意に設定可能であってもよい。
【0069】
ユーザは、細胞画像群の選択後に生成されるユーザメタデータ付与欄sc13の各セルに値を入力することで、各細胞画像にユーザメタデータ222を付与する。取得部231は、ここで付与されたユーザメタデータ222を取得し、細胞画像群データ221に含まれる各細胞画像と対応づけて記憶部12に保存する(ステップS103)。
【0070】
アップロードボタンsc14は、ジョブの分析対象として選択された細胞画像群と、ユーザにより付与されたユーザメタデータと、を細胞画像分析装置1に送信するためのボタンである。ユーザがアップロードボタンsc14を選択すると、ユーザ端末2は、細胞画像群データ221及びユーザメタデータ222を細胞画像分析装置1に送信する(ステップS104)。
【0071】
このように、細胞画像群の選択と同時に、各細胞画像へのユーザメタデータ222の付与をユーザに要求することにより、細胞画像の分析に必要なデータの細胞画像分析システム1000への登録をユーザに促すことができる。また、細胞画像の分析に必要なデータを、細胞画像分析システム1000上でユーザメタデータ222という共通のフォーマットで管理することができる。また、ユーザメタデータの項目を予め設定しておくことにより、ユーザは、細胞画像の分析に必要なデータがどのようなものかを予め学習することなく、細胞画像の分析に必要なデータを登録することができる。結果として、細胞画像の分析に必要なデータの管理を容易にし、細胞画像の分析のためのユーザの負担を軽減することができる。
【0072】
なお、
図7のジョブ登録画面sc1は、ユーザメタデータ付与欄sc13を含むため、ユーザがユーザメタデータ222を付与する画面に相当する。しかしながら、細胞画像群の選択と、ユーザメタデータ222の付与と、は異なる画面で行われてもよい。この場合、ユーザメタデータ222の付与を行う画面が、ユーザがユーザメタデータ222を付与する画面に相当する。また、ユーザメタデータ222の付与は、ユーザメタデータ付与欄sc13とは異なる形式で行われてもよい。
【0073】
(ステップS105)
細胞画像分析装置1の取得部131は、ユーザ端末2が送信した細胞画像群データ221及びユーザメタデータ222を取得し、細胞画像群データ121及びユーザメタデータ122として記憶部12に保存する(ステップS105)。ユーザメタデータ122は、細胞画像群データ121に含まれる各細胞画像と対応づけて記憶される。これにより、新たなジョブが登録され、細胞画像分析装置1は、このジョブを実行する。具体的には、細胞画像分析装置1は、ステップS105~S113を実行する。
【0074】
(ステップS106)
まず、付与部132は、細胞画像群データ121の各細胞画像にファイルメタデータ123を付与する(ステップS106)。具体的には、付与部132は、細胞画像群データ121の各画像ファイルに含まれる撮影条件に関するデータ及び細胞画像群データ121のフォルダ構造から得られるデータを抽出し、ファイルメタデータ123として記憶部12に保存する。ファイルメタデータ123は、各細胞画像と対応づけて保存される。
【0075】
このように、画像ファイルに含まれる撮影条件に関するデータをファイルメタデータ123として保存することにより、細胞画像の分析に必要なデータを、細胞画像分析システム1000上で共通のフォーマットで管理することができる。また、細胞画像の分析に必要なデータを、ユーザの手を煩わせることなく収集し、管理することができる。結果として、細胞画像の分析に必要なデータの管理を容易にし、細胞画像の分析のためのユーザの負担を軽減することができる。
【0076】
(ステップS107)
次に、画像解析部133は、細胞画像群データ121に含まれる細胞画像を画像解析し、画像メタデータ124を取得する(ステップS107)。
【0077】
(ステップS108)
付与部132は、細胞画像群データ121の各細胞画像に画像メタデータ124を付与する(ステップS108)。具体的には、付与部132は、ステップS107で画像解析部133が取得した画像メタデータ124を、各細胞画像と対応づけて記憶部12に保存する。
【0078】
このように、細胞画像の画像解析により得られるデータを画像メタデータ124として保存することにより、細胞画像の分析に必要なデータを、細胞画像分析システム1000上で共通のフォーマットで管理することができる。また、細胞画像の分析に必要なデータを、ユーザの手を煩わせることなく収集し、管理することができる。結果として、細胞画像の分析に必要なデータの管理を容易にし、細胞画像の分析のためのユーザの負担を軽減することができる。
【0079】
(ステップS109)
次に、付与部132は、ユーザメタデータ122、ファイルメタデータ123及び画像メタデータ124の少なくとも1つを統計処理する(ステップS109)。付与部132は、ユーザメタデータ122、ファイルメタデータ123及び画像メタデータ124を、それぞれ単独で統計処理してもよいし、組み合わせて統計処理してもよい。
【0080】
(ステップS110)
続いて、付与部132は、細胞画像群データ121(細胞画像群)に統計メタデータ125を付与する(ステップS110)。これは、細胞画像群データ121に対応するジョブに統計メタデータ125を付与することに相当する。具体的には、付与部132は、ステップS109の統計処理で得られたデータを、統計メタデータ125として細胞画像群データ121と対応づけて記憶部12に保存する。
【0081】
このように、ユーザメタデータ122、ファイルメタデータ123及び画像メタデータ124の少なくとも1つを統計処理することにより得られるデータを統計メタデータ125として保存することにより、細胞画像の分析に必要なデータを、細胞画像分析システム1000上で共通のフォーマットで管理することができる。また、細胞画像の分析に必要なデータを、ユーザの手を煩わせることなく収集し、管理することができる。結果として、細胞画像の分析に必要なデータの管理を容易にし、細胞画像の分析のためのユーザの負担を軽減することができる。
【0082】
(ステップS111)
次に、分析部134は、細胞画像群データ121を分析し、分析結果を分析結果データ126として細胞画像群データ121と対応づけて記憶部12に保存する(ステップS111)。分析部134は、ユーザメタデータ122、ファイルメタデータ123及び画像メタデータ124に基づいて、分析方法ごとに適切な細胞画像を選択し、細胞画像群の分析を行う。例えば、細胞画像群データ121に含まれる細胞画像のうち、撮影者が同じ細胞画像のみで分析する、倍率が同じ細胞画像のみで分析する、細胞種別が同じ細胞画像のみで分析する、メタデータを付与された細胞画像が所定枚数以上の場合に分析する、などが考えられる。ユーザメタデータ122、ファイルメタデータ123及び画像メタデータ124に基づく分析方法ごとの細胞画像の選択方法は、予め登録される。なお、付与部132は、細胞画像群データ121(細胞画像群)に分析結果データ126をメタデータとして付与してもよい。
【0083】
このように、分析部134がユーザメタデータ122、ファイルメタデータ123及び画像メタデータ124に基づいて、分析方法ごとに適切な細胞画像を選択して分析を行うことにより、ユーザの手を煩わすことなく、細胞画像を適切に分析することができる。
【0084】
(ステップS112)
続いて、アドバイス部135は、ユーザメタデータ122、ファイルメタデータ123、画像メタデータ124、統計メタデータ125及び分析結果データ126の少なくとも1つに基づいて、ユーザへのアドバイスを生成し、アドバイスデータ127として細胞画像群データ121と対応づけて記憶部12に保存する(ステップS112)。
【0085】
(ステップS113)
その後、細胞画像分析装置1は、ユーザメタデータ122、ファイルメタデータ123、画像メタデータ124、統計メタデータ125、分析結果データ126及びアドバイスデータ127をユーザ端末2に送信する(ステップS113)。
【0086】
(ステップS114)
ユーザ端末2の表示部232は、分析結果データ126等を受信すると、表示装置206Dに分析結果データ126等を表示する。
【0087】
図8は、分析結果表示画面sc2の一例を示す図である。分析結果表示画面sc2は、分析結果データ126等を表示する画面である。
図8の例では、ジョブ名sc21と、統計データsc22と、フィルタ画像sc23と、分析結果sc24と、アドバイスsc25と、が表示されている。
【0088】
ジョブ名sc21は、ユーザが設定したジョブの名称である。
図8の例では、ジョブ名sc21は「Project A」である。
【0089】
統計データsc22は、統計メタデータ125をグラフ表示したものである。
図8の例では、統計データsc22として、ユーザメタデータとして付与された細胞種別(Cell type)の割合と、培地(Culture condition)の割合と、が円グラフで表示されている。
【0090】
フィルタ画像sc23は、画像メタデータ124に含まれる、細胞画像を画像解析して得られた画像である。
図8の例では、細胞画像Img1.jpg,Img2.jpg,Img3.jpgのフィルタ画像sc23が表示されている。
【0091】
分析結果sc24は、分析結果データ126をグラフ表示したものである。
図8の例では、分析結果として、培養日数ごとの細胞数の変化と、培地ごとの細胞の成長率と、が表示されている。
【0092】
アドバイスsc25は、アドバイスデータ127をテキスト表示したものである。
図8の例では、「培地Bの細胞画像を追加してください」というアドバイスが表示されている。
【0093】
ユーザは、分析結果表示画面sc2を参照することにより、細胞画像群の分析結果及びアドバイスを容易に把握することができる。また、ユーザは、アドバイスを参照することにより、細胞画像群の適切な分析のためにどのような細胞画像が不足しているのかを知ることができるため、細胞画像群の適切な分析のために必要な細胞画像を迷うことなく用意することができる。
【0094】
図9は、メタデータ表示画面sc3の一例を示す図である。メタデータ表示画面sc3は、ユーザメタデータ122、ファイルメタデータ123及び画像メタデータ124の少なくとも1つを一覧表示する画面である。
図9の例では、細胞画像Img1.jpg~Img10.jpgのユーザメタデータ(細胞種別、撮影者及び撮影場所)、ファイルメタデータ(倍率)及び画像メタデータ(細胞数)が一覧表示されている。
【0095】
ユーザは、メタデータ表示画面sc3を参照することにより、各細胞画像に付与されたメタデータを容易に把握することができる。
【0096】
なお、各細胞画像に付与されたメタデータは、メタデータ表示画面sc3上で、ユーザの操作により追加、削除及び修正可能であってもよい。また、メタデータ表示画面sc3からユーザメタデータ122、ファイルメタデータ123及び画像メタデータ124を、csvファイルなどの形式でダウンロード可能であってもよい。また、ダウンロードしたcsvファイルを編集し、ジョブに再登録が可能であってもよい。
【0097】
<まとめ>
以上説明した通り、本実施形態によれば、細胞画像分析システム1000が実行する細胞画像分析方法であって、複数の細胞画像を含む細胞画像群を取得するステップS101と、細胞画像にユーザがユーザメタデータ222を付与するための画面を表示するステップS102と、細胞画像とユーザが付与したユーザメタデータ122とを対応づけて記憶するステップS105と、を含む細胞画像分析方法が実現される。
【0098】
このように、細胞画像群の選択と同時に、各細胞画像へのユーザメタデータ222の付与をユーザに要求することにより、細胞画像の分析に必要なデータの細胞画像分析システム1000への登録をユーザに促すことができる。また、細胞画像の分析に必要なデータを、細胞画像分析システム1000上でユーザメタデータ222という共通のフォーマットで管理することができる。また、ユーザメタデータの項目を予め設定しておくことにより、ユーザは、細胞画像の分析に必要なデータがどのようなものかを予め学習することなく、細胞画像の分析に必要なデータを登録することができる。結果として、細胞画像の分析に必要なデータの管理を容易にし、細胞画像の分析のためのユーザの負担を軽減することができる。
【0099】
なお、本実施形態において、細胞画像分析装置1の処理の一部は、細胞画像分析装置1により実施されてもよい。例えば、細胞画像分析装置1がエッジAIカメラである場合、機械学習モデルを利用した第1画像の被写体情報の検出処理の少なくとも一部は、細胞画像分析装置1が実施してもよい。この場合、細胞画像分析装置1は、第1画像データの代わりに、又は第1画像データと共に、第1画像の被写体情報を細胞画像分析装置1に送信する。細胞画像分析装置1は、細胞画像分析装置1から受信した被写体情報に基づいて、以降の処理を実施する。これにより、上記の実施形態と同様の効果が得られる。
【0100】
<付記>
本実施形態は、以下の開示を含む。
【0101】
(付記1)
細胞画像分析システムが実行する細胞画像分析方法であって、
複数の細胞画像を含む細胞画像群を取得する取得ステップと、
前記細胞画像にユーザがユーザメタデータを付与するための画面を表示する表示ステップと、
前記細胞画像と前記ユーザが付与した前記ユーザメタデータとを対応づけて記憶する記憶ステップと、
を含む細胞画像分析方法。
【0102】
(付記2)
前記ユーザメタデータは、前記ユーザが付与した前記細胞画像に関するデータである
付記1に記載の細胞画像分析方法。
【0103】
(付記3)
前記ユーザメタデータは、細胞種別を含む
付記1に記載の細胞画像分析方法。
【0104】
(付記4)
前記細胞画像に、前記細胞画像の撮影条件に関するデータであるファイルメタデータを付与する付与ステップをさらに含む
付記1に記載の細胞画像分析方法。
【0105】
(付記5)
前記細胞画像に、前記細胞画像を画像解析することにより得られるデータである画像メタデータを付与する付与ステップをさらに含む
付記1に記載の細胞画像分析方法。
【0106】
(付記6)
前記細胞画像群に、前記ユーザメタデータ、ファイルメタデータ及び画像メタデータの少なくとも1つを統計処理することにより得られるデータである統計メタデータを付与する付与ステップをさらに含む
付記1に記載の細胞画像分析方法。
【0107】
(付記7)
前記ユーザメタデータ、ファイルメタデータ、画像メタデータ及び統計メタデータの少なくとも1つに基づいて、前記細胞画像群を分析し、分析結果を表示する表示ステップをさらに含む
付記1に記載の細胞画像分析方法。
【0108】
(付記8)
前記ユーザメタデータ、ファイルメタデータ及び画像メタデータの少なくとも1つを一覧表示するメタデータ表示画面を表示する表示ステップをさらに含む
付記1に記載の細胞画像分析方法。
【0109】
(付記9)
前記ユーザメタデータ、ファイルメタデータ、画像メタデータ、統計メタデータ及び前記細胞画像群の分析結果の少なくとも1つに基づいて、前記ユーザに対するアドバイスを生成する
付記1に記載の細胞画像分析方法。
【0110】
(付記10)
複数の細胞画像を含む細胞画像群を取得する取得部と、
前記細胞画像にユーザがユーザメタデータを付与するための画面を表示する表示部と、
前記細胞画像と前記ユーザが付与した前記ユーザメタデータとを対応づけて記憶する記憶部と、
を備える細胞画像分析システム。
【0111】
(付記11)
複数の細胞画像を含む細胞画像群を取得する取得ステップと、
前記細胞画像にユーザがユーザメタデータを付与するための画面を表示する表示ステップと、
前記細胞画像と前記ユーザが付与した前記ユーザメタデータとを対応づけて記憶する記憶ステップと、
を含む細胞画像分析方法を細胞画像分析システムに実行させる細胞画像分析プログラム。
【0112】
今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。また、本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【符号の説明】
【0113】
1:細胞画像分析装置
2:ユーザ端末
11:通信部
12:記憶部
13:制御部
121:細胞画像群データ
122:ユーザメタデータ
123:ファイルメタデータ
124:画像メタデータ
125:統計メタデータ
126:分析結果データ
127:アドバイスデータ
131:取得部
132:付与部
133:画像解析部
134:分析部
135:アドバイス部
【要約】
【課題】 細胞画像の分析に必要なデータの管理を容易にする。
【解決手段】
一実施形態にかかる細胞画像分析方法は、細胞画像分析システムが実行する細胞画像分析方法であって、複数の細胞画像を含む細胞画像群を取得する取得ステップと、前記細胞画像にユーザがユーザメタデータを付与するための画面を表示する表示ステップと、前記細胞画像と前記ユーザが付与した前記ユーザメタデータとを対応づけて記憶する記憶ステップと、を含む。
【選択図】
図7