特表-18207264IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ オリンパス株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
【公報種別】再公表特許(A1)
(11)【国際公開番号】WO/0
(43)【国際公開日】2018年11月15日
【発行日】2019年12月12日
(54)【発明の名称】画像再生装置及び観察システム
(51)【国際特許分類】
   C12M 1/34 20060101AFI20191115BHJP
   H04N 5/92 20060101ALI20191115BHJP
【FI】
   C12M1/34 Z
   H04N5/92 010
【審査請求】有
【予備審査請求】未請求
【全頁数】24
【出願番号】特願2019-516777(P2019-516777)
(21)【国際出願番号】PCT/0/0
(22)【国際出願日】2017年5月9日
(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT,TZ
(71)【出願人】
【識別番号】000000376
【氏名又は名称】オリンパス株式会社
(74)【代理人】
【識別番号】100108855
【弁理士】
【氏名又は名称】蔵田 昌俊
(74)【代理人】
【識別番号】100103034
【弁理士】
【氏名又は名称】野河 信久
(74)【代理人】
【識別番号】100179062
【弁理士】
【氏名又は名称】井上 正
(74)【代理人】
【識別番号】100153051
【弁理士】
【氏名又は名称】河野 直樹
(74)【代理人】
【識別番号】100199565
【弁理士】
【氏名又は名称】飯野 茂
(74)【代理人】
【識別番号】100162570
【弁理士】
【氏名又は名称】金子 早苗
(72)【発明者】
【氏名】谷川 洋平
(72)【発明者】
【氏名】瀧本 真一
(72)【発明者】
【氏名】藤井 政和
(72)【発明者】
【氏名】峯 泰治
(72)【発明者】
【氏名】中富 高之
【テーマコード(参考)】
4B029
5C053
【Fターム(参考)】
4B029AA07
4B029AA27
4B029BB01
4B029DG10
4B029FA01
4B029FA15
5C053GB06
5C053HA21
5C053JA21
5C053LA01
5C053LA06
5C053LA15
(57)【要約】
画像再生装置は、取得部と、再生画像選択部と、再生画像出力部とを備える。取得部は、生体試料に関する時系列に沿った複数の画像と、当該画像の少なくとも一部と関連付けられた前記生体試料に対する作業に関する少なくとも1つのタグ情報とを含む画像群データを取得する。再生画像選択部は、前記タグ情報を用いて前記複数の画像のうち前記時系列に沿って再生する画像を再生選択画像として選択する。再生画像出力部は、前記再生選択画像を時系列に沿って再生するための前記画像に係るデータを表示装置へと出力する。
【特許請求の範囲】
【請求項1】
生体試料に関する時系列に沿った複数の画像と、当該画像の少なくとも一部と関連付けられた前記生体試料に対する作業に関する少なくとも1つのタグ情報とを含む画像群データを取得する取得部と、
前記タグ情報を用いて前記複数の画像のうち前記時系列に沿って再生する画像を再生選択画像として選択する再生画像選択部と、
前記再生選択画像を時系列に沿って再生するための前記画像に係るデータを表示装置へと出力する再生画像出力部と
を備える画像再生装置。
【請求項2】
前記生体試料に対する前記作業は、前記生体試料に関する継代作業と、培地交換作業と、培地への試薬添加作業とのうち少なくとも何れか1つである、請求項1に記載の画像再生装置。
【請求項3】
前記タグ情報は、前記生体試料の画像を取得した観察装置に設けられた入力部へのユーザの入力に応じて設定されている、請求項1又は2に記載の画像再生装置。
【請求項4】
前記複数の画像から1つの前記画像をユーザ選択画像として選択するユーザの選択操作を取得する入力情報取得部をさらに備え、
前記再生画像選択部は、前記ユーザ選択画像を含む画像を前記再生選択画像として選択する、
請求項1乃至3のうち何れか1項に記載の画像再生装置。
【請求項5】
前記再生画像選択部は、
前記ユーザ選択画像の直前の前記タグ情報に関連する前記画像から、前記ユーザ選択画像の直後の前記タグ情報に関連する前記画像又は前記複数の画像の最後の前記画像までを前記再生選択画像として選択することと、
前記ユーザ選択画像の直前の前記タグ情報に関連する前記画像又は前記複数の画像の最初の画像から、前記ユーザ選択画像の直後の前記タグ情報に関連する前記画像までを前記再生選択画像として選択することと
のうち何れか一方を行う、
請求項4に記載の画像再生装置。
【請求項6】
前記再生画像出力部は、前記ユーザによる前記ユーザ選択画像の選択を行うために、前記画像と前記タグ情報との関係と、前記複数の画像の情報とを前記表示装置へと出力する、請求項4又は5に記載の画像再生装置。
【請求項7】
前記再生画像選択部は、前記ユーザの操作に応じて前記ユーザ選択画像を前記再生選択画像の最初の画像又は最後の画像として選択する、請求項4に記載の画像再生装置。
【請求項8】
時系列に沿って前記タグ情報から次の前記タグ情報までを1単位としたときに、ユーザによって単位数が入力される単位数入力情報取得部をさらに備え、
前記再生画像選択部は、入力された前記単位数に応じた単位の前記再生選択画像を選択する、
請求項1乃至7のうち何れか1項に記載の画像再生装置。
【請求項9】
請求項1乃至8のうち何れか1項に記載の画像再生装置と、
前記生体試料に関する画像を取得する撮像部、
ユーザの操作が入力される入力装置、及び
前記入力装置への入力に応じて前記タグ情報を前記画像と関連付ける記録制御部
を有する観察装置と
を備える観察システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像再生装置及び観察システムに関する。
【背景技術】
【0002】
例えばバイオテクノロジーの分野の研究等においては、細胞培養が日常的に行われている。細胞培養においては、細胞の状態を確認するために、インキュベータから培養容器を取り出して、顕微鏡などを用いて細胞を観察する作業が定期的に必要である。この確認作業は作業者にとって煩わしいものである。例えば、日本国特開2002−85054号公報には、このような煩わしい作業の負担を軽減することができる、インキュベータ内の細胞の状態を遠隔的に観察する培養観察システムについて開示されている。
【0003】
細胞培養の期間は長期間に及ぶため、インキュベータ内の細胞の様子を撮影し続けると、間隔をあけながらであっても、時系列に沿った大量の画像データが蓄積される。
【発明の概要】
【0004】
上述のように、培養中の細胞等の生体試料の画像を取得する装置によって大量に得られる画像の中から、関心の高い画像のみを選択して内容を確認したいという要求がある。
【0005】
本発明は、生体試料に関する時系列に沿った複数の画像から、所望の画像を選択して再生することができる画像再生装置及びそれを備える観察システムを提供することを目的とする。
【0006】
本発明の一態様によれば、画像再生装置は、生体試料に関する時系列に沿った複数の画像と、当該画像の少なくとも一部と関連付けられた前記生体試料に対する作業に関する少なくとも1つのタグ情報とを含む画像群データを取得する取得部と、前記タグ情報を用いて、前記複数の画像のうち、前記時系列に沿って再生する画像を再生選択画像として選択する再生画像選択部と、前記再生選択画像を時系列に沿って再生するための前記画像に係るデータを、表示装置へと出力する再生画像出力部とを備える。
【0007】
本発明の一態様によれば、観察システムは、上述の画像再生装置と、前記生体試料に関する画像を取得する撮像部、ユーザの操作が入力される入力装置、及び前記入力装置への入力に応じて前記タグ情報を前記画像と関連付ける記録制御部を有する観察装置とを備える。
【0008】
本発明によれば、生体試料に関する時系列に沿った複数の画像から所望の画像を選択して再生することができる画像再生装置及びそれを備える観察システムを提供できる。
【図面の簡単な説明】
【0009】
図1図1は、一実施形態に係る観察システムの構成例の概略を示す外観図である。
図2図2は、一実施形態に係る観察システムの構成例の概略を示すブロック図である。
図3図3は、一実施形態に係る画像群データの構成例の概略を模式的に示す図である。
図4A図4Aは、一実施形態に係る表示画面の一例の概略を示す図である。
図4B図4Bは、一実施形態に係る表示画面の一例の概略を示す図である。
図4C図4Cは、一実施形態に係る表示画面の一例の概略を示す図である。
図5A図5Aは、一実施形態に係る表示画面の一例の概略を示す図である。
図5B図5Bは、一実施形態に係る表示画面の一例の概略を示す図である。
図6A図6Aは、一実施形態に係る表示画面の一例の概略を示す図である。
図6B図6Bは、一実施形態に係る表示画面の一例の概略を示す図である。
図7A図7Aは、一実施形態に係る表示画面の一例の概略を示す図である。
図7B図7Bは、一実施形態に係る表示画面の一例の概略を示す図である。
図8A図8Aは、一実施形態に係る表示画面の一例の概略を示す図である。
図8B図8Bは、一実施形態に係る表示画面の一例の概略を示す図である。
図9A図9Aは、一実施形態に係る表示画面の一例の概略を示す図である。
図9B図9Bは、一実施形態に係る表示画面の一例の概略を示す図である。
図10A図10Aは、一実施形態に係る表示画面の一例の概略を示す図である。
図10B図10Bは、一実施形態に係る表示画面の一例の概略を示す図である。
図11図11は、一実施形態に係る観察装置の動作の一例の概略を示すフローチャートである。
図12図12は、一実施形態に係る観察装置の動作の一例の概略を示すフローチャートである。
図13図13は、変形例に係る表示画面の一例の概略を示す図である。
【発明を実施するための形態】
【0010】
[観察システムの構成]
本発明の一実施形態について図面を参照して説明する。本実施形態は、観察システム1に関する。観察システム1は、時系列に沿って例えば培養細胞といった生体試料に関する画像を取得する。さらに観察システム1は、取得した画像を再生する。このため、観察システム1は、例えば図1に示すように、生体試料に関する画像を取得する観察装置200と、取得した画像を再生する画像再生装置としての機能を有する制御装置100とを備える。
【0011】
観察システム1の観察対象は試料300である。試料300は、例えば培養細胞等の生体試料を含む。培養細胞等は、シャーレ、フラスコ、マルチウェルディッシュ等に入れられた培地の中で培養されている。観察装置200は、インキュベータ内に配置され、試料300は、インキュベータ内の観察装置200の上に静置される。観察装置200は、インキュベータ内で培養中の培養細胞等の画像を連続的に取得することができる。観察装置200に接続された制御装置100は、インキュベータの外部に配置される。
【0012】
観察装置200の外観は、例えばおおよそ直方体の形状をしている。観察装置200の筐体201の上面には、透明板202が設けられている。観察対象である試料は、この透明板202上に配置される。筐体201の内部には、撮像光学系と撮像素子とを有する撮像部216が設けられている。撮像部216は、透明板202を介して試料300を撮影し、その画像データを生成する。生成された画像データは、観察装置200内の図示しない記録装置に記録されたり、制御装置100へと送信されたりする。撮像部216は、固定されており試料300の一箇所を撮影するように構成されていても、移動して試料300の複数箇所を撮影するように構成されていてもよい。
【0013】
また、観察装置200は、例えばボタンスイッチを含む入力装置218を有する。ユーザは、自身が行った作業を記録するために、例えば試料300の培地交換を行ったとき、入力装置218のうちの一つであるボタンスイッチを押圧し、例えば試料300の継代作業を行ったとき、入力装置218のうちの他の一つであるボタンスイッチを押圧する。また、ユーザは、例えば試料300に試薬を添加するなど、他の作業を行ったとき、さらに別のボタンスイッチを押す。入力装置218を介して入力された試料300の培地交換や継代作業等の記録は、撮像部216によって生成された画像データと関連付けられて、観察装置200の記録装置217に記録される。
【0014】
観察装置200は、例えば、Central Processing Unit(CPU)、Application Specific Integrated Circuit(ASIC)、又はField Programmable Gate Array(FPGA)等といったプロセッサ222を含む。プロセッサ222の数はいくつであってもよい。また、観察装置200は、プロセッサ222のメインメモリとして機能するメモリ224と、各種情報が記録される記録装置217とを含む。メモリ224は、例えばRandom Access Memory(RAM)等である。記録装置217は、例えば半導体メモリであっても、ハードディスク等であってもよい。記録装置217には、プロセッサ222で用いられるプログラム、各種パラメータ等が記録されている。また、記録装置217には、取得した試料300に係る画像データ等が記録される。
【0015】
制御装置100は、画像再生装置110と、入力装置152と、表示装置154とを備える。画像再生装置110は、例えばパーソナルコンピュータ(PC)、タブレット端末等であり得る。入力装置152は、例えばキーボード、マウス、タッチパネル等であり得る。表示装置154は、例えば液晶ディスプレイ等であり得る。
【0016】
画像再生装置110は、観察装置200で取得された画像を表示装置154に表示させる機能を有する。画像再生装置110は、観察装置200を制御する機能を有していてもよい。画像再生装置110は、例えば、Central Processing Unit(CPU)、Application Specific Integrated Circuit(ASIC)、Field Programmable Gate Array(FPGA)、Graphics Processing Unit(GPU)等といったプロセッサ112を含む。プロセッサ112の数はいくつであってもよい。また、画像再生装置110は、プロセッサ112のメインメモリとして機能するメモリ114と、各種情報が記録される記録装置116とを含む。メモリ114は、例えばRandom Access Memory(RAM)等である。記録装置116は、例えば半導体メモリであっても、ハードディスク等であってもよい。記録装置116には、プロセッサ112で用いられるプログラム、各種パラメータ等が記録されている。また、記録装置116には、観察装置200から取得した試料300に係る画像データ等が記録される。
【0017】
観察システム1の機能を図2のブロック図を参照して説明する。観察装置200は、上述の撮像部216、記録装置217及び入力装置218の他、撮像制御部211と記録制御部212とを備える。撮像制御部211及び記録制御部212は、プロセッサ222等によって実現され得る。撮像制御部211は、撮像部216の動作を制御する。記録制御部212は、撮像部216で得られた画像データの記録装置217への記録等を制御する。
【0018】
画像再生装置110は、データ取得部122と入力情報取得部124と再生画像選択部126と再生画像出力部128とを備える。データ取得部122は、生体試料である試料300に関する時系列に沿った複数の画像と、当該画像の少なくとも一部と関連付けられた、試料300に対する作業に関する少なくとも1つのタグ情報とを含む画像群データを取得する。入力情報取得部124は、入力装置152への入力情報を取得する。入力装置152への入力は、画像再生に用いられる。再生画像選択部126は、タグ情報を用いて複数の画像のうち時系列に沿って再生する画像を再生選択画像として選択する。再生画像出力部128は、再生選択画像を時系列に沿って再生するための画像に係るデータを表示装置154へと出力する。
【0019】
[観察システムの動作の概要]
本実施形態に係る観察システム1は、時系列に沿って試料300についての複数の画像を取得し、継続した観察を行う。すなわち、観察装置200は、撮像部216を用いて、透明板202の上に静置された試料300を例えば所定時間毎に撮影して、複数の画像データを取得する。このような撮影は、例えば1時間ごとに繰り返され、例えば数週間にわたって継続される。したがって、撮影により得られる画像は数百枚になり得る。
【0020】
例えば数週間にわたって撮影が行われるので、試料300の培地は交換されたり、試料300の細胞等について継代作業等が行われたりする。また、このような観察では、観察の途中で試料300に試薬が添加され、添加した試薬の効果が評価されたりする。本実施形態では、ユーザは、培地交換を行ったとき、継代作業を行ったとき、試薬を添加したときなど、作業を行ったときに、その旨を入力装置218を用いて観察装置200に入力する。観察装置200は、入力された作業に関する情報を取得した画像と関連付けて記録する。
【0021】
観察システム1によって得られるデータの構成例について、図3を参照して説明する。図3は、観察システム1によって得られる複数の画像と作業に係る情報とを含む画像群データ400を模式的に示す図である。図3において、1つの丸印は1つの画像を模式的に示す。例えば、画像群データ400は、第1の画像401、第2の画像402、第3の画像403、第4の画像404等のように時系列に沿った複数の画像に係るデータを含む。
【0022】
観察装置200には、ユーザによって継代作業が行われた旨が入力される。観察装置200は、この入力に基づいて、継代作業後に最初に行われた撮影によって得られた画像に継代作業が行われた旨のタグを付す。例えば、図3において、縦線のハッチングを施した丸印は、継代作業タグが付された画像を示す。例えば、第1の継代作業タグ付画像411、第2の継代作業タグ付画像412、第3の継代作業タグ付画像413等が、継代作業タグが付された画像である。
【0023】
観察装置200には、ユーザによって培地交換が行われた旨が入力される。観察装置200は、この入力に基づいて、培地交換後に最初に行われた撮影によって得られた画像に培地交換が行われた旨のタグを付す。例えば、図3において、横線のハッチングを施した丸印は、培地交換タグが付された画像を示す。例えば、第4の画像404である第1の培地交換タグ付画像421が、培地交換タグが付された画像である。その他にも、第2の培地交換タグ付画像422、第3の培地交換タグ付画像423、第4の培地交換タグ付画像424、第5の培地交換タグ付画像425等が、培地交換タグが付された画像である。
【0024】
観察装置200には、ユーザによってその他の作業が行われた旨が入力される。ここで、その他の作業とは、例えば所定の試薬を試料300に添加すること等であり得る。観察装置200は、この入力に基づいて、その他の作業後に最初に行われた撮影によって得られた画像にその他の作業が行われた旨のタグを付す。例えば、図3において、格子のハッチングを施した丸印は、試薬添加タグが付された画像を示す。例えば、第1の試薬添加タグ付画像431等が、試薬添加タグが付された画像である。このように、画像には、各種の作業タグが付され得る。
【0025】
図3に示すような画像群データ400は、観察装置200の記録装置217に記録される。画像再生装置110のデータ取得部122は、観察装置200の記録装置217から、画像群データ400を取得する。画像再生装置110の入力情報取得部124は、入力装置152からユーザによる入力を取得する。再生画像選択部126は、入力情報取得部124で取得したユーザによる入力に基づいて、データ取得部122で取得した画像群データ400に含まれる画像のうち、再生すべき画像を選択する。例えば再生画像選択部126は、画像群データ400に含まれる多くの画像の一部である、ユーザが望む一連の画像を再生選択画像として選択する。再生画像出力部128は、再生画像選択部126が選択した画像を含む画像データを再生データとして表示装置154へと出力し、表示装置154に当該画像等を表示させる。表示装置154には、例えば、特定の作業から特定の作業までの間に含まれる複数の画像が連続的に表示されるタイムラプス動画が表示される。再生選択画像の表示形態は、タイムラプス動画に限らず、例えば一覧表示であったり、ユーザの指示に応じて画像を切り替える表示であったり、どのような表示形態でもよい。
【0026】
[画像再生動作の概要]
画像再生装置110の再生画像選択部126によって選択される再生画像について説明する。図4Aは、表示装置154に表示される再生画面500の一例を示す。ここで図4Aは、例えばタイムラプス動画が再生される前のユーザが興味を持っている画像を選択して画像再生装置110に入力するための画面である。
【0027】
図4Aに示すように、再生画面500は、画像表示領域501を含む。画像表示領域501には、画像群データ400に含まれる画像が表示される。再生画面500は、タイムバー530を含む。タイムバー530は、画像群データ400に含まれる画像を模式的に示す。タイムバー530は、時間経過に沿って得られた画像の時間的な関係を示す。タイムバー530において、各画像は、例えば図4Aの丸印のように記号で示されてもよいし、バーに目盛が付されることで示されてもよいし、サムネイル画像が並べられることで示されてもよい。タイムバー530に示されるのは、画像群データ400に含まれる画像のうち一部であっても全部であってもよい。タイムバー530に画像群データ400に含まれる一部の画像が示されるとき、所定の操作によってタイムバー530に示される画像は変更され得る。
【0028】
タイムバー530には、図4Aに示す例では縦線のハッチングで示された第1の継代作業タグ付画像531及び第2の継代作業タグ付画像532のように、継代作業タグが付された画像が明示される。タイムバー530には、図4Aの例では横線のハッチングで示された第1の培地交換タグ付画像541、第2の培地交換タグ付画像542、第3の培地交換タグ付画像543、及び第4の培地交換タグ付画像544のように、培地交換タグが付された画像が明示される。同様に、タイムバー530には、試薬添加タグが付された画像が明示される。
【0029】
タイムバー530には、図4Aに示す例では黒丸で示された選択画像561のように、ユーザが現在選択している画像が明示される。ユーザは、例えばマウスを使ってカーソルを移動させタイムバー530上の所望の画像を指し示しクリックすることなどによって、タイムバー530に示されている画像のうちから所望の画像を選択する。タイムバー530においては、ユーザによって選択された画像が明示される。また、選択された画像が静止画として画像表示領域501に表示される。
【0030】
再生画面500は、再生アイコン511と逆再生アイコン512とを含む。再生アイコン511が例えばクリックされたとき、選択画像561等に基づいて再生される画像が選択され、選択された画像が時間順にタイムラプス動画として画像表示領域501に表示される。逆再生アイコン512が例えばクリックされたとき、選択画像561等に基づいて再生される画像が選択され、選択された画像が時間と逆順にタイムラプス動画として画像表示領域501に表示される。
【0031】
ここで再生される画像は、画像群データに含まれる全ての画像であってもよいし、ここで詳述するように、画像群データに含まれる複数の画像の中から選択された所定の画像であってもよい。
【0032】
再生画面500は、再生速度調整表示521を含む。再生速度調整表示521は、例えば再生速度を選択できるように構成されている。ユーザは、再生速度調整表示521を用いて、所望するタイムラプス動画の再生速度を画像再生装置110に入力することができる。再生アイコン511又は逆再生アイコン512が例えばクリックされて再生されるタイムラプス動画の再生速度は、再生速度調整表示521を用いて選択された速度となるように、画像再生装置110は動作する。
【0033】
再生画面500は、継代アイコン514と、培地交換アイコン515と、試薬添加アイコン516と、タグアイコン517と、開始選択アイコン518と、終了選択アイコン519と、単位数調整表示522とを含む。再生画像選択部126は、ユーザによるこれらのアイコンを用いた操作に応じて、再生する画像を選択する。
【0034】
例えば、図4Aに示す例では、継代アイコン514が選択されている。この状態で、再生アイコン511が選択されると、選択画像561の直前の継代作業タグが付いた画像である第1の継代作業タグ付画像531を最初の画像としてこの画像から、選択画像561の直後の継代作業タグが付いた画像である第2の継代作業タグ付画像532を最後の画像としてこの画像までの複数の画像が再生選択画像573として選択される。すなわち、図4Bに示すように、右下がり斜線のハッチングが施された第1の継代作業タグ付画像531が開始画像571に設定され、右上がり斜線のハッチングが施された第2の継代作業タグ付画像532が終了画像572に設定され、開始画像571から終了画像572までの網掛けが施されている画像が再生選択画像573として選択される。このとき、開始画像571から終了画像572までの画像が順にタイムラプス動画として画像表示領域501に表示される。
【0035】
また、タイムラプス動画として再生されているとき、タイムバー530上の選択画像561の表示は、画像表示領域501に表示されている画像を示す。また、画像表示領域501に表示される画像が、タグが付された画像である場合、図4Cに示すように、その旨が例えば画像表示領域501内に、タグ情報502として表示されてもよい。
【0036】
図5Aに示すように、継代アイコン514が選択されており、選択画像561の前に継代作業タグが付された画像はあるが、選択画像561の後に継代作業タグが付された画像がないような選択画像561が選択されている状態で、再生アイコン511が選択されたとする。このようなときには、図5Bに示すように、直前の継代作業タグが付された画像である第2の継代作業タグ付画像532が開始画像571に設定され、最新の画像、すなわち最後の撮影により得られた画像が終了画像572に設定される。その結果、第2の継代作業タグ付画像532である開始画像571から最新の画像である終了画像572までの網掛けが付された画像が再生選択画像573として選択されてこれら画像が画像表示領域501にタイムラプス動画として表示される。一般に、現時点に近い画像は興味をもたれやすい画像であるので、このように最新の画像を終了画像572とすることは有意義である。
【0037】
同様に、継代アイコン514が選択されており、選択画像561の後に継代作業タグが付された画像はあるが、選択画像561の前に継代作業タグが付された画像がないような選択画像561が選択されている状態で、再生アイコン511が選択されたとする。このようなときには、最初の画像が開始画像571に設定され、直後の継代作業タグが付された画像が終了画像572に設定される。
【0038】
図6Aに示す例では、培地交換アイコン515が選択されている。この状態で、再生アイコン511が選択されると、選択画像561の直前の培地交換タグが付いた画像である第2の培地交換タグ付画像542から、選択画像561の直後の培地交換タグが付いた画像である第3の培地交換タグ付画像543までの画像が再生選択画像573として選択される。すなわち、図6Bに示すように、第2の培地交換タグ付画像542が開始画像571に設定され、第3の培地交換タグ付画像543が終了画像572に設定され、開始画像571から終了画像572までの画像が再生選択画像573として選択される。このとき、開始画像571から終了画像572までの画像が順にタイムラプス動画として画像表示領域501に表示される。
【0039】
図7Aに示す例では、試薬添加アイコン516が選択されている。この状態で、再生アイコン511が選択されると、選択画像561の直前の試薬添加に関する作業タグが付いた画像である第1の試薬添加タグ付画像551から、選択画像561の直後の試薬添加に関する作業タグが付いた画像までの画像が再生選択画像573として選択される。図7Aに示す例では、選択画像561の後に試薬添加に関する作業タグが付いた画像がないので、最新の画像が終了画像に設定される。すなわち、図7Bに示すように、第1の試薬添加タグ付画像551が開始画像571に設定され、最新の画像が終了画像572に設定され、開始画像571から終了画像572までの画像が再生選択画像573として選択される。このとき、開始画像571から終了画像572までの画像が順にタイムラプス動画として画像表示領域501に表示される。
【0040】
図8Aに示す例では、タグアイコン517が選択されている。この状態で、再生アイコン511が選択されると、選択画像561の直前のタグが付いた画像である第1の継代作業タグ付画像531から、選択画像561の直後のタグが付いた画像である第2の培地交換タグ付画像542までの画像が再生選択画像573として選択される。すなわち、図8Bに示すように、第1の継代作業タグ付画像531が開始画像571に設定され、第2の培地交換タグ付画像542が終了画像572に設定され、開始画像571から終了画像572までの画像が再生選択画像573として選択される。このとき、開始画像571から終了画像572までの画像が順にタイムラプス動画として画像表示領域501に表示される。
【0041】
図9Aに示す例では、継代アイコン514が選択されている。このとき、1つの画像が選択画像561として選択されている状態で終了選択アイコン519が選択されると、当該選択画像が図9Aに示すように終了画像572に設定される。さらに、再生アイコン511が選択されると、図9Bに示すように、直前の継代作業タグのついた第1の継代作業タグ付画像531が開始画像571に設定される。その結果、開始画像571から終了画像572までの画像が順にタイムラプス動画として画像表示領域501に表示される。同様に、開始選択アイコン518が用いられることで、開始画像571がユーザによって指定され得る。このように、ユーザが直接指定することによっても開始画像571又は終了画像572が選択され得ることで、ユーザにとって再生する画像の選択の自由度が向上する。
【0042】
開始画像571及び終了画像572は、その他の規則に基づいて決定されてもよい。例えば、ユーザが未だ確認していない画像が開始画像571に設定されてもよい。このような場合の例としては、観察装置200による観察が継続しているときに画像再生が行われ、その後画像再生装置110においてログアウトが行われた等、画像再生装置110による画像表示が最後に行われた後に、最初に取得された画像が開始画像571に設定されてもよい。
【0043】
図10Aに示す例では、単位数調整表示522において単位数として「3」が選択されている。また、タグアイコン517が選択されている。この状態で、再生アイコン511が選択されると、図10Bに示すように再生選択画像573が決定される。すなわち、選択画像561の直前のタグ付の画像である第1の継代作業タグ付画像531が開始画像571として選択される。単位数として3が選択されているので、開始画像571から3つ目のタグ付の画像である第2の継代作業タグ付画像532が終了画像572として選択される。言い換えると第1の継代作業タグ付画像531から第2の培地交換タグ付画像542まで、第2の培地交換タグ付画像542から第3の培地交換タグ付画像543まで、第3の培地交換タグ付画像543から第2の継代作業タグ付画像532までの3単位のタグ付画像からタグ付画像までの区間が再生選択画像573として選択される。
【0044】
[観察システムの動作]
観察装置200で行われる試料300の画像が取得される観察動作について、図11に示すフローチャートを参照して説明する。ステップS101において、観察装置200のプロセッサ222は各種初期設定を行う。初期設定には、例えば、焦点距離、合焦位置、絞り、露光時間等といった撮影条件が含まれ得る。また、初期設定には、撮影の時間間隔等を含む撮影のタイミング、撮影の回数、観察動作の継続期間等が含まれ得る。
【0045】
ステップS102において、プロセッサ222は、撮影により得られた画像にタグを付与するか否かを判定する。例えば入力装置218を用いて継代作業が行われたこと、培地交換作業が行われたこと、試薬添加等の作業が行われたこと等が入力されたとき、タグを付与すると判定される。タグを付与しないとき、処理はステップS104に進む。一方、タグを付与するとき、処理はステップS103に進む。
【0046】
ステップS103において、プロセッサ222は、タグ付与の予約を行う。すなわち、次の撮影により得られた画像データにタグ情報を付与することを決定する。その結果、次の撮影動作で画像データが得られたとき、当該画像データと関連付けられて、タグに係る情報が記録される。
【0047】
ステップS104において、プロセッサ222は、撮影を行うタイミングであるか否かを判定する。例えばステップS101で設定された撮影のタイミングを迎えたとき、撮影タイミングであると判定される。撮影タイミングでないとき、処理はステップS102に戻る。すなわち、プロセッサ222は、入力装置218への入力を確認しながら待機する。ステップS104において、撮影タイミングであると判定されたとき、処理はステップS105に進む。
【0048】
ステップS105において、プロセッサ222は、撮像部216に撮影動作を行わせる。この撮影によって画像データが作成される。プロセッサ222は、得られた画像データを観察装置200の記録装置217に記録する。また、タグ情報の付与が予約されているとき、プロセッサ222は、画像データにタグ情報を付与して記録装置217に記録する。
【0049】
ステップS106において、プロセッサ222は、一連の観察動作を終了するか否かを判定する。例えば、ステップS101で設定された観察動作の継続期間が経過したとき、観察動作を終了すると判定される。観察動作を終了しないとき、処理はステップS102に戻り、上述の動作が繰り返される。観察動作を終了すると判定されたとき、処理はステップS107に進む。
【0050】
ステップS107において、プロセッサ222は、一連の観察動作で得られた画像データ等の関連を示す管理ファイルを作成し、当該管理ファイルを画像データと共に観察装置200の記録装置217に記録する。この管理ファイルと複数の画像データによって、上述の画像群データ400が構成される。
【0051】
ここでは、入力装置218の操作などタグ付与の操作が行われたとき、その直後に得られた画像データにタグ情報が付与される例を示したがこれに限らない。例えば、タグ付与の操作が行われたとき、その直前に得られた画像データにタグ情報が付与されてもよい。また、画像データとは別に、タグ情報が記録されてもよい。このとき、タグ情報は、入力装置218に対する操作が行われた時間など、操作の前に得られた画像データと操作の後に得られた画像データとの時間関係を明確にする情報となる。なお、タグ情報が画像データに付与されないときには、図4A乃至図10Bに例を示した画面は適宜に変更され得る。
【0052】
次に画像再生装置110で行われる画像再生処理について図12に示すフローチャートを参照して説明する。画像再生処理では、画像再生装置110は、観察装置200から画像データを取得して、ユーザの操作に基づいて表示装置154に画像を表示させる。
【0053】
ステップS201において、画像再生装置110のプロセッサ112は、観察装置200の記録装置217から、複数の画像データ及び管理ファイル等を含む画像群データ400を取得する。
【0054】
ステップS202において、プロセッサ112は、入力装置152を用いて行われたユーザの入力を取得し、現在選択されている選択画像561がどの画像であるかを特定する。
【0055】
ステップS203において、プロセッサ112は、選択画像を画像表示領域501に表示させるような画面データを表示装置154へと出力し、表示装置154に画面表示を行わせる。
【0056】
ステップS204において、プロセッサ112は、開始選択アイコン518又は終了選択アイコン519が選択されることで開始画像又は終了画像が選択されたか否かを判定する。開始画像及び終了画像の何れも選択されていないとき、処理はステップS206に進む。一方、開始画像又は終了画像が選択されたとき、処理はステップS205に進む。ステップS205において、プロセッサ112は、当該選択に基づいて、開始画像571又は終了画像572を設定する。その後、処理はステップS206に進む。
【0057】
ステップS206において、プロセッサ112は、継代アイコン514、培地交換アイコン515、試薬添加アイコン516、タグアイコン517の何れが選択されているかを特定することで、再生選択画像573を選択する際の基準となるタグの種類に係る情報を取得する。
【0058】
ステップS207において、プロセッサ112は、単位数調整表示522に対するユーザの操作を判定することで、選択されている単位数を取得する。ステップS208において、プロセッサ112は、再生速度調整表示521に対するユーザの操作を判定することで、選択されている再生速度を取得する。
【0059】
ステップS209において、プロセッサ112は、再生動作を行うか否かを判定する。すなわち、プロセッサ112は、再生アイコン511又は逆再生アイコン512がユーザによって選択されたか否かを判定する。再生動作を行わないと判定されたとき、処理はステップS202に戻る。すなわち、選択画像の特定及び表示、開始画像又は終了画像の特定、タグ種類の取得、単位数の取得、再生速度の取得が繰り返し行われる。一方、ステップS209において、再生動作を行うと判定されたとき、処理はステップS210に進む。
【0060】
ステップS210において、プロセッサ112は、時系列に沿って存在する複数の画像のうち再生する範囲を決定する。すなわち、プロセッサ112は、上述のように開始画像571と終了画像572とを特定し、再生選択画像を決定する。
【0061】
ステップS211において、プロセッサ112は、画像表示領域501に複数の再生選択画像を順次表示させる画面に係るデータを表示装置154へと出力する。その結果、表示装置154に、タイムラプス動画が表示される。タイムラプス動画の表示が終了したら、処理はステップS202に戻る。すなわち、上述のステップS202乃至ステップS211の処理が繰り返される。
【0062】
[観察システムの特長]
本実施形態に係る観察システム1によれば、観察装置200による撮影によって画像データが取得される際に、作業に応じたタグが画像データと関連付けられて付与される。このような作業と関連するタグを含む画像群データを取得して再生する画像再生装置110は、画像群データに含まれる複数の画像の中から一部の画像を選択して再生することができる。特に画像再生装置110は、作業に関連したタグを基準として再生する画像を選択することができる。継代作業、培地交換、試薬添加などの作業に関連する画像範囲は、ユーザにとって興味を持ちやすい範囲である。例えば、継代作業と継代作業との間の画像は、細胞が増殖していく過程を確認したいユーザにとって興味深い画像群である。また、試薬添加後の画像は、添加した試薬が細胞等に与える影響を確認したいユーザによって興味深い画像群である。本実施形態に係る画像再生装置110は、簡便な操作をユーザが行うことに関連して、ユーザが興味を持つ画像群を適切に選択することができる。すなわち、ユーザにとっては、簡便な操作で、自身が興味を持つ画像群を再生させることができる。
【0063】
[変形例]
上述の実施形態の変形例について説明する。ここでは、上述の実施形態との相違点について説明し、同一の部分については、同一の符号を付してその説明を省略する。上述の実施形態では、1つの画像表示領域501に1つの画像が表示されている。これに対して本変形例では、画像表示領域501に複数の画像が表示される。
【0064】
上述の実施形態では、観察装置200が試料300の一箇所の画像を経時的に取得する場合を例として示した。これに対して、本変形例では、観察装置200は、試料300の複数箇所の画像を取得する。このため、観察装置200では、例えば撮像部216が移動し、試料300の各部を順次に撮影する。観察装置200は、このような撮影を例えば所定間隔ごとに繰り返し、各部のタイムラプス画像を取得する。あるいは、観察装置200は、複数の撮像部216を有しており、試料300の各部を同時に撮影する。観察装置200は、このような撮影を例えば所定間隔ごとに繰り返し、各部のタイムラプス画像を取得する。
【0065】
本変形例に係る画像再生装置110が表示させる再生画面500の一例を図13に示す。この図に示すように、画像表示領域501には、試料300の異なる箇所の画像が一覧表示される。例えば再生アイコン511が選択されてタイムラプス動画が再生されるとき、画像表示領域501に含まれる複数の画像が同時に動画として再生される。
【0066】
画像表示領域501に含まれる複数の画像のうち1つがユーザによって選択されたとき、当該選択された画像が上述の実施形態の場合と同様に画像表示領域501の全面に拡大されて表示されてもよい。
【0067】
本変形例によっても、上述の実施形態の場合と同様の効果が得られる。
【0068】
上述の実施形態及びその変形例においては、タグが付与される作業として、継代作業、培地交換、及び試薬添加等の他の作業を例示したが、付されるタグはこれら3種類でなくてもよい。例えば、画像に付されるタグの種類は、継代作業、培地交換及び他の作業のうち何れか1つであっても、何れか2つであってもよい。継代作業、培地交換及び他の作業のうち何れか1種類のタグが画像に付される態様では、観察装置200は、入力装置218として、継代作業、培地交換及び他の作業のうち当該1種類に対応する1つのボタンスイッチのみを備えていてもよい。また、継代作業、培地交換及び他の作業のうち何れか2種類のタグが画像に付される態様では、観察装置200は、入力装置218として、継代作業、培地交換及び他の作業のうち当該2種類に対応する2つのボタンスイッチを備えていてもよい。タグの種類が4種類以上であっても、同様である。また、作業の種類を区別せずにタグが画像に付される態様では、観察装置200は、入力装置218として、1つのボタンスイッチのみを備えていてもよい。
【0069】
また、作業タグを付与するために、観察装置200に備えられた入力装置218としてのボタンスイッチが押圧されたとき、観察装置200は、試料300の観察を一時停止してもよい。この場合、ボタンスイッチが再度押圧されることで、観察装置200は、試料300の観察を再開してもよい。例えば、図11を参照して説明した観察動作において、ステップS102で入力装置218のボタンスイッチが押圧されたと判定されたとき、ステップS103の処理の後、再びボタンスイッチが押圧されるまで処理は待機し、再びボタンスイッチが押圧されたと判定されたときに処理がステップS104に進んでもよい。
【0070】
以上の説明において示した再生画面500、再生選択画像573の選択方法等は一例である。再生画面はどのような画面であってもよい。図4A等に示した要素等は適宜に削除され得るし、適宜に追加され得るし、配置や大きさも自由に変更され得る。また、再生選択画像573として選択される画像は適宜に設定され得る。
【0071】
以上で説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムを用いて実現され得る。このプログラムは、記録媒体や記録部に収められ得る。この記録媒体又は記録部への記録の方法は様々であり、製品出荷時に記録されてもよく、配布された記録媒体が利用されて記録されてもよく、インターネットを介したダウンロードが利用されて記録されてもよい。
【0072】
また、上述の各処理は、ディープラーニング等により構築された人工知能によって行われてもよい。例えば、ユーザが所望する再生画像の選択を学習することで、人工知能によっても、例えばタグ情報を用いながら、ユーザが所望する画像の選択を適切に行うことができるようになり得る。
図1
図2
図3
図4A
図4B
図4C
図5A
図5B
図6A
図6B
図7A
図7B
図8A
図8B
図9A
図9B
図10A
図10B
図11
図12
図13
【国際調査報告】