(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024018715
(43)【公開日】2024-02-08
(54)【発明の名称】情報処理装置、測定システム、画像処理方法、及び画像処理プログラム
(51)【国際特許分類】
G01N 21/17 20060101AFI20240201BHJP
G01N 33/493 20060101ALI20240201BHJP
G01N 33/483 20060101ALI20240201BHJP
【FI】
G01N21/17 A
G01N33/493 B
G01N33/483 C
【審査請求】未請求
【請求項の数】12
【出願形態】OL
(21)【出願番号】P 2022122229
(22)【出願日】2022-07-29
(71)【出願人】
【識別番号】000141897
【氏名又は名称】アークレイ株式会社
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】藤本 浩司
【テーマコード(参考)】
2G045
2G059
【Fターム(参考)】
2G045AA18
2G045CB03
2G045FA19
2G059AA05
2G059BB13
2G059CC16
2G059DD12
2G059EE01
2G059KK04
2G059MM01
2G059MM10
(57)【要約】
【課題】有形成分を含む試料を撮像した画像における有形成分の視認性を向上させる。
【解決手段】情報処理装置10は、有形成分を含み、かつ、フローセルを流れる試料を時系列で連続的に撮像し、試料の第1画像と、第1画像に時系列で連続する部分が第1画像の一部と重複する第2画像とを生成するカメラ74と接続され、カメラ74により生成された第1画像及び第2画像を取得する取得部11Bと、第1画像と第2画像とを合成して得られた合成画像を出力する画像出力部11Fと、を備える。
【選択図】
図4
【特許請求の範囲】
【請求項1】
有形成分を含み、かつ、フローセルを流れる試料を時系列で連続的に撮像し、前記試料の第1画像と、前記第1画像に時系列で連続する部分が前記第1画像の一部と重複する第2画像とを生成する撮像部と接続された情報処理装置であって、
前記撮像部により生成された前記第1画像及び前記第2画像を取得する取得部と、
前記第1画像と前記第2画像とを合成して得られた合成画像を出力する画像出力部と、
を備えた情報処理装置。
【請求項2】
前記第1画像で撮像される前記試料と前記第2画像で撮像される前記試料の一部が重複するように前記撮像部による撮像間隔を制御する制御部を更に備えた
請求項1に記載の情報処理装置。
【請求項3】
前記フローセルに前記試料を供給すると共に、前記フローセルに供給された前記試料を前記撮像部に向けて流す試料供給部と更に接続され、
前記第1画像で撮像される前記試料と前記第2画像で撮像される前記試料の一部が重複するように前記撮像部による撮像間隔及び前記試料供給部による試料供給速度の少なくとも一方を制御する制御部を更に備えた
請求項1に記載の情報処理装置。
【請求項4】
前記制御部は、前記第1画像の一部と重複しない前記第2画像を生成する第1撮像モードと、前記第1画像の一部と重複する前記第2画像を生成する第2撮像モードとを切り替える
請求項3に記載の情報処理装置。
【請求項5】
前記第2撮像モードの試料供給速度は、前記第1撮像モードの試料供給速度よりも遅い
請求項4に記載の情報処理装置。
【請求項6】
前記第2撮像モードの撮像間隔は、前記第1撮像モードの撮像間隔よりも短い
請求項4に記載の情報処理装置。
【請求項7】
前記第2撮像モードの試料供給速度は、前記第1撮像モードの試料供給速度よりも遅く、かつ、前記第2撮像モードの撮像間隔は、前記第1撮像モードの撮像間隔よりも短い
請求項4に記載の情報処理装置。
【請求項8】
前記第1画像と前記第2画像とを合成して1つの前記合成画像を作成する画像処理部を更に備え、
前記画像処理部は、前記第2撮像モードの撮像間隔及び試料供給速度に基づいて、前記第1画像及び前記第2画像の合成位置を特定する
請求項4に記載の情報処理装置。
【請求項9】
前記合成画像は、前記フローセルの流れ方向に拡張されたパノラマ状の画像である
請求項1に記載の情報処理装置。
【請求項10】
有形成分を含む試料が流れるフローセルと、
前記フローセルを流れる前記試料を時系列で連続的に撮像し、前記試料の第1画像と、前記第1画像に時系列で連続する部分が前記第1画像の一部と重複する第2画像とを生成する撮像部と、
前記撮像部と接続された、請求項1~請求項9の何れか1項に記載の情報処理装置と、
を備えた測定システム。
【請求項11】
有形成分を含み、かつ、フローセルを流れる試料を時系列で連続的に撮像し、前記試料の第1画像と、前記第1画像に時系列で連続する部分が前記第1画像の一部と重複する第2画像とを生成する撮像部と接続された情報処理装置による画像処理方法であって、
前記撮像部により生成された前記第1画像及び前記第2画像を取得し、
前記第1画像と前記第2画像とを合成して得られた合成画像を出力する、
画像処理方法。
【請求項12】
有形成分を含み、かつ、フローセルを流れる試料を時系列で連続的に撮像し、前記試料の第1画像と、前記第1画像に時系列で連続する部分が前記第1画像の一部と重複する第2画像とを生成する撮像部と接続された情報処理装置の画像処理プログラムであって、
前記撮像部により生成された前記第1画像及び前記第2画像を取得し、
前記第1画像と前記第2画像とを合成して得られた合成画像を出力することを、
コンピュータに実行させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、測定システム、画像処理方法、及び画像処理プログラムに関する。
【背景技術】
【0002】
例えば、特許文献1には、フロー方式による画像撮影により得られた有形成分画像を所定の分類毎に分類可能な情報処理装置が記載されている。この情報処理装置は、複数種類の有形成分を含み、かつ、フローセルを流れる検体流体を撮影して得られる複数の画像から、有形成分として認識した有形成分画像を切り出し、切り出した有形成分画像を所定の分類毎に検出成分として分類する分類部と、分類部により検出成分として分類された有形成分画像を、異なる分類に再分類する場合に、検出成分の分類に含まれる有形成分画像の第1画像リストを表示部に表示させた状態で、移動先の分類の選択を受け付け、更に、第1画像リスト及び移動先の分類に含まれる有形成分画像の第2画像リストを表示部に同時に表示させた状態で、第1画像リストから選択された有形成分画像を、第2画像リストに移動させる制御を行う制御部と、を備える。
【0003】
また、特許文献2には、フローセルを流れる測定試料中の粒子を検出する細胞検出装置が記載されている。この細胞検出装置は、粒子を含む測定試料を流すためのフローセルと、フローセルに供給された測定試料中の粒子を検出するための粒子検出部と、粒子検出部による検出結果に基づいて、検出条件を満たす粒子とその他の粒子とを選別するための粒子選別部と、粒子選別部により選別された検出条件を満たす粒子を含む撮像用試料をフローセルに供給するための試料供給部と、フローセルに供給された選別後の撮像用試料中の粒子を撮像するための粒子撮像部と、を備える。この試料供給部は、粒子選別部により選別された検出条件を満たす粒子を含む撮像用試料を貯留および濃縮するための中間貯留部と、中間貯留部で濃縮された撮像用試料を粒子検出部の検出位置に対してフローセルの上流側に帰還させてフローセルに再び流入させるための帰還流路と、を備える。
【0004】
また、特許文献3には、測定試料をフローセル中に流しながら撮像する撮像装置が記載されている。この撮像装置は、プローブビームを生成するプローブビーム生成部と、プローブビームをディスパーシブフーリエ変換し、プローブビームのスペクトルを時間領域にマッピングするディスパーシブフーリエ変換部と、ディスパーシブフーリエ変換されたプローブビームを空間的にマッピングして藻類又は細胞に照射する空間マッピング部と、藻類又は細胞を透過した透過光を検出するビーム検出部と、透過光の強度に基づいて藻類又は細胞の画像を生成する画像生成部と、を備える。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2020-85535号公報
【特許文献2】特許第6713730号公報
【特許文献3】特許第6321279号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ところで、上記特許文献1~3に記載の従来技術は、尿に含まれる有形成分を自動分析する技術に関し、尿中有形成分分析のスクリーニングに有効である。しかしながら、スクリーニングの結果、何らかの項目で陽性等の問題が発見された場合、検査技師等による顕微鏡を用いた再検査(以下、「顕微鏡検査」という。)を行う必要がある。この顕微鏡検査では、例えば、顕微鏡検査用のスライド(標本)を作成する等の比較的工数がかかる作業が必要とされる。このため、スライド(標本)に代えて、有形成分を含む試料を撮像した画像を観察対象とする場合があるが、コマ切れの画像を1枚ずつ確認するため、画像中の有形成分の視認性が良くなかった。
【0007】
本開示は、上記の点に鑑みてなされたものであり、有形成分を含む試料を撮像した画像における有形成分の視認性を向上させることができる情報処理装置、測定システム、画像処理方法、及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
上記目的を達成するために、本開示の一態様に係る情報処理装置は、有形成分を含み、かつ、フローセルを流れる試料を時系列で連続的に撮像し、前記試料の第1画像と、前記第1画像に時系列で連続する部分が前記第1画像の一部と重複する第2画像とを生成する撮像部と接続された情報処理装置であって、前記撮像部により生成された前記第1画像及び前記第2画像を取得する取得部と、前記第1画像と前記第2画像とを合成して得られた合成画像を出力する画像出力部と、を備える。
【発明の効果】
【0009】
本開示によれば、有形成分を含む試料を撮像した画像における有形成分の視認性を向上させることができる、という効果が得られる。
【図面の簡単な説明】
【0010】
【
図1】実施形態に係る測定システムの構成の一部を示す斜視図である。
【
図2】実施形態に係る測定システムの構成の一例を示す模式図である。
【
図3】実施形態に係る情報処理装置の電気的な構成の一例を示すブロック図である。
【
図4】実施形態に係る情報処理装置の機能的な構成の一例を示すブロック図である。
【
図5】実施形態に係る測定結果画面の一例を示す正面図である。
【
図6】実施形態に係る有形成分画像リスト画面の一例を示す正面図である。
【
図7】実施形態に係る複数の画像を合成した合成画像の一例を示す模式図である。
【
図8】実施形態に係る画像処理プログラムによる処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【0011】
以下、図面を参照して、本開示の技術を実施するための形態の一例について詳細に説明する。なお、動作、作用、機能が同じ働きを担う構成要素及び処理には、全図面を通して同じ符号を付与し、重複する説明を適宜省略する場合がある。各図面は、本開示の技術を十分に理解できる程度に、概略的に示してあるに過ぎない。よって、本開示の技術は、図示例のみに限定されるものではない。また、本実施形態では、本開示と直接的に関連しない構成や周知な構成については、説明を省略する場合がある。
【0012】
図1は、本実施形態に係る測定システム70の構成の一部を示す斜視図である。
【0013】
図1に示すように、本実施形態に係る測定システム70は、フローセル40と、筐体72と、カメラ74と、光源76と、を備えている。なお、
図1に示す矢印UPは、測定システム70の上下方向の上側を示している。
【0014】
本実施形態に係るフローセル40は、例えば、シース流体と共に、検体流体の一例である尿検体を導入することで、尿検体中の有形成分をカメラ74により撮像し、撮像された画像の有形成分の形状等から各種の分析を行う尿中有形成分検査(尿沈渣検査)に適用するものである。なお、本実施形態に係る「試料」とは、シース流体及び検体流体を含むものとするが、シース流体を使用せず、検体流体のみを使用してもよい。このカメラ74は、撮像部の一例である。尿検体中には、複数種類の有形成分が含まれている。この有形成分の種類としては、一例として、赤血球、白血球、上皮細胞、円柱、細菌等が挙げられる。なお、本実施形態においては、検体流体の一例として、尿検体を用いて、尿中有形成分検査を行う場合について説明するが、血液、細胞、体液等を対象とした有形成分検査に使用することも可能である。
【0015】
測定システム70は、フローセル40が配置される筐体72を備えている。筐体72には、フローセル40が挿入される凹部72Aが形成されており、筐体72の凹部72Aを含む位置は、透明な部材(一例としてガラス等)で形成されている。筐体72の内部には、フローセル40と対向する位置にカメラ74が設けられている。筐体72の上側には、カメラ74とフローセル40を挟んで対向する位置に光源76が設けられている。カメラ74は、フローセル40を流れる試料を撮像可能な位置に配置されている。
【0016】
測定システム70は、フローセル40内の検体流路(図示省略)の検体取入口42に検体流体を供給する第1供給装置78を備えている。第1供給装置78は、検体取入口42に一端部が接続される供給管80と、供給管80の途中に設けられたポンプ82と、供給管80の他端部に接続されると共に検体流体が貯留される検体貯留部84と、を備えている。
【0017】
測定システム70は、フローセル40内のシース流路(図示省略)のシース取入口44にシース流体を供給する第2供給装置86を備えている。第2供給装置86は、シース取入口44に一端部が接続される供給管88と、供給管88の途中に設けられたポンプ90と、供給管88の他端部に接続されると共にシース流体が貯留されるタンク92と、を備えている。なお、これらの第1供給装置78及び第2供給装置86は、試料供給部の一例である。
【0018】
また、フローセル40には、検体取入口42とシース取入口44との間に排出口46が設けられている。排出口46には、排出管(図示省略)の一端部が接続されており、この排出管の他端部が廃棄タンク(図示省略)に接続されている。フローセル40は、検体取入口42から導入された検体と、シース取入口44から導入されたシース液とを合流させる合流部(図示省略)を備え、合流した流体(試料)が流路内を流れる。合流した流体中の有形成分をカメラ74で撮像する。
【0019】
図2は、本実施形態に係る測定システム70の構成の一例を示す模式図である。
【0020】
図2に示すように、本実施形態に係る測定システム70は、情報処理装置10を備えている。なお、
図2に示す矢印UPは、
図1と同様に、測定システム70の上下方向の上側を示している。
【0021】
情報処理装置10は、カメラ74、光源76と電気的に接続された光源作動部77、ポンプ82、及びポンプ90の動作をそれぞれ制御する制御装置としての機能を有している。情報処理装置10は、パルス信号を光源作動部77に与えることで光源76を所定の間隔で発光させる。また、情報処理装置10は、ポンプ82を駆動させて、検体流体の流量を制御すると共に、ポンプ90を駆動させて、シース流体の流量を制御する。図示は省略しているが、複数のカメラ74と、各々のカメラ74に光を導く光学系を備えていてもよい。各光学系は各カメラ74がフローセル40中において異なる位置(深さ)に焦点が合うように調整されている。言い換えると、複数のカメラ74によって、水平面では同じ位置で、異なる深さ位置に焦点があった複数の画像を同時に撮像している。同時に撮像した撮像画像は、対応付けて、後述の
図3に示す記憶部15に記憶される。ここでいう深さ方向とは、検体流体の流れる方向に対して垂直な方向であり、
図2でいう上下方向を意味する。各焦点とフローセル40のカメラ74に近い側の壁面までの距離が異なる。
【0022】
図3は、本実施形態に係る情報処理装置10の電気的な構成の一例を示すブロック図である。
【0023】
図3に示すように、本実施形態に係る情報処理装置10は、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Randam Access Memory)13と、入出力インタフェース(I/O)14と、記憶部15と、表示部16と、操作部17と、通信部18と、接続部19と、を備えている。なお、CPU11は、例えば、GPU(Graphics Processing Unit)等のプロセッサであってもよい。
【0024】
本実施形態に係る情報処理装置10には、例えば、パーソナルコンピュータ(PC:Personal Computer)等の汎用的なコンピュータ装置が適用される。なお、情報処理装置10には、スマートフォン、タブレット端末等の携帯可能なコンピュータ装置を適用してもよい。また、情報処理装置10は、複数のユニットに分かれていてもよい。例えば、カメラ74、光源76、ポンプ82、ポンプ90などの測定系を制御するユニットと、カメラ74で撮像した画像の処理及び解析を行うユニットとを含んで構成されていてもよい。また、情報処理装置10は、測定システム70に外部接続されてもよい。
【0025】
CPU11、ROM12、RAM13、及びI/O14によって制御装置が構成される。制御装置は、例えば、カメラ74、光源76、ポンプ82、ポンプ90などの測定系を制御する機能と、カメラ74で撮影した画像の処理及び解析を行う機能とを有する。これらのCPU11、ROM12、RAM13、及びI/O14の各部はバスを介して各々接続されている。
【0026】
I/O14には、記憶部15と、表示部16と、操作部17と、通信部18と、接続部19と、を含む各機能部が接続されている。これらの各機能部は、I/O14を介して、CPU11と相互に通信可能とされる。
【0027】
制御装置は、情報処理装置10の一部の動作を制御するサブ制御部として構成されてもよいし、情報処理装置10の全体の動作を制御するメイン制御部の一部として構成されてもよい。制御装置の各ブロックの一部又は全部には、例えば、LSI(Large Scale Integration)等の集積回路又はIC(Integrated Circuit)チップセットが用いられる。上記各ブロックに個別の回路を用いてもよいし、一部又は全部を集積した回路を用いてもよい。上記各ブロック同士が一体として設けられてもよいし、一部のブロックが別に設けられてもよい。また、上記各ブロックのそれぞれにおいて、その一部が別に設けられてもよい。制御装置の集積化には、LSIに限らず、専用回路又は汎用プロセッサを用いてもよい。
【0028】
記憶部15としては、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)、フラッシュメモリ等が用いられる。記憶部15には、本実施形態に係る測定系制御、画像処理を行うための画像処理プログラム15Aが記憶される。なお、この画像処理プログラム15Aは、ROM12に記憶されていてもよい。なお、記憶部15は、メモリが外付けされたり、後から増設されたりしてもよい。
【0029】
画像処理プログラム15Aは、例えば、情報処理装置10に予めインストールされていてもよい。画像処理プログラム15Aは、不揮発性の非一時的記憶媒体に記憶して、又はネットワーク回線を介して配布して、情報処理装置10に適宜インストールしたり、アップグレードしたりすることで実現してもよい。なお、不揮発性の非一時的記憶媒体の例としては、CD-ROM(Compact Disc Read Only Memory)、光磁気ディスク、HDD、DVD-ROM(Digital Versatile Disc Read Only Memory)、フラッシュメモリ、メモリカード等が想定される。
【0030】
表示部16には、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)や有機EL(Electro Luminescence)ディスプレイ等が用いられる。表示部16は、タッチパネルを一体的に有していてもよい。操作部17には、例えば、キーボードやマウス等の操作入力用のデバイスが設けられている。表示部16及び操作部17は、情報処理装置10のユーザから各種の指示を受け付ける。表示部16は、ユーザから受け付けた指示に応じて実行された処理の結果や、処理に対する通知等の各種の情報を表示する。
【0031】
通信部18は、インターネットや、LAN(Local Area Network)、WAN(Wide Area Network)等のネットワーク回線に接続されており、外部装置との間でネットワーク回線を介して通信が可能とされる。
【0032】
接続部19は、例えば、カメラ74、光源76、ポンプ82、ポンプ90などが接続される。これらのカメラ74、光源76、ポンプ82、ポンプ90などの測定系は、上記の制御装置によって制御される。接続部19は、カメラ74が出力する画像を入力する入力ポートとしても機能する。
【0033】
ところで、上述したように、コマ切れの画像を1枚ずつ確認する場合、画像中の有形成分の視認性が良くないために、有形成分の見落としが発生する場合があった。
【0034】
これに対して、本実施形態に係るカメラ74は、フローセル40を流れる試料を時系列で連続的に撮像し、試料の第1画像と、第1画像に時系列で連続する部分が第1画像の一部と重複する第2画像とを生成し、情報処理装置10は、カメラ74と接続され、カメラ74により生成された第1画像及び第2画像を取得し、第1画像と第2画像とを合成して得られた合成画像を出力する。合成画像とは、フローセル40の流れ方向に拡張されたパノラマ状の画像である。なお、第1画像及び第2画像は、時系列的に連続しており、互いの一部が重複する画像である。第1画像及び第2画像を合成した合成画像を出力することにより、コマ切れの画像を1枚ずつ確認する場合と比較して、画像中の有形成分の視認性を向上させることができる。特に、コマ切れの画像では、画像同士の継ぎ目が連続していないため、コマ(写真の区画、フレームともいう)とコマの間に位置した有形成分を撮像することができず、有形成分の見落としが発生する場合がある。これに対して、この合成画像によれば、切れ目なく撮像でき、画像の流れ方向における視認性が向上するため、有形成分の見落としの発生が抑制される。なお、対象とする複数枚の画像は、第1画像及び第2画像に限定されるものではなく、3枚以上の画像であっても同様である。
【0035】
具体的に、本実施形態に係る情報処理装置10のCPU11は、記憶部15に記憶されている画像処理プログラム15AをRAM13に書き込んで実行することにより、
図4に示す各部として機能する。
【0036】
図4は、本実施形態に係る情報処理装置10の機能的な構成の一例を示すブロック図である。
【0037】
図4に示すように、本実施形態に係る情報処理装置10のCPU11は、制御部11A、取得部11B、分類部11C、表示制御部11D、画像処理部11E、及び画像出力部11Fとして機能する。
【0038】
制御部11Aは、カメラ74、ポンプ82、及びポンプ90の動作を制御する。ポンプ82及びポンプ90の各々は、フローセル40に試料を供給すると共に、フローセル40に供給された試料をカメラ74に向けて流すためのポンプであり、ポンプ82及びポンプ90の各々によって試料供給速度が制御される。制御部11Aは、第1画像の一部と重複しない第2画像を生成する第1撮像モードと、第1画像の一部と重複する第2画像を生成する第2撮像モードとを切り替える。第1画像の一部と重複する第2画像とは、第1画像で撮影対象となる試料の一部と第2画像で撮影対象となる試料の一部とが重複していることを意味する。モードの切り替えは、例えば、検査技師等のユーザによる所定の操作(例えば、ボタン操作等)に従って行われる。第1撮像モードは第1画像と第2画像との間で重複がない通常の撮像モードであり、第2撮像モードは第1画像と第2画像との間で重複がある合成画像作成用の撮像モードである。以下、第1撮像モードを「通常モード」、第2撮像モードを「合成モード」ともいう。
【0039】
まず、第1撮像モードの場合について具体的に説明する。
【0040】
記憶部15には、画像分類処理に用いる学習済みモデル15Bが記憶されている。学習済みモデル15Bは、分類部11Cによる画像分類処理に用いるモデルである。
【0041】
取得部11Bは、カメラ74によりフローセル40を流れる試料を撮像して得られる複数の画像(一例として、300枚、1000枚)から、検体流体に含まれる複数種類の有形成分を有形成分画像として切り出し、切り出した複数の有形成分画像を取得する。
【0042】
分類部11Cは、取得部11Bにより取得された複数の有形成分画像を所定の分類(例えば、有形成分の種類、大きさ、形状、核の有無等)毎に検出成分として分類する。分類部11Cにより所定の分類毎に分類された有形成分画像群は、検体毎に分けて一時的に記憶部15に記憶される。有形成分画像を分類する方法としては、一例として、機械学習を用いた方法や、パターンマッチングを用いた方法等、各種の公知の技術が適用される。本実施形態に係る有形成分画像群は、例えば、学習済みモデル15Bを用いて分類される。学習済みモデル15Bは、過去に得られた有形成分画像の各々に所定の分類毎の検出成分を対応付けて得られた学習用データを機械学習することにより生成されたモデルである。つまり、学習用データは教師有りのデータとされる。学習済みモデル15Bは、有形成分画像を入力とし、所定の分類毎の検出成分を出力する。機械学習を行う学習モデルには、例えば、CNN(Convolutional Neural Network:畳み込みニューラルネットワーク)等が用いられる。機械学習の手法には、例えば、ディープラーニング等が用いられる。有形成分画像群は、個々の有形成分画像として説明する場合には、有形成分画像とも称する。
【0043】
また、分類部11Cは、有形成分画像を分類する際に、使用している画像分類方法(一例として、機械学習、パターンマッチング等)に基づいて適合度を算出する。ここでいう適合度とは、分類結果の画像についての分類確度を示し、所定の分類毎の画像について、正解画像又は予め定めた特徴点と一致する割合が高いほど高い値が付与される。正解画像又は特徴点と完全に一致する場合、適合度は100%となる。すなわち、適合度が比較的低い有形成分画像は、適切な分類がなされていない可能性が高いと考えられる。なお、適合度は適合率として表してもよい。
【0044】
表示制御部11Dは、分類部11Cにより検出成分として分類された有形成分画像を、有形成分個別画像として表示部16に表示させる制御を行う。これにより、検査技師等のユーザが有形成分個別画像を目視でチェックすることができる。
【0045】
ここで、
図5及び
図6を参照して、本実施形態に係る画像分類処理における具体的な画面例について説明する。
【0046】
図5は、本実施形態に係る測定結果画面50の一例を示す正面図である。測定結果画面50は、表示制御部11Dにより表示部16に表示される。
【0047】
図5に示すように、本実施形態に係る測定結果画面50は、項目毎の測定結果の一覧を表示している。測定結果としては、有形成分名と、その成分の含有量又は含有個数や、含有量の指標となる定性表示等が示される。また、測定結果画面50には、有形成分名50A及び有形成分ボタン50Bが設けられている。
【0048】
図5に示す項目のうち、主要な項目として、例えば、RBCは赤血球、WBCは白血球、NSEは非扁平上皮細胞、SQECは扁平上皮細胞、NHCはその他円柱、BACTは細菌を各々示している。また、CRYSは結晶、YSTは酵母、HYSTは硝子円柱、MUCSは粘液糸、SPRMは精子、WBCCは白血球塊を各々示している。また、UNCLは未分類を示している。
【0049】
ここで、表示制御部11Dは、測定結果画面50において、分類項目の中から選択した分類の画像リスト(例えば、後述の
図6参照)を表示させて有形成分画像の確認を行った分類に対して、確認済みを示すマークを付与する制御を行う。
図5に示す測定結果画面50では、分類項目のうち、画像リストの確認を行った項目に対して、確認済みを示すマーク50Cが付与されている。なお、再分類(分類変更)が行われた場合には、その結果が反映された測定結果が表示される。
【0050】
図5に示す測定結果画面50において、有形成分名50A又は有形成分ボタン50Bがクリック操作等により選択されると、選択された分類項目の有形成分個別画像が、一例として、
図6に示す有形成分画像リスト画面51として表示部16に表示される。
【0051】
図6は、本実施形態に係る有形成分画像リスト画面51の一例を示す正面図である。
【0052】
図6に示すように、本実施形態に係る有形成分画像リスト画面51は、画像を確認したい有形成分として選択された有形成分画像リスト51Aを表示している。この有形成分画像リスト画面51は、表示部16に表示される。
【0053】
図6に示す有形成分画像リスト画面51は、検出成分の第1項目ボタン群52と、移動先の第2項目ボタン群53と、を含んでいる。検出成分の第1項目ボタン群52は、検出成分の種類毎に設けられている。同様に、移動先の第2項目ボタン群53は、移動先の分類項目毎に設けられている。一例として、上述したように、「RBC」は赤血球を示し、「WBC」は白血球を示し、「SQEC」は扁平上皮細胞を示し、「UNCL」は未分類を示している。なお、
図6に示す例では、検出成分の第1項目ボタン群52の「SQEC」が選択された状態であるため、有形成分画像リスト画面51には、扁平上皮細胞の画像のリストが表示されている。
【0054】
また、
図6に示す有形成分画像リスト画面51は、複数の操作ボタンB1~B6を操作可能に表示している。操作ボタンB1は、有形成分画像を拡大表示すると共に、画像の拡大に合わせてスケール(長さ)を表示するためのボタンである。
図6に示す例では、スケールが10μm/画素として表示されている。また、操作ボタンB2は、焦点位置の異なる有形成分画像を切り替えて表示させるためのボタンである。
図6に示す例では、フローセル40中の深さ方向における焦点位置を上層、中層、及び下層の3つの層に対応して切り替え可能とされている。また、操作ボタンB3は、検出成分の有形成分画像を移動先に移動させるためのボタンである。また、操作ボタンB4は、画像分類の編集作業を1つ前に戻すためのボタンである。また、操作ボタンB5は、「見本」となる有形成分画像を表示させるためのボタンである。また、操作ボタンB6は、有形成分画像の拡大率を設定したり、有形成分画像の輝度やコントラスト比等を設定したりするウィンドウを表示させるためのボタンである。
【0055】
図6に示す複数の操作ボタンB1~B6を操作することにより、有形成分画像の表示態様を変更することができるため、有形成分の判別が行いやすくなる。なお、各操作ボタンは、タッチパネルである表示部16に表示されていてもよいし、操作部17として設けられていてもよい。
【0056】
図6に示す有形成分画像リスト画面51において、移動先の第2項目ボタン群53のうちのいずれかの項目ボタンがクリック操作等により選択されると、再分類作業画面(図示省略)が表示される。
【0057】
次に、第2撮像モードの場合について具体的に説明する。
【0058】
検査技師等のユーザが
図6に示す有形成分画像リスト画面51を参照し、有形成分画像に対して何らかの異常が認められた場合、ユーザは所定の操作を実行し、第2撮像モードに切り替える。
【0059】
第2撮像モードでは、第1撮像モードと同様の検体でもよいが、検体を遠心して濃縮された有形成分を含む濃縮検体を流すことが望ましい。
【0060】
制御部11Aは、第1画像で撮像される試料と第2画像で撮像される試料の一部が重複するようにカメラ74による撮像間隔、及び、ポンプ82、90による試料供給速度の少なくとも一方を制御する。具体的に、第2撮像モードの試料供給速度を、第1撮像モードの試料供給速度よりも遅くする。あるいは、第2撮像モードの撮像間隔を、第1撮像モードの撮像間隔よりも短くしてもよい。あるいは、第2撮像モードの試料供給速度を、第1撮像モードの試料供給速度よりも遅くし、かつ、第2撮像モードの撮像間隔を、第1撮像モードの撮像間隔よりも短くしてもよい。
【0061】
第2撮像モードは、第1撮像モードと比較して、ゆっくりと検体を押し出しながら撮像エリアを第1画像と重複した第2画像を撮像するモードであり、第1撮像モードと同様にシース流体を使用する。この場合、例えば、検体流体及びシース流体の試料供給速度(送液速度=流速)を第1撮像モードの場合と比較して遅くする。なお、シース流体を使用せず、検体流体のみを使用してもよく、この場合、検体流体の試料供給速度(送液速度=流速)を第1撮像モードの場合と比較して遅くすればよい。
【0062】
例えば、画像間で重複して撮像するための試料供給速度(V)は、前の撮像時点(t1)から次の撮像時点(t2)までの間に試料が移動する距離が撮像視野の距離(L)未満となる移動速度(V < L/(t2-t1))が上限となるが、撮像される試料の全てが重複するためには、前の撮像から後の撮像までの間に試料が移動する距離が撮像視野の半分の距離未満となる移動速度であることが好ましい。これによって、流れる検体中の有形成分は、2つ以上の撮像画像に含まれていることになる。換言すれば、ある撮像時点で撮像して得られる画像に写った有形成分と同じ有形成分が、次の撮像時点で撮像して得られる画像に写ることになる。この例では試料供給速度の制御例について説明したが、撮像間隔を制御してもよい。撮像間隔の場合、検体が撮像視野の半分の距離に到達するよりも早くカメラ74により撮像する、つまり、シャッタ速度を速くすればよい。なお、速度を優先しつつ、前後の画像の合成を行う場合には、重複する領域を画像の10%以上20%以下として制御してもよい。
【0063】
カメラ74は、制御部11Aによる制御に従って、フローセル40を流れる試料を時系列で連続的に撮像し、試料の第1画像と、第1画像に時系列で連続する部分が第1画像の一部と重複する第2画像とを生成する。
【0064】
取得部11Bは、カメラ74により生成された第1画像及び第2画像を取得する。
【0065】
画像処理部11Eは、取得部11Bにより取得された第1画像と第2画像とを合成して1つの合成画像を作成する。具体的に、画像処理部11Eは、第2撮像モードにおける撮像間隔及び試料供給速度に基づいて、第1画像及び第2画像の合成位置を特定する。つまり、撮像間隔及び試料供給速度を参考にすることで、前後の画像がどの程度ずれているかを特定し、合成位置を特定することができる。これにより、より適切な画像合成を行うことができる。
【0066】
画像出力部11Fは、画像処理部11Eにより第1画像と第2画像とを合成して得られた合成画像を出力する。出力先は、例えば、表示部16又は記憶部15とされる。
【0067】
図7は、本実施形態に係る複数の画像P1~P4を合成した合成画像Psの一例を示す模式図である。
【0068】
図7に示す複数の画像P1~P4は、各々有形成分を含み、互いに重複する部分を含む静止画である。つまり、画像P1の左端部と画像P2の右端部とが重複し、画像P2の右端部と画像P3の左端部とが重複し、画像P3の右端部と画像P4の左端部とが重複する。
【0069】
これらの画像P1~P4が繋ぎ合わされた1つの大きな合成画像Psを作成するが、画像合成処理の手法には、例えば、公知の手法が採用される。例えば、「Image Composite Editor(https://nj-clucker.com/microsoft-image-composite-editor/)」というソフトウェアが採用される。作成された合成画像Psによって、1視野として観察できるようにすることで、顕微鏡観察のようにスライドしながら、情報処理装置10の表示部16で確認することができる。
【0070】
ここで、第2撮像モードを間欠的に繰り返し行うモードである間欠フローモードを更に設定してもよい。間欠フローモードでは、試料を低速で供給しながら撮像する期間と、試料の供給を停止する期間とが設けられる。停止期間中に深度方向(上下方向)にカメラ74をスキャンし、高速撮影を行い、深度方向の撮像も行うことで、顕微鏡検査のように奥行きの情報を得る。これにより最適な焦点位置に基づく画像を得ることができる。
【0071】
次に、
図8を参照して、本実施形態に係る情報処理装置10の作用を説明する。
【0072】
図8は、本実施形態に係る画像処理プログラム15Aによる処理の流れの一例を示すフローチャートである。
【0073】
画像処理プログラム15Aによる測定系制御、画像処理は、情報処理装置10のCPU11が、ROM12又は記憶部15に記憶されている画像処理プログラム15AをRAM13に書き込むことで実行される。
【0074】
図8のステップS101では、CPU11が、画像間で試料の一部が重複しないように撮像する第1撮像モード(通常モード)を設定し、ポンプ82、90を制御して、フローセル40に第1速度(=第1試料供給速度)で試料を流すように制御する。
【0075】
ステップS102では、CPU11が、ステップS101で設定した第1撮像モードに従って、フローセル40を第1速度で流れる試料を撮像して得られた複数の画像から、試料に含まれる複数種類の有形成分を有形成分画像として切り出し、切り出した複数の有形成分画像を取得する。そして、取得された複数の有形成分画像は、所定の分類(例えば、有形成分の種類、大きさ、形状、核の有無等)毎に検出成分として分類され、分類された有形成分画像は、一例として、上述の
図6に示す有形成分画像リスト画面51に表示される。この有形成分画像リスト画面51に表示された有形成分画像に対して、検査技師等のユーザによって異常の有無が確認される。
【0076】
ステップS103では、CPU11が、画像間で試料の一部が重複する第2撮像モードに切り替えるか否かを判定する。第2撮像モードに切り替えると判定した場合(肯定判定の場合)、ステップS104に移行し、第2撮像モードに切り替えないと判定した場合(否定判定の場合)、本画像処理プログラム15Aによる一連の処理を終了する。具体的には、検査技師等のユーザが
図6に示す有形成分画像リスト画面51を参照し、有形成分画像に対して何らかの異常が認められた場合、ユーザは所定の操作を実行し、第2撮像モードに切り替える。
【0077】
ステップS104では、CPU11が、画像間で試料の一部が重複するように撮像する第2撮像モード(合成モード)を設定し、ポンプ82、90を制御して、フローセル40に第2速度(=第2試料供給速度)で試料を流すように制御する。第2撮像モードでは、第1撮像モードと同様の検体でもよいが、検体を遠心して濃縮された有形成分を含む濃縮検体を流すことが望ましい。ここでは、一例として、第2撮像モードの第2試料供給速度が、第1撮像モードの第1試料供給速度よりも遅くなるように制御される。なお、第2撮像モードの撮像間隔を、第1撮像モードの撮像間隔よりも短くしてもよい。あるいは、第2撮像モードの第2試料供給速度を、第1撮像モードの第1試料供給速度よりも遅くし、かつ、第2撮像モードの撮像間隔を、第1撮像モードの撮像間隔よりも短くしてもよい。
【0078】
ステップS105では、CPU11が、カメラ74を制御して、フローセル40を流れる試料を時系列で連続的に撮像し、試料の一部が重複する複数の画像を取得する。一例として、上述の
図7に示す複数の画像P1~P4を取得する。ここで、前後の画像での重複の割合は、確実な合成のためには、例えば、50%以上とすることが望ましく、迅速な撮像のためには、例えば、80%以上とすることが望ましい。
【0079】
ステップS106では、CPU11が、ステップS105で取得した複数の画像から合成画像を作成する。一例として、上述の
図7に示す合成画像Psを作成する。
【0080】
ステップS107では、CPU11が、ステップS106で作成した合成画像を、例えば、表示部16又は記憶部15に出力し、本画像処理プログラム15Aによる一連の処理を終了する。
【0081】
このように本実施形態によれば、有形成分を含む試料を撮像した画像における有形成分の視認性を向上させることができる。このため、画像中の有形成分の見落としの発生を抑制することができる。
【0082】
また、本実施形態によれば、試料の一部が重複する複数の画像が自動的に撮像され、顕微鏡検査用の画像のように、撮像された複数の画像からパノラマ状の1枚の合成画像が作成される。このため、顕微鏡検査を行う際に手間がかかるスライド作成を省略することができる。
【0083】
また、パノラマ状の合成画像によれば、横方向への一軸スライドだけで簡単に観察することができる。
【0084】
また、合成画像の作成に用いる試料を濃縮しないのであれば、濃縮にかかる手間をなくすこともできる。
【0085】
また、合成画像を画像情報として自動的に保存することができるため、複数の検査技師等のユーザ間で共有することで主観によらない判断を行うことも可能となる。
【0086】
なお、上記各実施形態において、プロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ(例えば、CPU:Central Processing Unit、等)や、専用のプロセッサ(例えば、GPU:Graphics Processing Unit、ASIC: Application Specific Integrated Circuit、FPGA:Field Programmable Gate Array、プログラマブル論理デバイス、等)を含むものである。
【0087】
また、上記各実施形態におけるプロセッサの動作は、1つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は、上記各実施形態において記載した順序のみに限定されるものではなく、適宜変更してもよい。
【0088】
以上、実施形態に係る情報処理装置を例示して説明した。実施形態は、情報処理装置が備える各部の機能をコンピュータに実行させるためのプログラムの形態としてもよい。実施形態は、このプログラムを記憶したコンピュータが読み取り可能な非一時的記憶媒体の形態としてもよい。
【0089】
その他、上記実施形態で説明した情報処理装置の構成は、一例であり、主旨を逸脱しない範囲内において状況に応じて変更してもよい。有形成分画像の表示は、上記の実施形態には限定されず、例えば左右に横並びで表示してもよい。各ボタンの表示位置も適宜変更可能である。
【0090】
また、上記実施形態で説明したプログラムの処理の流れも、一例であり、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。
【0091】
また、上記実施形態では、プログラムを実行することにより、実施形態に係る処理がコンピュータを利用してソフトウェア構成により実現される場合について説明したが、これに限らない。実施形態は、例えば、ハードウェア構成や、ハードウェア構成とソフトウェア構成との組み合わせによって実現してもよい。
【0092】
以上の実施形態に関し、更に以下を開示する。
【0093】
第1態様に係る情報処理装置は、有形成分を含み、かつ、フローセルを流れる試料を時系列で連続的に撮像し、前記試料の第1画像と、前記第1画像に時系列で連続する部分が前記第1画像の一部と重複する第2画像とを生成する撮像部と接続された情報処理装置であって、前記撮像部により生成された前記第1画像及び前記第2画像を取得する取得部と、前記第1画像と前記第2画像とを合成して得られた合成画像を出力する画像出力部と、を備える。
【0094】
第2態様に係る情報処理装置は、第1態様に係る情報処理装置において、前記第1画像で撮像される前記試料と前記第2画像で撮像される前記試料の一部が重複するように前記撮像部による撮像間隔を制御する制御部を更に備える。
【0095】
第3態様に係る情報処理装置は、第1態様に係る情報処理装置において、前記フローセルに前記試料を供給すると共に、前記フローセルに供給された前記試料を前記撮像部に向けて流す試料供給部と更に接続され、前記第1画像で撮像される前記試料と前記第2画像で撮像される前記試料の一部が重複するように前記撮像部による撮像間隔及び前記試料供給部による試料供給速度の少なくとも一方を制御する制御部を更に備える。
【0096】
第4態様に係る情報処理装置は、第3態様に係る情報処理装置において、前記制御部が、前記第1画像の一部と重複しない前記第2画像を生成する第1撮像モードと、前記第1画像の一部と重複する前記第2画像を生成する第2撮像モードとを切り替える。
【0097】
第5態様に係る情報処理装置は、第4態様に係る情報処理装置において、前記第2撮像モードの試料供給速度が、前記第1撮像モードの試料供給速度よりも遅い。
【0098】
第6態様に係る情報処理装置は、第4態様に係る情報処理装置において、前記第2撮像モードの撮像間隔が、前記第1撮像モードの撮像間隔よりも短い。
【0099】
第7態様に係る情報処理装置は、第4態様に係る情報処理装置において、前記第2撮像モードの試料供給速度が、前記第1撮像モードの試料供給速度よりも遅く、かつ、前記第2撮像モードの撮像間隔が、前記第1撮像モードの撮像間隔よりも短い。
【0100】
第8態様に係る情報処理装置は、第4態様~第7態様の何れか1態様に係る情報処理装置において、前記第1画像と前記第2画像とを合成して1つの前記合成画像を作成する画像処理部を更に備え、前記画像処理部が、前記第2撮像モードの撮像間隔及び試料供給速度に基づいて、前記第1画像及び前記第2画像の合成位置を特定する。
【0101】
第9態様に係る情報処理装置は、第1態様~第8態様の何れか1態様に係る情報処理装置において、前記合成画像が、前記フローセルの流れ方向に拡張されたパノラマ状の画像である。
【0102】
第10態様に係る測定システムは、有形成分を含む試料が流れるフローセルと、前記フローセルを流れる前記試料を時系列で連続的に撮像し、前記試料の第1画像と、前記第1画像に時系列で連続する部分が前記第1画像の一部と重複する第2画像とを生成する撮像部と、前記撮像部と接続された、第1態様~第9態様の何れか1態様に係る情報処理装置と、を備える。
【0103】
第11態様に係る画像処理方法は、有形成分を含み、かつ、フローセルを流れる試料を時系列で連続的に撮像し、前記試料の第1画像と、前記第1画像に時系列で連続する部分が前記第1画像の一部と重複する第2画像とを生成する撮像部と接続された情報処理装置による画像処理方法であって、前記撮像部により生成された前記第1画像及び前記第2画像を取得し、前記第1画像と前記第2画像とを合成して得られた合成画像を出力する。
【0104】
第12態様に係る画像処理プログラムは、有形成分を含み、かつ、フローセルを流れる試料を時系列で連続的に撮像し、前記試料の第1画像と、前記第1画像に時系列で連続する部分が前記第1画像の一部と重複する第2画像とを生成する撮像部と接続された情報処理装置の画像処理プログラムであって、前記撮像部により生成された前記第1画像及び前記第2画像を取得し、前記第1画像と前記第2画像とを合成して得られた合成画像を出力することを、コンピュータに実行させる。
【符号の説明】
【0105】
10 情報処理装置
11 CPU
11A 制御部
11B 取得部
11C 分類部
11D 表示制御部
11E 画像処理部
11F 画像出力部
12 ROM
13 RAM
14 I/O
15 記憶部
15A 画像処理プログラム
15B 学習済みモデル
16 表示部
17 操作部
18 通信部
19 接続部
40 フローセル
42 検体取入口
44 シース取入口
46 排出口
50 測定結果画面
50A 有形成分名
50B 有形成分ボタン
50C マーク
51 有形成分画像リスト画面
52 第1項目ボタン群
53 第2項目ボタン群
70 測定システム
72 筐体
74 カメラ
76 光源
78 第1供給装置
82、90 ポンプ
86 第2供給装置