特開 2023-156996 画像処理装置、データ管理装置、画像処理システム、及び画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023156996

(43)【公開日】2023-10-25

(54)【発明の名称】画像処理装置、データ管理装置、画像処理システム、及び画像処理プログラム

(51)【国際特許分類】

   G06V 10/764 20220101AFI20231018BHJP

   G06T 1/00 20060101ALI20231018BHJP

   G06T 7/00 20170101ALI20231018BHJP

   G06V 20/69 20220101ALI20231018BHJP

   G01N 33/483 20060101ALI20231018BHJP

   G01N 33/48 20060101ALI20231018BHJP

【ＦＩ】

G06V10/764

G06T1/00 400B

G06T7/00 350B

G06T7/00 630

G06V20/69

G01N33/483 C

G01N33/48 M

G01N33/48 Z

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2023060223

(22)【出願日】2023-04-03

(31)【優先権主張番号】P 2022066601

(32)【優先日】2022-04-13

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】000141897

【氏名又は名称】アークレイ株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】藤本 浩司

【テーマコード（参考）】

2G045

5B047

5L096

【Ｆターム（参考）】

2G045AA25

2G045CB01

2G045FA19

2G045JA01

2G045JA03

5B047AA07

5B047AA17

5B047BA01

5B047BB04

5B047BC14

5B047CB13

5B047CB21

5B047DC09

5B047EA01

5L096BA06

5L096BA13

5L096GA51

5L096KA04

5L096KA15

5L096MA07

(57)【要約】

【課題】画像処理装置が所定の分類毎に適切に分類することが難しい有形成分画像を、有形成分画像を分類する分類処理に関する処理が実行されるデータ管理装置に送信する。
【解決手段】画像処理装置１０は、複数の有形成分画像を取得する取得部１１Ａと、複数の有形成分画像を所定の分類毎に検出成分として分類し、分類結果についての適合度を算出する第１分類部１１Ｂと、算出された適合度に基づいて、複数の有形成分画像のうち特定の有形成分画像を、ネットワーク回線を介してデータ管理装置に送信する送信部１１Ｄと、を備える。
【選択図】図４

【特許請求の範囲】

【請求項1】

複数の有形成分画像を取得する取得部と、
前記複数の有形成分画像を所定の分類毎に検出成分として分類し、分類結果についての適合度を算出する第１分類部と、
前記第１分類部により算出された適合度に基づいて、前記複数の有形成分画像のうち特定の有形成分画像を、ネットワーク回線を介してデータ管理装置に送信する送信部と、
を備えた画像処理装置。

【請求項2】

前記送信部は、前記複数の有形成分画像のうち前記適合度が閾値以下の有形成分画像を、前記データ管理装置に前記特定の有形成分画像として送信する
請求項１に記載の画像処理装置。

【請求項3】

前記第１分類部は、過去に得られた有形成分画像の各々に所定の分類毎の検出成分を対応付けて得られた学習用データを機械学習することにより生成され、かつ、有形成分画像を入力とし、所定の分類毎の検出成分を出力する第１学習済みモデルを用いて、前記複数の有形成分画像を分類する
請求項１又は請求項２に記載の画像処理装置。

【請求項4】

前記データ管理装置から、前記特定の有形成分画像を検出成分として分類して得られた分類結果を受信する受信部、を更に備えた
請求項１又は請求項２に記載の画像処理装置。

【請求項5】

前記特定の有形成分画像は、複数であり、
前記複数の特定の有形成分画像のうち類似する有形成分画像をグループ化し、グループ化した類似の有形成分画像の中から代表となる代表画像を選択する選択部を更に備え、
前記送信部は、前記選択部により選択された代表画像を前記データ管理装置に送信する
請求項１又は請求項２に記載の画像処理装置。

【請求項6】

画像処理装置とネットワーク回線を介して接続されたデータ管理装置であって、
前記画像処理装置から受信した特定の有形成分画像を検出成分として分類する第２分類部と、
前記第２分類部による分類結果を前記画像処理装置に返信する返信部と、
を備えたデータ管理装置。

【請求項7】

画像処理装置と、
前記画像処理装置とネットワーク回線を介して接続されたデータ管理装置と、
を含む画像処理システムであって、
前記画像処理装置は、
複数の有形成分画像を取得する取得部と、
前記複数の有形成分画像を所定の分類毎に検出成分として分類し、分類結果についての適合度を算出する第１分類部と、
前記第１分類部により算出された適合度に基づいて、前記複数の有形成分画像のうち特定の有形成分画像を前記データ管理装置に送信する送信部と、
を備え、
前記データ管理装置は、
前記画像処理装置から受信した前記特定の有形成分画像を検出成分として分類する第２分類部と、
前記第２分類部による分類結果を前記画像処理装置に返信する返信部と、
を備えた
画像処理システム。

【請求項8】

前記第１分類部は、過去に得られた有形成分画像の各々に所定の分類毎の検出成分を対応付けて得られた学習用データを機械学習することにより生成され、かつ、有形成分画像を入力とし、所定の分類毎の検出成分を出力する第１学習済みモデルを用いて、前記有形成分画像を分類する
請求項７に記載の画像処理システム。

【請求項9】

前記第２分類部は、前記学習用データよりも多くの検出成分が対応付けられた別の学習用データを、前記機械学習のアルゴリズムと同一のアルゴリズムを用いて機械学習することにより生成された第２学習済みモデルを用いて、前記特定の有形成分画像を分類する
請求項８に記載の画像処理システム。

【請求項10】

前記第２分類部は、前記学習用データを、前記機械学習のアルゴリズムよりも分類性能が高い別のアルゴリズムを用いて機械学習することにより生成された第２学習済みモデルを用いて、前記特定の有形成分画像を分類する
請求項８に記載の画像処理システム。

【請求項11】

前記第２分類部は、前記学習用データよりも多くの検出成分が対応付けられた別の学習用データを、前記機械学習のアルゴリズムよりも分類性能が高い別のアルゴリズムを用いて機械学習することにより生成された第２学習済みモデルを用いて、前記特定の有形成分画像を分類する
請求項８に記載の画像処理システム。

【請求項12】

前記データ管理装置は、前記特定の有形成分画像を表示する表示部を更に備え、
前記第２分類部は、前記表示部に表示された前記特定の有形成分画像に対する、ユーザによる分類操作に従って、前記特定の有形成分画像を分類する
請求項７又は請求項８に記載の画像処理システム。

【請求項13】

前記特定の有形成分画像は、前記第１分類部により前記所定の分類毎に検出成分として分類できなかった有形成分画像を含む
請求項７又は請求項８に記載の画像処理システム。

【請求項14】

複数の有形成分画像を取得し、
前記複数の有形成分画像を所定の分類毎に検出成分として分類し、分類結果についての適合度を算出し、
前記算出された適合度に基づいて、前記複数の有形成分画像のうち特定の有形成分画像を、ネットワーク回線を介してデータ管理装置に送信することを、
コンピュータに実行させるための画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像処理装置、データ管理装置、画像処理システム、及び画像処理プログラムに関する。

【背景技術】

【0002】

例えば、特許文献１には、フロー方式による画像撮影により所定の分類毎に分類された有形成分画像を再分類する場合に、分類作業における誤操作の発生を抑制する情報処理装置が記載されている。この情報処理装置は、複数種類の有形成分を含み、かつ、フローセルを流れる検体流体を撮影して得られる複数の画像から、有形成分として認識した有形成分画像を切り出し、切り出した有形成分画像を所定の分類毎に検出成分として分類する分類部と、分類部により検出成分として分類された有形成分画像を、異なる分類に再分類する場合に、検出成分の分類に含まれる有形成分画像の第１画像リストを表示部に表示させた状態で、移動先の分類の選択を受け付け、更に、第１画像リスト及び移動先の分類に含まれる有形成分画像の第２画像リストを表示部に同時に表示させた状態で、第１画像リストから選択された有形成分画像を、第２画像リストに移動させる制御を行う制御部と、を備える。

【0003】

また、特許文献２には、多種多様な尿中の沈渣成分の沈渣物を確定する時間を短縮し、分析効率を向上できる尿沈渣分析装置が記載されている。この尿沈渣分析装置は、試料中の細胞の画像を撮像する光学系と、撮像した画像中の細胞の特徴を抽出する画像処理器と、抽出された特徴から細胞を形態学的に自動分類する識別判定部を備えた分析部と、自動分類した結果および撮影した画像の表示および再分類を行うデータ操作部とを備える。この尿沈渣分析装置は、再分類結果確定権を含む分析結果の閲覧および再編集を行う機能を有する主データ操作部と、再分類結果決定権を持たない従データ操作部を複数台有し、主データ操作部、あるいは従データ操作部によって再分類された結果をもとに、主データ操作部にて分類結果を確定する。

【0004】

また、特許文献３には、臨床検査システムにおいて他の装置と通信可能な画像処理装置によって実行される画像処理方法が記載されている。この画像処理方法は、被検体について２ 以上の画像を撮影するステップと、撮影した画像から前記他の装置に送信する画像
を選択するステップと、選択された画像を他の装置へ送信するステップとを備え、撮影するステップにおいて撮影された画像は、患者を特定する情報に関連付けられており、患者には、成分が関連付けられており、選択するステップは、少なくとも、撮影するステップにおいて撮影された画像に関連付けられた患者に関連付けられた成分以外の成分を含む画像を、他の装置に送信する画像として選択するように構成されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０２０－０８５５３５号公報

【特許文献2】特開２０００－２５８３３５号公報

【特許文献3】特許第６２７７７０２号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

ところで、画像処理装置において有形成分画像を所定の分類毎の検出成分として分類する場合に、予め機械学習された学習済みモデルを搭載する場合がある。しかし、画像処理装置に搭載された学習済みモデルを常に最新の状態にしておくことは容易ではないため、画像処理装置に搭載された学習済みモデルのみで多種多様の有形成分画像を適切に分類することは難しい。上記特許文献１～３に記載の技術においても分類が困難な有形成分画像については考慮されていない。

【0007】

本開示は、上記の点に鑑みてなされたものであり、画像処理装置が所定の分類毎に適切に分類することが難しい有形成分画像を、有形成分画像を分類する分類処理に関する処理が実行されるデータ管理装置に送信することができる画像処理装置、データ管理装置、画像処理システム、及び画像処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0008】

上記目的を達成するために、本開示の一態様に係る画像処理装置は、複数の有形成分画像を取得する取得部と、前記複数の有形成分画像を所定の分類毎に検出成分として分類し、分類結果についての適合度を算出する第１分類部と、前記第１分類部により算出された適合度に基づいて、前記複数の有形成分画像のうち特定の有形成分画像を、ネットワーク回線を介してデータ管理装置に送信する送信部と、を備える。

【0009】

更に、上記目的を達成するために、本開示の一態様に係るデータ管理装置は、画像処理装置とネットワーク回線を介して接続されたデータ管理装置であって、前記画像処理装置から受信した特定の有形成分画像を検出成分として分類する第２分類部と、前記第２分類部による分類結果を前記画像処理装置に返信する返信部と、を備える。

【0010】

更に、上記目的を達成するために、本開示の一態様に係る画像処理システムは、画像処理装置と、前記画像処理装置とネットワーク回線を介して接続されたデータ管理装置と、を含む画像処理システムであって、前記画像処理装置は、複数の有形成分画像を取得する取得部と、前記複数の有形成分画像を所定の分類毎に検出成分として分類し、分類結果についての適合度を算出する第１分類部と、前記第１分類部により算出された適合度に基づいて、前記複数の有形成分画像のうち特定の有形成分画像を前記データ管理装置に送信する送信部と、を備え、前記データ管理装置は、前記画像処理装置から受信した前記特定の有形成分画像を検出成分として分類する第２分類部と、前記第２分類部による分類結果を前記画像処理装置に返信する返信部と、を備える。

【0011】

更に、上記目的を達成するために、本開示の一態様に係る画像処理プログラムは、複数の有形成分画像を取得し、前記複数の有形成分画像を所定の分類毎に検出成分として分類し、分類結果についての適合度を算出し、前記算出された適合度に基づいて、前記複数の有形成分画像のうち特定の有形成分画像を、ネットワーク回線を介してデータ管理装置に送信することを、コンピュータに実行させる。

【発明の効果】

【0012】

以上説明したように、本開示によれば、画像処理装置において分類が困難な有形成分画像を分類する分類処理が実行されるデータ管理装置に送信することができる、という効果が得られる。

【図面の簡単な説明】

【0013】

【図1】第１の実施形態に係る測定システムの構成の一部を示す斜視図である。

【図2】第１の実施形態に係る測定システムの構成の一例を示す模式図である。

【図3】第１の実施形態に係る画像処理システムの電気的な構成の一例を示すブロック図である。

【図4】第１の実施形態に係る画像処理装置の機能的な構成の一例を示すブロック図である。

【図5】実施形態に係る測定結果画面の一例を示す正面図である。

【図6】実施形態に係る有形成分画像リスト画面の一例を示す正面図である。

【図7】実施形態に係るデータ管理装置に送信する有形成分画像の特定処理の説明に供する図である。

【図8】第１の実施形態に係るデータ管理装置の機能的な構成の一例を示すブロック図である。

【図9】実施形態に係るデータ管理装置による有形成分画像の分類処理の説明に供する図である。

【図10】第１の実施形態に係る画像処理プログラムによる処理の流れの一例を示すフローチャートである。

【図11】第１の実施形態に係るデータ管理プログラムによる処理の流れの一例を示すフローチャートである。

【図12】第２の実施形態に係る画像処理装置の機能的な構成の一例を示すブロック図である。

【図13】第２の実施形態に係る画像処理プログラムによる処理の流れの一例を示すフローチャートである。

【発明を実施するための形態】

【0014】

以下、図面を参照して、本開示の技術を実施するための形態の一例について詳細に説明する。なお、動作、作用、機能が同じ働きを担う構成要素及び処理には、全図面を通して同じ符号を付与し、重複する説明を適宜省略する場合がある。各図面は、本開示の技術を十分に理解できる程度に、概略的に示してあるに過ぎない。よって、本開示の技術は、図示例のみに限定されるものではない。また、本実施形態では、本開示と直接的に関連しない構成や周知な構成については、説明を省略する場合がある。

【0015】

[第１の実施形態]
図１は、第１の実施形態に係る測定システム７０の構成の一部を示す斜視図である。
図１に示すように、本実施形態に係る測定システム７０は、フローセル４０と、筐体７２と、カメラ７４と、光源７６と、を備えている。なお、図１に示す矢印ＵＰは、測定システム７０の上下方向の上側を示している。

【0016】

本実施形態に係るフローセル４０は、例えば、シース流体と共に、検体流体の一例である尿検体を導入することで、尿検体中の有形成分をカメラ７４により撮影し、撮影された画像の有形成分の形状等から各種の分析を行う尿中有形成分検査（尿沈渣検査）に適用するものである。このカメラ７４は、撮影部の一例である。尿検体中には、複数種類の有形成分が含まれている。この有形成分の種類としては、一例として、赤血球、白血球、上皮細胞、円柱、細菌等が挙げられる。なお、本実施形態においては、検体流体の一例として、尿検体を用いて、尿中有形成分検査を行う場合について説明するが、血液、細胞、体液等を対象とした有形成分検査に使用することも可能である。

【0017】

測定システム７０は、フローセル４０が配置される筐体７２を備えている。筐体７２には、フローセル４０が挿入される凹部７２Ａが形成されており、筐体７２の凹部７２Ａを含む位置は、透明な部材（一例としてガラス等）で形成されている。筐体７２の内部には、フローセル４０と対向する位置にカメラ７４が設けられている。筐体７２の上側には、カメラ７４とフローセル４０を挟んで対向する位置に光源７６が設けられている。カメラ７４は、フローセル４０を流れる検体流体を撮影可能な位置に配置されている。

【0018】

測定システム７０は、フローセル４０内の検体流路（図示省略）の検体取入口４２に検
体流体を供給する第１供給装置７８を備えている。第１供給装置７８は、検体取入口４２に一端部が接続される供給管８０と、供給管８０の途中に設けられたポンプ８２と、供給管８０の他端部に接続されると共に検体流体が貯留される検体貯留部８４と、を備えている。

【0019】

測定システム７０は、フローセル４０内のシース流路（図示省略）のシース取入口４４にシース流体を供給する第２供給装置８６を備えている。第２供給装置８６は、シース取入口４４に一端部が接続される供給管８８と、供給管８８の途中に設けられたポンプ９０と、供給管８８の他端部に接続されると共にシース流体が貯留されるタンク９２と、を備えている。

【0020】

また、フローセル４０には、検体取入口４２とシース取入口４４との間に排出口４６が設けられている。排出口４６には、排出管（図示省略）の一端部が接続されており、この排出管の他端部が廃棄タンク（図示省略）に接続されている。フローセル４０は、検体取入口４２から導入された検体と、シース取入口４４から導入されたシース液とを合流させる合流部（図示省略）を備え、合流した流体が流路内を流れる。検体流中の有形成分をカメラ７４で撮影する。

【0021】

図２は、第１の実施形態に係る測定システム７０の構成の一例を示す模式図である。
図２に示すように、本実施形態に係る測定システム７０は、画像処理装置１０を備えている。なお、図２に示す矢印ＵＰは、図１と同様に、測定システム７０の上下方向の上側を示している。

【0022】

画像処理装置１０は、カメラ７４、光源７６と電気的に接続された光源作動部７７、ポンプ８２、及びポンプ９０の動作をそれぞれ制御する制御装置としての機能を有している。画像処理装置１０は、パルス信号を光源作動部７７に与えることで光源７６を所定の間隔で発光させる。また、画像処理装置１０は、ポンプ８２を駆動させて、検体流体の流量を制御すると共に、ポンプ９０を駆動させて、シース流体の流量を制御する。図示は省略しているが、複数のカメラ７４と、各々のカメラ７４に光を導く光学系を備えていてもよい。各光学系は各カメラ７４がフローセル４０中において異なる位置（深さ）に焦点が合うように調整されている。言い換えると、複数のカメラ７４によって、水平面では同じ位置で、異なる深さ位置に焦点があった複数の画像を同時に撮影している。同時に撮影した撮影画像は、対応付けて、後述の図３に示す記憶部１５に記憶される。ここでいう深さ方向とは、検体流体の流れる方向に対して垂直な方向であり、図２でいう上下方向を意味する。各焦点とフローセル４０のカメラ７４に近い側の壁面までの距離が異なる。

【0023】

図３は、第１の実施形態に係る画像処理システム１００の電気的な構成の一例を示すブロック図である。

【0024】

図３に示すように、本実施形態に係る画像処理システム１００は、画像処理装置１０と、データ管理装置２０と、を備えている。画像処理装置１０は、ネットワーク回線Ｎを介してデータ管理装置２０と接続されている。画像処理装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄａｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、入出力インタフェース（Ｉ／Ｏ）１４と、記憶部１５と、表示部１６と、操作部１７と、通信部１８と、接続部１９と、を備えている。なお、ＣＰＵ１１は、例えば、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサであってもよい。

【0025】

本実施形態に係る画像処理装置１０には、例えば、パーソナルコンピュータ（ＰＣ：Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等の汎用的なコンピュータ装置が適用される。なお
、画像処理装置１０には、スマートフォン、タブレット端末等の携帯可能なコンピュータ装置を適用してもよい。また、画像処理装置１０は、複数のユニットに分かれていてもよい。例えば、カメラ７４、光源７６、ポンプ８２、ポンプ９０などの測定系を制御するユニットと、カメラ７４で撮影した画像の処理及び解析を行うユニットとを含んで構成されていてもよい。また、画像処理装置１０は、測定システム７０に外部接続されてもよい。

【0026】

ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、及びＩ／Ｏ１４によって制御装置が構成される。制御装置は、例えば、カメラ７４、光源７６、ポンプ８２、ポンプ９０などの測定系を制御する機能と、カメラ７４で撮影した画像の処理及び解析を行う機能とを有する。これらのＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、及びＩ／Ｏ１４の各部はバスを介して各々接続されている。

【0027】

Ｉ／Ｏ１４には、記憶部１５と、表示部１６と、操作部１７と、通信部１８と、接続部１９と、を含む各機能部が接続されている。これらの各機能部は、Ｉ／Ｏ１４を介して、ＣＰＵ１１と相互に通信可能とされる。

【0028】

制御装置は、画像処理装置１０の一部の動作を制御するサブ制御部として構成されてもよいし、画像処理装置１０の全体の動作を制御するメイン制御部の一部として構成されてもよい。制御装置の各ブロックの一部又は全部には、例えば、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路又はＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）チップセットが用いられる。上記各ブロックに個別の回路を用いてもよいし、一部又は全部を集積した回路を用いてもよい。上記各ブロック同士が一体として設けられてもよいし、一部のブロックが別に設けられてもよい。また、上記各ブロックのそれぞれにおいて、その一部が別に設けられてもよい。制御装置の集積化には、ＬＳＩに限らず、専用回路又は汎用プロセッサを用いてもよい。

【0029】

記憶部１５としては、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、フラッシュメモリ等が用いられる。記憶部１５には、本実施形態に係る画像分類処理を行うための画像処理プログラム１５Ａが記憶される。なお、この画像処理プログラム１５Ａは、ＲＯＭ１２に記憶されていてもよい。なお、記憶部１５は、メモリが外付けされたり、後から増設されたりしてもよい。

【0030】

画像処理プログラム１５Ａは、例えば、画像処理装置１０に予めインストールされていてもよい。画像処理プログラム１５Ａは、不揮発性の非一時的記憶媒体に記憶して、又はネットワーク回線Ｎを介して配布して、画像処理装置１０に適宜インストールしたり、アップグレードしたりすることで実現してもよい。なお、不揮発性の非一時的記憶媒体の例としては、ＣＤ-ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒ
ｙ）、光磁気ディスク、ＨＤＤ、ＤＶＤ-ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ
Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、メモリカード等が想定される。

【0031】

表示部１６には、例えば、液晶ディスプレイ（ＬＣＤ:Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ
Ｄｉｓｐｌａｙ）や有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等が用いられる。表示部１６は、タッチパネルを一体的に有していてもよい。操作部１７には、例えば、キーボードやマウス等の操作入力用のデバイスが設けられている。表示部１６及び操作部１７は、画像処理装置１０のユーザから各種の指示を受け付ける。表示部１６は、ユーザから受け付けた指示に応じて実行された処理の結果や、処理に対する通知等の各種の情報を表示する。

【0032】

通信部１８は、インターネットや、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）
、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等のネットワーク回線Ｎに接続されており、データ管理装置２０との間でネットワーク回線Ｎを介して通信が可能とされる。

【0033】

接続部１９は、例えば、カメラ７４、光源７６、ポンプ８２、ポンプ９０などが接続される。これらのカメラ７４、光源７６、ポンプ８２、ポンプ９０などの測定系は、上記の制御装置によって制御される。接続部１９は、カメラ７４が出力する画像を入力する入力ポートとしても機能する。

【0034】

一方、本実施形態に係るデータ管理装置２０は、ＣＰＵ２１と、ＲＯＭ２２と、ＲＡＭ２３と、入出力インタフェース（Ｉ／Ｏ）２４と、記憶部２５と、表示部２６と、操作部２７と、通信部２８と、を備えている。なお、ＣＰＵ２１は、例えば、ＧＰＵ等のプロセッサであってもよい。

【0035】

本実施形態に係るデータ管理装置２０には、例えば、サーバコンピュータ等の汎用的なコンピュータ装置が適用される。データ管理装置２０は、画像処理装置１０よりも多くのデータ処理を行うため、データ管理装置２０が有するメモリは画像処理装置１０が有するメモリよりもアクセス速度が高速であることが望ましく、データ管理装置２０が有するＣＰＵは画像処理装置１０が有するＣＰＵよりも処理速度が高速であることが望ましい。

【0036】

ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、及びＩ／Ｏ２４によって制御部が構成される。これらのＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、及びＩ／Ｏ２４の各部はバスを介して各々接続されている。

【0037】

Ｉ／Ｏ２４には、記憶部２５と、表示部２６と、操作部２７と、通信部２８と、を含む各機能部が接続されている。これらの各機能部は、Ｉ／Ｏ２４を介して、ＣＰＵ２１と相互に通信可能とされる。

【0038】

記憶部２５としては、例えば、ＨＤＤ、ＳＳＤ、フラッシュメモリ等が用いられる。記憶部２５には、本実施形態に係る画像分類処理を行うためのデータ管理プログラム２５Ａが記憶される。なお、このデータ管理プログラム２５Ａは、ＲＯＭ２２に記憶されていてもよい。なお、記憶部２５は、メモリが外付けされたり、後から増設されたりしてもよい。

【0039】

データ管理プログラム２５Ａは、例えば、データ管理装置２０に予めインストールされていてもよい。データ管理プログラム２５Ａは、不揮発性の非一時的記憶媒体に記憶して、又はネットワーク回線Ｎを介して配布して、データ管理装置２０に適宜インストールしたり、アップグレードしたりすることで実現してもよい。なお、不揮発性の非一時的記憶媒体の例としては、ＣＤ-ＲＯＭ、光磁気ディスク、ＨＤＤ、ＤＶＤ-ＲＯＭ、フラッシュメモリ、メモリカード等が想定される。

【0040】

表示部２６には、例えば、液晶ディスプレイ（ＬＣＤ）や有機ＥＬディスプレイ等が用いられる。表示部２６は、タッチパネルを一体的に有していてもよい。操作部２７には、例えば、キーボードやマウス等の操作入力用のデバイスが設けられている。表示部２６及び操作部２７は、データ管理装置２０のユーザから各種の指示を受け付ける。表示部２６は、ユーザから受け付けた指示に応じて実行された処理の結果や、処理に対する通知等の各種の情報を表示する。

【0041】

通信部２８は、インターネットや、ＬＡＮ、ＷＡＮ等のネットワーク回線Ｎに接続されており、画像処理装置１０との間でネットワーク回線Ｎを介して通信が可能とされる。

【0042】

次に、図４を参照して、第１の実施形態に係る画像処理装置１０の機能的な構成について具体的に説明する。

【0043】

本実施形態に係る画像処理装置１０のＣＰＵ１１は、記憶部１５に記憶されている画像処理プログラム１５ＡをＲＡＭ１３に書き込んで実行することにより、図４に示す各部として機能する。

【0044】

図４は、第１の実施形態に係る画像処理装置１０の機能的な構成の一例を示すブロック図である。

【0045】

図４に示すように、本実施形態に係る画像処理装置１０のＣＰＵ１１は、取得部１１Ａ、第１分類部１１Ｂ、表示制御部１１Ｃ、送信部１１Ｄ、及び受信部１１Ｅとして機能する。

【0046】

記憶部１５には、画像分類処理に用いる第１学習済みモデル１５Ｃが記憶されている。第１学習済みモデル１５Ｃは、第１分類部１１Ｂによる画像分類処理に用いるモデルである。

【0047】

取得部１１Ａは、カメラ７４によりフローセル４０を流れる検体流体を撮影して得られる複数の画像（一例として、３００枚、１０００枚）から、検体流体に含まれる複数種類の有形成分を有形成分画像として切り出し、切り出した複数の有形成分画像を取得する。

【0048】

第１分類部１１Ｂは、取得部１１Ａにより取得された複数の有形成分画像を所定の分類（例えば、有形成分の種類、大きさ、形状、核の有無等）毎に検出成分として分類する。第１分類部１１Ｂにより所定の分類毎に分類された有形成分画像群は、検体毎に分けて一時的に記憶部１５に記憶される。有形成分画像を分類する方法としては、一例として、機械学習を用いた方法や、パターンマッチングを用いた方法等、各種の公知の技術が適用される。本実施形態に係る有形成分画像群は、例えば、第１学習済みモデル１５Ｃを用いて分類される。第１学習済みモデル１５Ｃは、過去に得られた有形成分画像の各々に所定の分類毎の検出成分を対応付けて得られた学習用データを機械学習することにより生成されたモデルである。つまり、学習用データは教師有りのデータとされる。第１学習済みモデル１５Ｃは、有形成分画像を入力とし、所定の分類毎の検出成分を出力する。機械学習を行う学習モデルには、例えば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：畳み込みニューラルネットワーク）等が用いられる。機械学習の手法には、例えば、ディープラーニング等が用いられる。有形成分画像群は、個々の有形成分画像として説明する場合には、有形成分画像とも称する。

【0049】

また、第１分類部１１Ｂは、有形成分画像を分類する際に、使用している画像分類方法（一例として、機械学習、パターンマッチング等）に基づいて適合度を算出する。ここでいう適合度とは、分類結果の画像についての分類確度を示し、所定の分類毎の画像について、正解画像又は予め定めた特徴点と一致する割合が高いほど高い値が付与される。正解画像又は特徴点と完全に一致する場合、適合度は１００％となる。すなわち、適合度が比較的低い有形成分画像は、適切な分類がなされていない可能性が高いと考えられる。なお、適合度は適合率として表してもよい。

【0050】

適合度は、有形成分画像における有形成分の画像の写り方によって値が変わり得る。具体的には、有形成分に焦点が合った画像では、機械学習等を用いた分類により判定しやすいため、正確な分類に対する適合度は高く、不正確な分類に対する適合度は低くなる。しかし、有形成分に焦点が合っていない画像、すなわち、有形成分がぼやけた画像では、正確な分類に対する適合度は低くなり、かつ、正確な分類に対する適合度と不正確な分類に対する適合度の差も小さくなる。また、複数の有形成分が重なった画像では、適合度は低い値となり得る。また、正確には未分類と判定されるべき学習済みモデルで学習をしていない希少な検体中の項目は、学習済みの項目と判定することがあるが、この場合の適合度は低い値となる。

【0051】

表示制御部１１Ｃは、第１分類部１１Ｂにより検出成分として分類された有形成分画像を、有形成分個別画像として表示部１６に表示させる制御を行う。これにより、検査技師等のユーザが有形成分個別画像を目視でチェックすることができる。

【0052】

ここで、図５及び図６を参照して、本実施形態に係る画像分類処理における具体的な画面例について説明する。

【0053】

図５は、本実施形態に係る測定結果画面５０の一例を示す正面図である。測定結果画面５０は、表示制御部１１Ｃにより表示部１６に表示される。

【0054】

図５に示すように、本実施形態に係る測定結果画面５０は、項目毎の測定結果の一覧を表示している。測定結果としては、有形成分名と、その成分の含有量又は含有個数や、含有量の指標となる定性表示等が示される。また、測定結果画面５０には、有形成分名５０Ａ及び有形成分ボタン５０Ｂが設けられている。

【0055】

図５に有形成分として示す項目のうち、主要な項目として、例えば、ＲＢＣは赤血球、ＷＢＣは白血球、ＮＳＥは非扁平上皮細胞、ＳＱＥＣは扁平上皮細胞、ＮＨＣはその他円柱、ＢＡＣＴは細菌を各々示している。また、ＣＲＹＳは結晶、ＹＳＴは酵母、ＨＹＳＴは硝子円柱、ＭＵＣＳは粘液糸、ＳＰＲＭは精子、ＷＢＣＣは白血球塊を各々示している。また、ＵＮＣＬは、赤血球、白血球、非扁平上皮細胞、扁平上皮細胞、その他円柱、細菌、結晶、酵母、硝子円柱、粘液糸、精子、白血球塊以外の有形成分 、あるいは、例えば髪の毛や埃のような尿検体に由来しない夾雑物（以下、未分類とも言う。）を示している。すなわち、第１分類部１１Ｂが分類する所定の分類毎の検出成分とは、これらの各々の有形成分として示す項目、および、未分類を示す項目として定義した分類に対応する。

【0056】

ここで、表示制御部１１Ｃは、測定結果画面５０において、分類項目の中から選択した分類の画像リスト（例えば、後述の図６参照）を表示させて有形成分画像の確認を行った分類に対して、確認済みを示すマークを付与する制御を行う。図５に示す測定結果画面５０では、分類項目のうち、画像リストの確認を行った項目に対して、確認済みを示すマーク５０Ｃが付与されている。なお、再分類（分類変更）が行われた場合には、その結果が反映された測定結果が表示される。

【0057】

図５に示す測定結果画面５０において、有形成分名５０Ａ又は有形成分ボタン５０Ｂがクリック操作等により選択されると、選択された分類項目の有形成分個別画像が、一例として、図６に示す有形成分画像リスト画面５１として表示部１６に表示される。

【0058】

図６は、本実施形態に係る有形成分画像リスト画面５１の一例を示す正面図である。

【0059】

図６に示すように、本実施形態に係る有形成分画像リスト画面５１は、画像を確認したい有形成分として選択された有形成分画像リスト５１Ａを表示している。この有形成分画像リスト画面５１は、表示部１６に表示される。

【0060】

図６に示す有形成分画像リスト画面５１は、検出成分の第１項目ボタン群５２と、移動先の第２項目ボタン群５３と、を含んでいる。検出成分の第１項目ボタン群５２は、検出成分の種類毎に設けられている。同様に、移動先の第２項目ボタン群５３は、移動先の分類項目毎に設けられている。一例として、上述したように、「ＲＢＣ」は赤血球を示し、「ＷＢＣ」は白血球を示し、「ＳＱＥＣ」は扁平上皮細胞を示し、「ＵＮＣＬ」は未分類を示している。なお、図６に示す例では、検出成分の第１項目ボタン群５２の「ＳＱＥＣ」が選択された状態であるため、有形成分画像リスト画面５１には、扁平上皮細胞の画像のリストが表示されている。

【0061】

また、図６に示す有形成分画像リスト画面５１は、複数の操作ボタンＢ１～Ｂ６を操作可能に表示している。操作ボタンＢ１は、有形成分画像を拡大表示すると共に、画像の拡大に合わせてスケール（長さ）を表示するためのボタンである。図６に示す例では、スケールが１０μｍ／画素として表示されている。また、操作ボタンＢ２は、焦点位置の異なる有形成分画像を切り替えて表示させるためのボタンである。図６に示す例では、フローセル４０中の深さ方向における焦点位置を上層、中層、及び下層の３つの層に対応して切り替え可能とされている。また、操作ボタンＢ３は、検出成分の有形成分画像を移動先に移動させるためのボタンである。また、操作ボタンＢ４は、画像分類の編集作業を１つ前
に戻すためのボタンである。また、操作ボタンＢ５は、後述する「見本」となる有形成分画像を表示させるためのボタンである。また、操作ボタンＢ６は、有形成分画像の拡大率を設定したり、有形成分画像の輝度やコントラスト比等を設定したりするウィンドウを表示させるためのボタンである。

【0062】

図６に示す複数の操作ボタンＢ１～Ｂ６を操作することにより、有形成分画像の表示態様を変更することができるため、有形成分の判別が行いやすくなる。なお、各操作ボタンは、タッチパネルである表示部１６に表示されていてもよいし、操作部１７として設けられていてもよい。

【0063】

図６に示す有形成分画像リスト画面５１において、移動先の第２項目ボタン群５３のうちのいずれかの項目ボタンがクリック操作等により選択されると、再分類作業画面（図示省略）が表示される。この再分類作業画面では、検出成分の第１画像リストと、移動先の第２画像リストとが１つの画面に表示される。

【0064】

なお、図６に示す有形成分画像リスト５１Ａには、第１分類部１１Ｂにより算出された適合度を有形成分画像と共に表示するようにしてもよい。

【0065】

図４に戻り、送信部１１Ｄは、通信部１８を制御して、第１分類部１１Ｂにより算出された適合度に基づいて、複数の有形成分画像の中から特定の有形成分画像を特定し、特定した特定の有形成分画像をネットワーク回線Ｎを介してデータ管理装置２０に送信する。つまり、特定の有形成分画像は、第１分類部１１Ｂにより算出された適合度に基づいて特定された有形成分画像であると言える。特定の有形成分画像には、例えば、第１分類部１１Ｂにより所定の分類毎に検出成分として分類できなかった未分類の（換言すると、第１分類部１１Ｂにより所定のいずれの分類にも属さないと分類された）有形成分画像が含まれる。

【0066】

なお、適合度が所定の範囲内の複数の有形成分画像をデータ管理装置２０に送信するようにしてもよい。例えば、適合度が上限未満の複数の有形成分画像、あるいは、適合度が上限未満下限以上の複数の有形成分画像をデータ管理装置２０に送信するようにしてもよい。一例として、適合度が７０％未満の複数の有形成分画像をデータ管理装置２０に送信するようにしてもよいし、適合度が７０％未満３０％以上の複数の有形成分画像をデータ管理装置２０に送信するようにしてもよい。適合度に上限を設けることで、第１分類部１１Ｂが正確に判定できなかった画像だけを送信することができ、適合度に下限を設けることで、ぼやけた画像を排除することができる。また、図５に示す項目のうち、「未分類」の項目で、適合度が高い（例えば８０％以上）複数の有形成分画像だけをデータ管理装置２０に送信するようにしてもよく、この場合は、図５に示されない希少な項目をデータ管理装置２０に送信することができる。また、データ管理装置２０に送信する画像の枚数に上限または下限を設定しても良く、例えば、適合度が７０％未満で適合度が高い画像から１００枚の画像をデータ管理装置２０に送信するようにしてもよい。図５に示す項目ごとに送信する画像の枚数の上限または下限を設定してもよい。特に上限を設けることで、送信するデータ量を抑制することができる。

【0067】

図７は、本実施形態に係るデータ管理装置２０に送信する有形成分画像の特定処理の説明に供する図である。

【0068】

図７に示すように、複数の有形成分画像は、第１学習済みモデル１５Ｃを用いて、所定の分類毎に検出成分として分類される。このとき、各有形成分画像には適合度が算出されている。なお、第１学習済みモデル１５Ｃでは、所定の分類毎に検出成分として分類可能な有形成分画像が機械学習されると共に、所定の分類毎に検出成分として分類できない未分類の有形成分画像（換言すると、所定のいずれの分類にも属さない有形成分が写った有形成分画像）が「未分類」という分類で機械学習されている。上述の図５の例では、分類可能な有形成分画像は、「ＲＢＣ」、「ＷＢＣ」、「ＳＱＥＣ」等の項目に分類され、「未分類」に分類された有形成分画像は、「ＵＮＣＬ」という項目に分類されている。なお、この「ＵＮＣＬ」に分類された有形成分画像のうち、適合度が高いものほど、その有形成分画像に写る有形成分は所定のいずれの分類にも属さない可能性が高くなる。データ管理装置２０に送信する特定の有形成分画像は、ユーザが手動で特定してもよいし、画像処理装置１０が自動的に特定してもよい。

【0069】

ユーザが手動で特定する場合、例えば、ユーザが各有形成分画像の適合度を見て、適合度が比較的低い有形成分画像を特定する。なお、「未分類」の有形成分画像については全て特定するようにしてもよい。また、ユーザが分類結果について特に気になる有形成分画像を特定するようにしてもよい。

【0070】

一方、画像処理装置１０で自動的に特定する場合、例えば、適合度が閾値以下の有形成分画像を特定する。なお、「未分類」の有形成分画像については全て特定するようにしてもよい。なお、ここでいう閾値は、ユーザにより適切な値が適宜設定可能とされ、所定の分類毎に異なる閾値を設定してもよい。

【0071】

上記により特定された有形成分画像は、１つのフォルダにまとめられて、ユーザよる操作に従って、データ管理装置２０に送信される。データ管理装置２０では、後述する画像分類処理が実行され、分類結果が画像処理装置１０に返信される。

【0072】

受信部１１Ｅは、通信部１８を制御して、データ管理装置２０から、特定の有形成分画像を検出成分として分類して得られた分類結果を受信する。

【0073】

また、適合度が閾値を超える有形成分画像をデータ管理装置２０に送信してもよいし、送信しなくてもよい。適合度が閾値を超える有形成分画像をデータ管理装置２０に送信しないことで、データ管理装置２０に送信するデータ量を少なくすることができる。

【0074】

次に、図８を参照して、第１の実施形態に係るデータ管理装置２０の機能的な構成について具体的に説明する。

【0075】

本実施形態に係るデータ管理装置２０のＣＰＵ２１は、記憶部２５に記憶されているデータ管理プログラム２５ＡをＲＡＭ２３に書き込んで実行することにより、図８に示す各部として機能する。

【0076】

図８は、第１の実施形態に係るデータ管理装置２０の機能的な構成の一例を示すブロック図である。

【0077】

図８に示すように、本実施形態に係るデータ管理装置２０のＣＰＵ２１は、取得部２１Ａ、第２分類部２１Ｂ、表示制御部２１Ｃ、返信部２１Ｄ、及び受信部２１Ｅとして機能する。

【0078】

記憶部２５には、画像分類処理に用いる第２学習済みモデル２５Ｃが記憶されている。第２学習済みモデル２５Ｃは、第２分類部２１Ｂによる画像分類処理に用いるモデルである。

【0079】

受信部２１Ｅは、通信部２８を制御して、画像処理装置１０から特定の有形成分画像を受信する。画像処理装置１０から受信した特定の有形成分画像は分類対象画像群として一時的に記憶部２５に記憶される。

【0080】

取得部２１Ａは、記憶部２５に記憶された分類対象画像群から分類対象とする有形成分画像を取得する。

【0081】

第２分類部２１Ｂは、取得部２１Ａにより取得された有形成分画像を所定の分類（例えば、有形成分の種類、大きさ、形状、核の有無等）毎に検出成分として分類する。第２分類部２１Ｂにより所定の分類毎に分類された有形成分画像は、返信部２１Ｄに送られる。有形成分画像を分類する方法としては、一例として、機械学習を用いた方法が適用される。この場合、有形成分画像は、例えば、第２学習済みモデル２５Ｃを用いて分類される。第２学習済みモデル２５Ｃは、例えば、第１学習済みモデル１５Ｃの学習用データよりも多くの検出成分が対応付けられた別の学習用データを、第１学習済みモデル１５Ｃの機械学習のアルゴリズムと同一のアルゴリズムを用いて機械学習することにより生成されたモデルである。第２学習済みモデル２５Ｃで学習された学習用データの量は、第１学習済みモデル１５Ｃで学習された学習用データの量よりも多い。つまり、第２学習済みモデル２５Ｃは、分類性能が第１学習済みモデル１５Ｃよりも高くなるように学習されている。

【0082】

また、第２学習済みモデル２５Ｃは、第１学習済みモデル１５Ｃの学習用データを、第１学習済みモデル１５Ｃの機械学習のアルゴリズムよりも分類性能が高い別のアルゴリズムを用いて機械学習することにより生成されたモデルとしてもよい。機械学習のアルゴリズムには、上述のＣＮＮ以外にも、例えば、線形回帰、正則化（Ｒｅｇｕｌａｒｉｚａｔ
ｉｏｎ）、決定木、ランダムフォレスト、ｋ近傍法（ｋ－ＮＮ）、ロジスティック回帰、サポートベクターマシン（ＳＶＭ）等、各種の手法がある。学習済みモデルの分類性能が例えばＣＮＮよりもＳＶＭのほうが高い場合には、第１学習済みモデル１５ＣにはＣＮＮが採用され、第２学習済みモデル２５ＣにはＳＶＭが採用される。逆に、学習済みモデルの分類性能がＳＶＭよりもＣＮＮのほうが高い場合には、第１学習済みモデル１５ＣにはＳＶＭが採用され、第２学習済みモデル２５ＣにはＣＮＮが採用される。なお、学習済みモデルの分類性能の比較には、予め準備したテストデータを用いて、モデル性能を表す指標値（例えば、正解率、適合率等）を算出して比較する方法を用いるようにしてもよい。

【0083】

また、第２学習済みモデル２５Ｃは、第１学習済みモデル１５Ｃの学習用データよりも多くの検出成分が対応付けられた別の学習用データを、第１学習済みモデル１５Ｃの機械学習のアルゴリズムよりも分類性能が高い別のアルゴリズムを用いて機械学習することにより生成されたモデルとしてもよい。

【0084】

また、第２学習済みモデル２５Ｃのバージョンが管理されている場合には、第２学習済みモデル２５Ｃのバージョンが常に最新となるように管理されることが望ましい。

【0085】

ここで、第２分類部２１Ｂは、ユーザの分類操作に従って、有形成分画像を分類するようにしてもよい。つまり、第２分類部２１Ｂは分類処理に関する処理を行う。ここでいうユーザとは、有形成分画像の分類に精通した検査技師等であることが望ましい。

【0086】

具体的に、表示制御部２１Ｃは、分類対象とする特定の有形成分画像を表示部２６に表示する制御を行う。この場合、第２分類部２１Ｂは、表示部２６に表示された特定の有形成分画像に対する、ユーザによる分類操作に従って、特定の有形成分画像を分類する。

【0087】

図９は、本実施形態に係るデータ管理装置２０による有形成分画像の分類処理の説明に供する図である。

【0088】

図９に示すように、データ管理装置２０により分類対象とする有形成分画像は、第１学習済みモデル１５Ｃよりも分類性能が高い第２学習済みモデル２５Ｃを用いて、あるいは、検査技師等のユーザによる分類操作に従って、例えば、検出成分Ｐの分類３及び検出成分Ｑの分類４の各々に分類される。分類３及び分類４の各々に分類される有形成分画像は、例えば、画像処理装置１０では分類できなかった画像であり、あるいは、画像処理装置１０では正確に分類できていない可能性が高い画像である。そして、この分類結果は、返信部２１Ｄに送られる。

【0089】

なお、第２学習済みモデル２５Ｃ、あるいは、検査技師等のユーザによる分類は、第１学習済みモデル１５Ｃ（第１分類部１１Ｂ）による画像分類処理によって分類可能な検出成分以外の検出成分に分類してもよい。すなわち、第２学習済みモデル２５Ｃ、あるいは、検査技師等のユーザによって、図５に示す項目以外の項目（例えば、マルベリー小体や異形細胞）に分類してもよい。また、分類結果に基づき、検出成分の分類結果に付随して、または、分類結果の代わりに、コメントや総括を返信してもよい。

【0090】

図８に戻り、返信部２１Ｄは、通信部２８を制御して、第２分類部２１Ｂによる分類結果を、ネットワーク回線Ｎを介して画像処理装置１０に返信する。

【0091】

次に、図１０を参照して、第１の実施形態に係る画像処理装置１０の作用を説明する。

【0092】

図１０は、第１の実施形態に係る画像処理プログラム１５Ａによる処理の流れの一例を示すフローチャートである。

【0093】

画像処理プログラム１５Ａによる画像分類処理は、画像処理装置１０のＣＰＵ１１が、ＲＯＭ１２又は記憶部１５に記憶されている画像処理プログラム１５ＡをＲＡＭ１３に書き込むことで実行される。

【0094】

図１０のステップＳ１０１では、ＣＰＵ１１が、カメラ７４によりフローセル４０を流れる検体流体を撮影して得られる複数の画像（一例として、３００枚、１０００枚）から
、検体流体に含まれる複数種類の有形成分を有形成分画像として切り出し、切り出した複数の有形成分画像を取得する。

【0095】

ステップＳ１０２では、ＣＰＵ１１が、ステップＳ１０１で取得した複数の有形成分画像を、例えば、第１学習済みモデル１５Ｃを用いて、所定の分類（例えば、有形成分の種類、大きさ、形状、核の有無等）毎に検出成分として分類する。所定の分類毎に分類された有形成分画像は、検体毎に分けて一時的に記憶部１５に記憶される。有形成分画像を分類する方法としては、一例として、機械学習を用いた方法や、パターンマッチングを用いた方法等、各種の公知の技術が適用される。

【0096】

ステップＳ１０３では、ＣＰＵ１１が、ステップＳ１０２で所定の分類毎に検出成分として分類した有形成分画像の各々について適合度を算出する。

【0097】

ステップＳ１０４では、ＣＰＵ１１が、通信部１８を制御して、ステップＳ１０３で算出した適合度に基づいて、複数の有形成分画像のうち特定の有形成分画像をデータ管理装置２０に送信する。データ管理装置２０に送信する特定の有形成分画像は、上述したように、ユーザが手動で特定してもよいし、画像処理装置１０が自動的に特定してもよい。

【0098】

ステップＳ１０５では、ＣＰＵ１１が、ステップＳ１０４でデータ管理装置２０に送信した特定の有形成分画像に対して、データ管理装置２０から分類結果の返信が有ったか否かを判定する。データ管理装置２０から分類結果の返信が有ったと判定した場合（肯定判定の場合）、ステップＳ１０６に移行し、データ管理装置２０から分類結果の返信がないと判定した場合（否定判定の場合）、ステップＳ１０５で待機となる。

【0099】

ステップＳ１０６では、ＣＰＵ１１が、データ管理装置２０から返信された分類結果を例えば記憶部１５に記憶し、本画像処理プログラム１５Ａによる一連の処理を終了する。なお、第１分類部１１Ｂにより特定の検出成分として分類され、記憶部１５に記憶されている有形成分画像の当該特定の検出成分の分類結果を、返信された分類結果に基づき上書き、つまり、変更してもよい。

【0100】

なお、ステップＳ１０５、Ｓ１０６のように、データ管理装置２０に特定の有形成分画像を送信した画像処理装置１０が、当該特定の有形成分画像の分類結果を受信することに限らず、別のＣＰＵを備えた装置が、データ管理装置２０から当該特定の有形成分画像の分類結果を受信するようにしてもよい。

【0101】

次に、図１１を参照して、第１の実施形態に係るデータ管理装置２０の作用を説明する。

【0102】

図１１は、第１の実施形態に係るデータ管理プログラム２５Ａによる処理の流れの一例を示すフローチャートである。

【0103】

データ管理プログラム２５Ａによる画像分類処理は、データ管理装置２０のＣＰＵ２１が、ＲＯＭ２２又は記憶部２５に記憶されているデータ管理プログラム２５ＡをＲＡＭ２３に書き込むことで実行される。

【0104】

図１１のステップＳ１１１では、ＣＰＵ２１が、画像処理装置１０から送信された特定の有形成分画像を受信したか否かを判定する。特定の有形成分画像を受信したと判定した場合（肯定判定の場合）、ステップＳ１１２に移行し、特定の有形成分画像を受信していないと判定した場合（否定判定の場合）、ステップＳ１１１で待機となる。

【0105】

ステップＳ１１２では、ＣＰＵ１１が、ステップＳ１１１で受信した特定の有形成分画像を分類対象画像群として一時的に記憶部２５に記憶する。

【0106】

ステップＳ１１３では、ＣＰＵ１１が、ステップＳ１１２で分類対象画像群として記憶した特定の有形成分画像を、例えば、第２学習済みモデル２５Ｃを用いて、検出成分として分類する。ここで、第２学習済みモデル２５Ｃは、上述したように、第１学習済みモデル１５Ｃよりも分類性能が高いモデルとされる。また、特定の有形成分画像は、検査技師等のユーザによる分類操作によって分類されてもよい。

【0107】

ステップＳ１１４では、ＣＰＵ１１が、ステップＳ１１３で分類した分類結果を画像処理装置１０に返信し、本データ管理プログラム２５Ａによる一連の処理を終了する。

【0108】

このように本実施形態によれば、各有形成分画像について算出した適合度を用いて、未分類の有形成分画像、分類結果が気になる有形成分画像等、画像処理装置による分類が困難な有形成分画像がデータ管理装置に送信され、データ管理装置から分類結果が得られる。このため、画像処理装置で分類が困難な有形成分画像であっても適切な分類を行うことができる。

【0109】

[第２の実施形態]
上記第１の実施形態では、データ管理装置に特定の有形成分画像を送信する形態について説明した。第２の実施形態では、特定の有形成分画像の中に類似する有形成分画像が複数ある場合に、代表画像をデータ管理装置に送信する形態について説明する。

【0110】

図１２は、第２の実施形態に係る画像処理装置１０Ａの機能的な構成の一例を示すブロック図である。

【0111】

図１２に示すように、本実施形態に係る画像処理装置１０ＡのＣＰＵ１１は、取得部１１Ａ、第１分類部１１Ｂ、表示制御部１１Ｃ、送信部１１Ｄ、受信部１１Ｅ、及び選択部１１Ｆとして機能する。なお、上記第１の実施形態で説明した画像処理装置１０が有する構成要素と同一の構成要素には同一の符号を付与し、その繰り返しの説明は省略する。

【0112】

本実施形態では、特定の有形成分画像が複数である場合を想定する。この場合、選択部１１Ｆは、複数の特定の有形成分画像のうち類似する有形成分画像をグループ化し、グループ化した類似の有形成分画像の中から代表となる代表画像を選択する。送信部１１Ｄは、通信部１８を制御して、選択部１１Ｆにより選択された代表画像をデータ管理装置２０に送信する。なお、代表画像のみを送信してもよいし、代表画像及び代表画像以外の特定の画像を送信してもよい。データ管理装置２０では、上述の画像分類処理が実行され、分類結果が画像処理装置１０Ａに返信される。

【0113】

受信部１１Ｅは、通信部１８を制御して、データ管理装置２０から、上記代表画像を検出成分として分類して得られた分類結果を受信する。この場合、第１分類部１１Ｂでは、データ管理装置２０から得られた代表画像の分類結果を、当該代表画像を含むグループの他の有形成分画像の分類結果とする。具体的には、類似の有形成分画像を含むグループを識別可能な情報と、代表画像を識別可能な情報とを対応付けた対応付けテーブル（図示省略）を記憶部１５に記憶しておき、代表画像の分類結果に含まれる、当該代表画像を識別可能な情報から対応するグループを識別できるようにしておけばよい。

【0114】

上記により、特定の有形成分画像を全て送信する場合と比較して、送信するデータ量が低減される。一般的に有形成分画像はデータ量が多く、専用回線を使用しても特にアップロードに時間がかかることが知られている。このため、送信するデータ量を低減することにより、アップロードの時間が短縮され、データ管理装置２０との間の通信負荷を低減することが可能となる。

【0115】

ここで、具体的に、選択部１１Ｆは、有形成分画像に対して画像解析を行い、画像間の類似性を判定する。画像間の類似性を判定するための指標値は、例えば、以下の（ａ１）～（ａ３）が考えられる。

【0116】

（ａ１）有形成分画像の縦横の画素数、周波数（画像としての複雑性を表す）、コントラ
スト、色（ＲＧＢ）、明度、及び、２値化による面積の少なくとも１つの値。
（ａ２）有形成分画像に対してフーリエ変換等の周波数解析を実行して得られる値。
（ａ３）有形成分画像に対してマッチング分析処理等の空間解析（画像に含まれる特徴点の位置、座標等の一致性の解析）を実行して得られる値。

【0117】

画像間の類似性を判定する方法としては、例えば、２つの画像間において、上記（ａ１）～（ａ３）から得られる少なくとも１つの値の差が所定の範囲内であれば、当該２つの画像は類似すると判定することができる。

【0118】

また、代表画像を選択する方法としては、例えば、選択部１１Ｆがグループ化した画像の中で最初に受け付けた画像としてもよいし、グループ化した画像の中の任意の画像としてもよい。

【0119】

また、選択部１１Ｆは、送信する代表画像の総データ量、または、使用する回線の混雑状況（例えば、通信速度等により特定可能）に応じて、送信する代表画像の数及びデータ量の少なくとも一方を選択してもよい。この場合、画像間の類似性を判定するための指標値を適宜変更することで、送信する代表画像の数及びデータ量の少なくとも一方を調整することができる。

【0120】

次に、図１３を参照して、第２の実施形態に係る画像処理装置１０Ａの作用を説明する。

【0121】

図１３は、第２の実施形態に係る画像処理プログラム１５Ａによる処理の流れの一例を示すフローチャートである。

【0122】

画像処理プログラム１５Ａによる画像分類処理は、画像処理装置１０ＡのＣＰＵ１１が、ＲＯＭ１２又は記憶部１５に記憶されている画像処理プログラム１５ＡをＲＡＭ１３に書き込むことで実行される。

【0123】

図１３のステップＳ１２１では、ＣＰＵ１１が、カメラ７４によりフローセル４０を流れる検体流体を撮影して得られる複数の画像（一例として、３００枚、１０００枚）から、検体流体に含まれる複数種類の有形成分を有形成分画像として切り出し、切り出した複数の有形成分画像を取得する。

【0124】

ステップＳ１２２では、ＣＰＵ１１が、ステップＳ１２１で取得した複数の有形成分画像を、例えば、第１学習済みモデル１５Ｃを用いて、所定の分類（例えば、有形成分の種類、大きさ、形状、核の有無等）毎に検出成分として分類する。所定の分類毎に分類された有形成分画像は、検体毎に分けて一時的に記憶部１５に記憶される。有形成分画像を分類する方法としては、一例として、機械学習を用いた方法や、パターンマッチングを用いた方法等、各種の公知の技術が適用される。

【0125】

ステップＳ１２３では、ＣＰＵ１１が、ステップＳ１２２で所定の分類毎に検出成分として分類した有形成分画像の各々について適合度を算出する。

【0126】

ステップＳ１２４では、ＣＰＵ１１が、ステップＳ１２３で算出した適合度に基づいて、複数の有形成分画像のうち、データ管理装置２０へ送信する候補となる複数の有形成分画像を特定する。そして、ＣＰＵ１１は、複数の特定の有形成分画像の類似性を判定する。具体的には、上述したように、２つの画像間において、上記（ａ１）～（ａ３）から得られる少なくとも１つの値の差が所定の範囲内であれば、当該２つの画像は類似すると判定することができる。

【0127】

ステップＳ１２５では、ＣＰＵ１１が、ステップＳ１２４で類似性を有すると判定した類似の有形成分画像をグループ化する。

【0128】

ステップＳ１２６では、ＣＰＵ１１が、ステップＳ１２５でグループ化した類似の有形成分画像の中から代表画像を選択する。このとき、ＣＰＵ１１は、上述したように、類似の有形成分画像を含むグループを識別可能な情報と、代表画像を識別可能な情報とを対応付けた対応付けテーブルを記憶部１５に記憶しておく。

【0129】

ステップＳ１２７では、ＣＰＵ１１が、通信部１８を制御して、ステップＳ１２６で選択した代表画像をデータ管理装置２０に送信する。

【0130】

ステップＳ１２８では、ＣＰＵ１１が、ステップＳ１２７でデータ管理装置２０に送信した代表画像に対して、データ管理装置２０から分類結果の返信が有ったか否かを判定する。データ管理装置２０から分類結果の返信が有ったと判定した場合（肯定判定の場合）、ステップＳ１２９に移行し、データ管理装置２０から分類結果の返信がないと判定した場合（否定判定の場合）、ステップＳ１２８で待機となる。

【0131】

ステップＳ１２９では、ＣＰＵ１１が、データ管理装置２０から返信された分類結果を例えば記憶部１５に記憶し、本画像処理プログラム１５Ａによる一連の処理を終了する。このとき、ＣＰＵ１１は、データ管理装置２０からの代表画像の分類結果に含まれる、当該代表画像を識別可能な情報に基づき、ステップＳ１２６で記憶した対応付けテーブルを参照することにより、対応するグループを識別し、当該代表画像の分類結果を、識別したグループの他の有形成分画像の分類結果とする。

【0132】

このように本実施形態によれば、特定の有形成分画像の中に類似する有形成分画像が複数ある場合に、代表画像のみがデータ管理装置に送信される。このため、特定の有形成分画像を全て送信する場合と比較して、送信するデータ量が低減され、データ管理装置との間の通信負荷を低減することが可能となる。

【0133】

なお、上記各実施形態において、プロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ（例えば、ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、等）や、専用のプロセッサ（例えば、ＧＰＵ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＡＳＩＣ： Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅ
ｄ Ｃｉｒｃｕｉｔ、ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、プログラマブル論理デバイス、等）を含むものである。

【0134】

また、上記各実施形態におけるプロセッサの動作は、１つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は、上記各実施形態において記載した順序のみに限定されるものではなく、適宜変更してもよい。

【0135】

以上、実施形態に係る画像処理装置を例示して説明した。実施形態は、画像処理装置が備える各部の機能をコンピュータに実行させるためのプログラムの形態としてもよい。実施形態は、このプログラムを記憶したコンピュータが読み取り可能な非一時的記憶媒体の形態としてもよい。

【0136】

その他、上記実施形態で説明した画像処理装置の構成は、一例であり、主旨を逸脱しない範囲内において状況に応じて変更してもよい。有形成分画像の表示は、上記の実施形態には限定されず、例えば左右に横並びで表示してもよい。各ボタンの表示位置も適宜変更
可能である。

【0137】

また、上記実施形態で説明したプログラムの処理の流れも、一例であり、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。

【0138】

また、上記実施形態では、プログラムを実行することにより、実施形態に係る処理がコンピュータを利用してソフトウェア構成により実現される場合について説明したが、これに限らない。実施形態は、例えば、ハードウェア構成や、ハードウェア構成とソフトウェア構成との組み合わせによって実現してもよい。

【符号の説明】

【0139】

１０、１０Ａ 画像処理装置
１１、２１ ＣＰＵ
１１Ａ、２１Ａ 取得部
１１Ｂ 第１分類部
１１Ｃ、２１Ｃ 表示制御部
１１Ｄ 送信部
１１Ｅ、２１Ｅ 受信部
１１Ｆ 選択部
１２、２２ ＲＯＭ
１３、２３ ＲＡＭ
１４、２４ Ｉ／Ｏ
１５、２５ 記憶部
１５Ａ 画像処理プログラム
１５Ｃ 第１学習済みモデル
１６、２６ 表示部
１７、２７ 操作部
１８、２８ 通信部
１９ 接続部
２０ データ管理装置
２１Ｂ 第２分類部
２１Ｄ 返信部
２５Ａ データ管理プログラム
２５Ｃ 第２学習済みモデル
４０ フローセル
４２ 検体取入口
４４ シース取入口
４６ 排出口
５０ 測定結果画面
５０Ａ 有形成分名
５０Ｂ 有形成分ボタン
５０Ｃ マーク
５１ 有形成分画像リスト画面
５２ 第１項目ボタン群
５３ 第２項目ボタン群
７０ 測定システム
７２ 筐体
７４ カメラ
７６ 光源
７８ 第１供給装置
８６ 第２供給装置
１００ 画像処理システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】