▶ 京セラコミュニケーションシステム株式会社の特許一覧 ▶ 京都府公立大学法人の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022119640
(43)【公開日】2022-08-17
(54)【発明の名称】データ生成装置及びデータ生成方法
(51)【国際特許分類】
G06N 20/00 20190101AFI20220809BHJP
G16H 30/00 20180101ALI20220809BHJP
G16H 50/00 20180101ALI20220809BHJP
G16H 80/00 20180101ALI20220809BHJP
【ＦＩ】
G06N20/00
G16H30/00
G16H50/00
G16H80/00
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2021016901
(22)【出願日】2021-02-04
(71)【出願人】
【識別番号】596100812
【氏名又は名称】京セラコミュニケーションシステム株式会社
(71)【出願人】
【識別番号】509349141
【氏名又は名称】京都府公立大学法人
(74)【代理人】
【識別番号】100147485
【弁理士】
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】230118913
【弁護士】
【氏名又は名称】杉村 光嗣
(74)【代理人】
【識別番号】100132045
【弁理士】
【氏名又は名称】坪内 伸
(74)【代理人】
【識別番号】100203264
【弁理士】
【氏名又は名称】塩川 未久
(72)【発明者】
【氏名】上野 賢吾
(72)【発明者】
【氏名】上田 啓喜
(72)【発明者】
【氏名】辺見 航平
(72)【発明者】
【氏名】東 正雪
(72)【発明者】
【氏名】浮村 理
(72)【発明者】
【氏名】金子 正大
(72)【発明者】
【氏名】辻 恵介
【テーマコード（参考）】
5L099
【Ｆターム（参考）】
5L099AA03
5L099AA04
(57)【要約】
【課題】学習データセットを効率良く生成可能な、データ生成装置及びデータ生成方法を提供する。
【解決手段】データ生成装置は、医用画像と、学習済みモデルによって判定された医用画像の病変の種類と、病変の種類に付与された自信度とを取得する。データ生成装置は、自信度が閾値を超えると判定するとき、医用画像を、病変の種類に対応付けて、学習データセットに保存する。データ生成装置は、自信度が閾値以下であると判定するとき、医用画像のデータを、第１端末装置に送信する。
【選択図】図１
【解決手段】データ生成装置は、医用画像と、学習済みモデルによって判定された医用画像の病変の種類と、病変の種類に付与された自信度とを取得する。データ生成装置は、自信度が閾値を超えると判定するとき、医用画像を、病変の種類に対応付けて、学習データセットに保存する。データ生成装置は、自信度が閾値以下であると判定するとき、医用画像のデータを、第１端末装置に送信する。
【選択図】図１
【特許請求の範囲】
【請求項1】
医用画像と、学習済みモデルによって判定された前記医用画像の病変の種類と、前記病変の種類に付与された自信度とを取得し、
前記自信度が閾値を超えると判定するとき、前記医用画像を、前記病変の種類に対応付けて、学習データセットに保存し、
前記自信度が前記閾値以下であると判定するとき、前記医用画像のデータを、第１端末装置に送信する、データ生成装置。
前記自信度が閾値を超えると判定するとき、前記医用画像を、前記病変の種類に対応付けて、学習データセットに保存し、
前記自信度が前記閾値以下であると判定するとき、前記医用画像のデータを、第１端末装置に送信する、データ生成装置。
【請求項2】
請求項１に記載のデータ生成装置であって、
前記データ生成装置は、前記医用画像を、前記第１端末装置から受信した病変の種類に対応付けて、学習データセットに保存する、データ生成装置。
前記データ生成装置は、前記医用画像を、前記第１端末装置から受信した病変の種類に対応付けて、学習データセットに保存する、データ生成装置。
【請求項3】
請求項１に記載のデータ生成装置であって、
前記データ生成装置は、前記第１端末装置から受信した病変の種類と、前記学習済みモデルによって判定された前記医用画像の病変の種類とが一致すると判定するとき、前記医用画像を、前記第１端末装置から受信した病変の種類に対応付けて、学習データセットに保存する、データ生成装置。
前記データ生成装置は、前記第１端末装置から受信した病変の種類と、前記学習済みモデルによって判定された前記医用画像の病変の種類とが一致すると判定するとき、前記医用画像を、前記第１端末装置から受信した病変の種類に対応付けて、学習データセットに保存する、データ生成装置。
【請求項4】
請求項３に記載のデータ生成装置であって、
前記データ生成装置は、
前記第１端末装置から受信した病変の種類と、前記学習済みモデルによって判定された前記医用画像の病変の種類とが一致しないと判定するとき、前記第１端末装置とは異なる第２端末装置に、前記医用画像のデータを送信し、
前記医用画像を、学習済みモデルによって判定された前記医用画像の病変の種類と、前記第１端末装置から受信した病変の種類と、前記第２端末装置から受信した病変の種類とに対応付けて、学習データセットに保存する、データ生成装置。
前記データ生成装置は、
前記第１端末装置から受信した病変の種類と、前記学習済みモデルによって判定された前記医用画像の病変の種類とが一致しないと判定するとき、前記第１端末装置とは異なる第２端末装置に、前記医用画像のデータを送信し、
前記医用画像を、学習済みモデルによって判定された前記医用画像の病変の種類と、前記第１端末装置から受信した病変の種類と、前記第２端末装置から受信した病変の種類とに対応付けて、学習データセットに保存する、データ生成装置。
【請求項5】
請求項４に記載のデータ生成装置であって、
前記データ生成装置は、前記第１端末装置から受信した病変の種類及び前記第２端末装置から受信した病変の種類の少なくとも何れかに基づいて、前記学習済みモデルを更新させるための更新データセットを生成する、データ生成装置。
前記データ生成装置は、前記第１端末装置から受信した病変の種類及び前記第２端末装置から受信した病変の種類の少なくとも何れかに基づいて、前記学習済みモデルを更新させるための更新データセットを生成する、データ生成装置。
【請求項6】
請求項５に記載のデータ生成装置であって、
前記データ生成装置は、前記医用画像に対して、前記第１端末装置からのみ病変の種類を受信した場合、当該医用画像を、当該病変の種類及び第１重み係数に対応付けて、前記更新データセットに保存する、データ生成装置。
前記データ生成装置は、前記医用画像に対して、前記第１端末装置からのみ病変の種類を受信した場合、当該医用画像を、当該病変の種類及び第１重み係数に対応付けて、前記更新データセットに保存する、データ生成装置。
【請求項7】
請求項６に記載のデータ生成装置であって、
前記データ生成装置は、同じ前記医用画像に対して、前記第１端末装置及び前記第２端末装置の両方から病変の種類を受信した場合に、前記第１端末装置から受信した病変の種類と、前記第２端末装置から受信した病変の種類とが一致しないと判定するとき、当該医用画像を、前記第１端末装置及び前記第２端末装置の各々から受信した病変の種類と、前記第１重み係数よりも小さい第２重み係数とに対応付けて、前記更新データセットに保存する、データ生成装置。
前記データ生成装置は、同じ前記医用画像に対して、前記第１端末装置及び前記第２端末装置の両方から病変の種類を受信した場合に、前記第１端末装置から受信した病変の種類と、前記第２端末装置から受信した病変の種類とが一致しないと判定するとき、当該医用画像を、前記第１端末装置及び前記第２端末装置の各々から受信した病変の種類と、前記第１重み係数よりも小さい第２重み係数とに対応付けて、前記更新データセットに保存する、データ生成装置。
【請求項8】
医用画像と、学習済みモデルによって判定された前記医用画像の病変の種類と、前記病変の種類に付与された自信度とを取得するステップと、
前記自信度が閾値を超えると判定するとき、前記医用画像を、前記病変の種類に対応付けて、学習データセットに保存するステップと、
前記自信度が前記閾値以下であると判定するとき、前記医用画像のデータを、第１端末装置に送信するステップと
を含む、データ生成方法。
前記自信度が閾値を超えると判定するとき、前記医用画像を、前記病変の種類に対応付けて、学習データセットに保存するステップと、
前記自信度が前記閾値以下であると判定するとき、前記医用画像のデータを、第１端末装置に送信するステップと
を含む、データ生成方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、データ生成装置及びデータ生成方法に関する。
【背景技術】
【0002】
従来、機械学習を利用して、画像から病変を診断する方法が知られている（例えば、特許文献１）。
【0003】
特許文献１には、ディジタル乳房Ｘ線像から微小石灰化物を含んでいる疑いのある関心領域を抽出することと、関心領域を数値データに変換することとが記載されている。さらに、特許文献１には、その数値データを、微小石灰化物を検出するように学習が行われたニューラルネットワークに入力することが記載されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開平６－３４３６２７号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、機械学習には、学習データが必要である。従来の技術では、学習データを効率良く生成することが求められている。
【0006】
かかる点に鑑みてなされた本開示の目的は、学習データを効率良く生成可能な、データ生成装置及びデータ生成方法を提供することにある。
【課題を解決するための手段】
【0007】
本開示の一実施形態に係るデータ生成装置は、医用画像と、学習済みモデルによって判定された前記医用画像の病変の種類と、前記病変の種類に付与された自信度とを取得する。前記データ生成装置は、前記自信度が閾値を超えると判定するとき、前記医用画像を、前記病変の種類に対応付けて、学習データセットに保存する。前記データ生成装置は、前記自信度が前記閾値以下であると判定するとき、前記医用画像のデータを、第１端末装置に送信する。
【0008】
本開示の一実施形態に係るデータ生成方法は、医用画像と、学習済みモデルによって判定された前記医用画像の病変の種類と、前記病変の種類に付与された自信度とを取得するステップを含む。前記データ生成方法は、前記自信度が閾値を超えると判定するとき、前記医用画像を、前記病変の種類に対応付けて、学習データセットに保存するステップを含む。前記データ生成方法は、前記自信度が前記閾値以下であると判定するとき、前記医用画像のデータを、第１端末装置に送信するステップを含む。
【発明の効果】
【0009】
本開示の一実施形態によれば、学習データセットを効率良く生成可能な、データ生成装置及びデータ生成方法が提供され得る。
【図面の簡単な説明】
【0010】
【図1】本開示の第１実施形態に係るデータ生成システムの概略構成を示す図である。
【図2】本開示の第１実施形態に係るデータ生成装置の動作を示すフローチャートである。
【図3】本開示の第２実施形態に係る学習データセットを示す図である。
【図4】本開示の第２実施形態に係るデータ生成装置の動作を示すフローチャートである。
【図5】本開示の第２実施形態に係るデータ生成装置の動作を示すフローチャートである。
【図6】本開示の第３実施形態に係る更新データセットを示す図である。
【図7】本開示の第３実施形態に係る学習データセットの経時変化を示す図である。
【図8】本開示の第３実施形態に係るデータ生成装置の動作を示すフローチャートである。
【図9】本開示の第３実施形態に係るデータ生成装置の動作を示すフローチャートである。
【発明を実施するための形態】
【0011】
以下、本開示に係る実施形態について、図面を参照して説明する。
【0012】
（第１実施形態）
図１は、本開示の第１実施形態に係るデータ生成システム１の概略構成を示す図である。データ生成システム１は、学習データセット３３を生成する。学習データセット３３は、医療用の診断装置の機械学習に用いられ得る。当該診断装置は、例えば、医用画像から、医用画像の病変の種類を診断するものであってよい。
図１は、本開示の第１実施形態に係るデータ生成システム１の概略構成を示す図である。データ生成システム１は、学習データセット３３を生成する。学習データセット３３は、医療用の診断装置の機械学習に用いられ得る。当該診断装置は、例えば、医用画像から、医用画像の病変の種類を診断するものであってよい。
【0013】
本開示において「医用画像の病変」は、医用画像に像として含まれる検体の病変を意味する。また、医用画像は、組織片又は細胞等の検体を撮像した任意の種類の画像であってよい。例えば、医用画像は、Ｘ線ＣＴ（Computed Tomography）画像、Ｘ線画像、ＭＲＩ（Magnetic Resonance Imaging）画像、核医学画像、又は超音波画像等であってよい。
【0014】
データ生成システム１は、端末装置１０Ａ，１０Ｂ，１０Ｃと、情報処理装置２０と、データ生成装置３０とを備える。端末装置１０Ａ～１０Ｃと、情報処理装置２０と、データ生成装置３０とは、ネットワーク２を介して通信可能である。ネットワーク２は、移動体通信ネットワーク及びインターネット等を含む任意のネットワークであってよい。情報処理装置２０とデータ生成装置３０とは、ネットワーク２を介さずに、直接通信可能であってよい。以下、情報処理装置２０とデータ生成装置３０とは、ネットワーク２を介さずに、直接通信するものとする。ただし、情報処理装置２０とデータ生成装置３０とは、ネットワーク２を介して通信してもよい。
【0015】
以下、端末装置１０Ａと、端末装置１０Ｂと、端末装置１０Ｃとを特に区別しない場合、これらは、まとめて「端末装置１０」と記載される。図１に示す構成では、データ生成システム１が備える端末装置１０の数は、３個である。ただし、データ生成システム１が備える端末装置１０の数は、任意であってよい。例えば、データ生成システム１が備える端末装置１０の数は、２個以下であってよいし、４個以上であってよい。
【0016】
異なる端末装置１０は、異なる作業者によって使用され得る。例えば、端末装置１０Ａは、作業者Ａによって使用され得る。端末装置１０Ｂは、作業者Ｂによって使用され得る。端末装置１０Ｃは、作業者Ｃによって使用され得る。
【0017】
端末装置１０を使用する作業者は、医師等の医療従事者であってよい。作業者は、端末装置１０を使用して、アノテーション作業を実施する。アノテーション作業とは、医用画像に、その医用画像の病変の種類をラベル付けする作業である。作業者は、アノテーション作業とは別に、通常業務を有し得る。例えば作業者が医師である場合、通常業務は、患者の診察等である。作業者には、通常業務を行っていない時間帯に、アノテーション作業を実施することが求められる。
【0018】
端末装置１０は、パーソナルコンピュータ又はタブレット端末装置等であってよい。端末装置１０は、通信部１１と、表示部１２と、入力部１３と、記憶部１４と、制御部１５とを有する。
【0019】
通信部１１は、ネットワーク２に接続可能な少なくとも１つの通信モジュールを含んで構成されていてよい。例えば、通信モジュールは、ＬＴＥ（Long Term Evolution）、４Ｇ（4th Generation）、又は５Ｇ（5th Generation）等の移動体通信規格に対応した通信モジュールであってよい。例えば、通信モジュールは、有線ＬＡＮ（Local Area Network）又は無線ＬＡＮ等の規格に対応した通信モジュールであってよい。通信部１１は、有線ＬＡＮ又は無線ＬＡＮ等の規格に対応した通信モジュールによって、有線ＬＡＮ又は無線ＬＡＮを介してネットワーク２に接続されてもよい。
【0020】
表示部１２は、ＬＣＤ（Liquid Crystal Display）又は有機ＥＬ（Electro Luminescence）ディスプレイ等の任意のディスプレイを含んで構成されていてよい。表示部１２は、制御部１５の制御に基づいて、医用画像を表示する。作業者は、表示部１２から、医用画像を視認し得る。作業者は、表示部１２から医用画像を視認することにより、その医用画像の病変の種類を診断し得る。
【0021】
入力部１３は、ユーザ入力を検出可能な１つ以上のインタフェースを含む。例えば、入力部１３は、物理キー、静電容量キー、及びタッチスクリーンの少なくとも何れかを含んで構成されていてよい。作業者は、医用画像の病変の種類を、入力部１３から入力し得る。
【0022】
記憶部１４は、少なくとも１つの半導体メモリ、少なくとも１つの磁気メモリ、少なくとも１つの光メモリ、又はこれらのうちの少なくとも２種類の組み合わせを含んで構成されていてよい。半導体メモリは、例えば、ＲＡＭ（Random Access Memory）又はＲＯＭ（Read Only Memory）である。ＲＡＭは、例えば、ＳＲＡＭ（Static Random Access Memory）又はＤＲＡＭ（Dynamic Random Access Memory）である。ＲＯＭは、例えば、ＥＥＰＲＯＭ(Electrically Erasable Programmable Read Only Memory)である。記憶部１４は、主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してよい。記憶部１４は、制御部１５を機能させる多様なプログラム及び制御部１５が用いる多様な情報を記憶する。例えば、記憶部１４は、作業者の識別子の情報を記憶する。
【0023】
制御部１５は、１つ以上のプロセッサ及びメモリを含む。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、及び、特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けＩＣ（ＡＳＩＣ:Application Specific Integrated Circuit）を含んでよい。プロセッサは、プログラマブルロジックデバイス（ＰＬＤ:Programmable Logic Device）を含んでよい。ＰＬＤは、ＦＰＧＡ（Field-Programmable Gate Array）を含んでよい。制御部１５は、１つ又は複数のプロセッサが協働するＳｏＣ（System-on-ａ-Chip）、及び、ＳｉＰ（System-in-a-Package）の何れかであってよい。
【0024】
制御部１５は、ネットワーク２を介してデータ生成装置３０から、医用画像のデータ及び医用画像の識別子を示す情報を、通信部１１によって取得し得る。制御部１５は、データ生成装置３０から医用画像のデータを取得すると、その医用画像を表示部１２に表示させる。表示部１２に医用画像が表示されると、作業者によって入力部１３から、その医用画像の病変の種類が入力され得る。制御部１５は、作業者からの病変の種類の入力を、入力部１３によって検出し得る。制御部１５は、病変の種類の入力を検出すると、作業者の識別子を示す情報と、医用画像の識別子を示す情報と、病変の種類を示す情報とを、ネットワーク２を介してデータ生成装置３０に、通信部１１によって送信し得る。
【0025】
情報処理装置２０は、アノテーション作業を実行し得る。情報処理装置２０は、汎用のコンピュータであってよいし、アノテーション作業を実行するための専用のコンピュータであってもよい。情報処理装置２０は、通信部２１と、記憶部２２と、制御部２４とを有する。
【0026】
通信部２１は、ネットワーク２に接続可能な少なくとも１つの通信モジュールを含んで構成されていてよい。例えば、ネットワーク２に接続可能な通信モジュールは、ＬＴＥ、４Ｇ、又は５Ｇ等の移動体通信規格に対応した通信モジュールであってよい。通信部２１は、データ生成装置３０と通信可能な通信モジュールを含んで構成されていてよい。データ生成装置３０と通信可能な通信モジュールは、有線ＬＡＮ又は無線ＬＡＮ等の規格に対応した通信モジュールであってよい。通信部２１は、有線ＬＡＮ又は無線ＬＡＮ等の規格に対応した通信モジュールによって、有線ＬＡＮ又は無線ＬＡＮを介してデータ生成装置３０と直接通信し得る。また、通信部２１は、有線ＬＡＮ又は無線ＬＡＮ等の規格に対応した通信モジュールによって、有線ＬＡＮ又は無線ＬＡＮを介してネットワーク２に接続されてもよい。
【0027】
記憶部２２は、少なくとも１つの半導体メモリ、少なくとも１つの磁気メモリ、少なくとも１つの光メモリ、又はこれらのうちの少なくとも２種類の組み合わせを含んで構成されていてよい。半導体メモリは、例えば、ＲＡＭ又はＲＯＭである。ＲＡＭは、例えば、ＳＲＡＭ又はＤＲＡＭである。ＲＯＭは、例えば、ＥＥＰＲＯＭである。記憶部２２は、主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してよい。記憶部２２は、制御部２４を機能させる多様なプログラム及び制御部２４が用いる多様な情報を記憶する。記憶部２２は、学習済みモデル２３を含む。
【0028】
学習済みモデル２３は、既存の学習データセットを用いた機械学習により生成されたものであってよい。既存の学習データセットは、作業者が既にアノテーション作業を実施したデータによって生成されてよい。学習済みモデル２３を生成する機械学習のアルゴリズムは、学習データセット３３によって機械学習される医療用の診断装置の機械学習のアルゴリズムに応じたものであってよい。例えば、学習済みモデル２３を生成する機械学習のアルゴリズムは、サポートベクターマシン（ＳＶＭ：Support Vector Machine）、ベイズ推定及び深層学習（ＤＮＮ：Deep Neural Network）等の少なくとも何れかであってよい。
【0029】
制御部２４は、１つ以上のプロセッサ及びメモリを含む。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、及び、特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けＩＣを含んでよい。プロセッサは、プログラマブルロジックデバイスを含んでよい。ＰＬＤは、ＦＰＧＡを含んでよい。制御部２４は、１つ又は複数のプロセッサが協働するＳｏＣ、及び、ＳｉＰの何れかであってよい。
【0030】
制御部２４は、データ生成装置３０から、医用画像のデータ及び医用画像の識別子を示す情報を、通信部２１によって取得し得る。制御部２４は、医用画像のデータを取得すると、学習済みモデル２３によって、その医用画像の病変の種類を判定する。
【0031】
制御部２４は、判定した病変の種類に、自信度を付与する。自信度は、学習済みモデル２３によって判定された病変の種類の確からしさを示す指標であってよい。制御部２４は、学習済みモデル２３の生成に用いられた機械学習のアルゴリズムが深層学習である場合、学習済みモデル２３によって医用画像から抽出された特徴量と、判定した病変の種類の特徴量とのマッチング率に基づいて、自信度を算出してよい。特徴量は、医用画像に像として含まれる検体の画素の輝度及び色、当該検体の形状、当該検体を構成する画素の数、並びに深層学習で抽出される特徴量の少なくとも何れかを含んでよい。制御部２４は、学習済みモデル２３の生成に用いられた機械学習に用いられるパラメータのうち、学習済みモデル２３によって判定された病変の種類の確からしさを示すパラメータを、自信度として取得してもよい。例えば、制御部２４は、機械学習のアルゴリズムがサポートベクターマシンである場合、判定時に出力される“Probability”を自信度として取得してもよい。制御部２４が自信度を算出又は取得する代わりに、学習済みモデル２３が、医用画像の病変の種類を判定するとともに、その病変の種類に付与する自信度を出力するように、機械学習されていてもよい。
【0032】
制御部２４は、医用画像の識別子を示す情報と、判定した病変の種類を示す情報と、病変の種類に付与した自信度を示す情報とを、データ生成装置３０に、通信部２１によって送信する。
【0033】
データ生成装置３０は、学習データセット３３を生成する。データ生成装置３０は、汎用のコンピュータであってよいし、学習データセット３３を生成するための専用のコンピュータであってもよい。データ生成装置３０は、通信部３１と、記憶部３２と、制御部３４とを有する。
【0034】
通信部３１は、ネットワーク２に接続可能な少なくとも１つの通信モジュールを含んで構成されていてよい。例えば、ネットワーク２に接続可能な通信モジュールは、ＬＴＥ、４Ｇ、又は５Ｇ等の移動体通信規格に対応した通信モジュールであってよい。通信部３１は、情報処理装置２０と通信可能な通信モジュールを含んで構成されていてよい。情報処理装置２０と通信可能な通信モジュールは、有線ＬＡＮ又は無線ＬＡＮ等の規格に対応した通信モジュールであってよい。通信部３１は、有線ＬＡＮ又は無線ＬＡＮ等の規格に対応した通信モジュールによって、有線ＬＡＮ又は無線ＬＡＮを介して情報処理装置２０と直接通信し得る。また、通信部３１は、有線ＬＡＮ又は無線ＬＡＮ等の規格に対応した通信モジュールによって、有線ＬＡＮ又は無線ＬＡＮを介してネットワーク２に接続されてもよい。
【0035】
記憶部３２は、少なくとも１つの半導体メモリ、少なくとも１つの磁気メモリ、少なくとも１つの光メモリ、又はこれらのうちの少なくとも２種類の組み合わせを含んで構成されていてよい。半導体メモリは、例えば、ＲＡＭ又はＲＯＭである。ＲＡＭは、例えば、ＳＲＡＭ又はＤＲＡＭである。ＲＯＭは、例えば、ＥＥＰＲＯＭである。記憶部３２は、主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してよい。記憶部３２は、制御部３４を機能させる多様なプログラム及び制御部３４が用いる多様な情報を記憶する。記憶部３２は、後述の処理により生成される学習データセット３３を記憶する。学習データセット３３は、データベースとして生成されてよい。
【0036】
制御部３４は、１つ以上のプロセッサ及びメモリを含む。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、及び、特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けＩＣを含んでよい。プロセッサは、プログラマブルロジックデバイスを含んでよい。ＰＬＤは、ＦＰＧＡを含んでよい。制御部３４は、１つ又は複数のプロセッサが協働するＳｏＣ、及び、ＳｉＰの何れかであってよい。
【0037】
制御部３４は、アノテーション作業が未実施の医用画像のデータ及び医用画像の識別子を示す情報を、通信部３１によって外部から取得し得る。制御部３４は、アノテーション作業が未実施の医用画像のデータ等を取得すると、学習データセット３３を生成又は更新する。本実施形態では、制御部３４は、以下に説明するように、学習データセット３３にデータを適宜保存していくことにより、学習データセット３３を生成又は更新する。
【0038】
具体的には、制御部３４は、アノテーション作業が未実施の医用画像のデータ及び識別子を示す情報を取得すると、取得した医用画像のデータ及び医用画像の識別子を示す情報を、情報処理装置２０に、通信部３１によって送信する。情報処理装置２０は、データ生成装置３０から医用画像のデータ等を受信すると、上述のように、学習済みモデル２３によって、その医用画像の病変の種類を判定等する。情報処理装置２０が医用画像の病変の種類を判定等することにより、情報処理装置２０からデータ生成装置３０へ、医用画像の識別子を示す情報と、情報処理装置２０が判定した病変の種類を示す情報と、病変の種類に付与された自信度を示す情報とが送信される。
【0039】
制御部３４は、情報処理装置２０から、医用画像の識別子を示す情報と、病変の種類を示す情報と、自信度を示す情報とを、通信部３１によって受信し得る。つまり、制御部３４は、情報処理装置２０の学習済みモデル２３によって判定された医用画像の病変の種類と、病変の種類に付与された自信度とを受信し得る。制御部３４は、受信した自信度が閾値以下であるか否かを判定する。
【0040】
閾値は、学習済みモデル２３による病変の判定精度に応じて、適宜設定されてよい。閾値は、学習済みモデル２３による病変の判定精度が高いほど、小さくてよい。閾値は、一定値であってよい。閾値は、学習済みモデル２３による病変の判定精度に応じて変動する変動値であってもよい。例えば、学習済みモデル２３が既存の学習データセットを用いた機械学習により生成されたものであるとする。この場合、当該既存の学習データセットのデータ量が増えると、学習済みモデル２３による判定精度は、当該既存の学習データセットのデータ量が増える前と比較して、高くなる場合がある。この場合、当該既存の学習データセットのデータ量が増え、学習済みモデル２３による判定精度が高くなった後の閾値は、当該既存の学習データセットのデータ量が増える前の閾値よりも、小さくてよい。
【0041】
自信度が閾値を超える場合、その自信度が付与された病変の種類が正解である可能性は高い。つまり、情報処理装置２０の学習済みモデル２３によって判定された病変の種類が正解である可能性は高い。そこで、本実施形態では、閾値を超える自信度が付与された病変の種類の判定に用いられた医用画像については、作業者にアノテーション作業を実施させない。制御部３４は、閾値を超える自信度が付与された病変の種類の判定に用いられた医用画像を、学習済みモデル２３によって判定された病変の種類に対応付けて、学習データセット３３に保存する。具体的には、制御部３４は、情報処理装置２０から受信した自信度が閾値を超えると判定するとき、情報処理装置２０から受信した識別子に対応する医用画像を、情報処理装置２０から受信した病変の種類に対応付けて、学習データセット３３に保存する。制御部３４は、当該医用画像を、自信度にも対応付けて、学習データセット３３に保存してよい。
【0042】
自信度が閾値以下である場合、その自信度が付与された病変の種類が正解である可能性は低い。つまり、情報処理装置２０の学習済みモデル２３によって判定された病変の種類が正解である可能性は低い。そこで、制御部３４は、閾値以下の自信度が付与された病変の種類の判定に用いられた医用画像については、作業者にアノテーション作業を実施させる。具体的には、制御部３４は、情報処理装置２０から受信した自信度が閾値以下であると判定するとき、その自信度が付与された病変の種類の判定に用いられた医用画像のデータを、ネットワーク２を介して第１端末装置に、通信部３１によって送信する。制御部３４は、その自信度が付与された病変の種類の判定に用いられた医用画像のデータとともに、その医用画像の識別子を示す情報を、ネットワーク２を介して第１端末装置に、通信部３１によって送信する。ここで、第１端末装置は、データ生成システム１が備える端末装置１０のうちから、適宜選択された端末装置１０である。制御部３４は、作業者Ａ～Ｃのアノテーション作業の負担が公平になるように、端末装置１０Ａ～１０Ｃのうちから、第１端末装置を適宜選択してよい。例えば、制御部３４は、データ生成装置３０から端末装置１０Ａ～１０Ｃの各々に送信される医用画像のフレーム数が均等化されるように、端末装置１０Ａ～１０Ｃのうちから、第１端末装置を選択してよい。このような構成により、作業者Ａ～Ｃがアノテーション作業を実施する医用画像の枚数が均等化され得る。
【0043】
第１端末装置としての端末装置１０は、データ生成装置３０から、医用画像のデータ及び医用画像の識別子を示す情報を、受信し得る。端末装置１０が医用画像のデータ等を受信すると、作業者は、通常業務を行っていない時間帯等に、端末装置１０を使用して、アノテーション作業を実施する。作業者が端末装置１０を使用してアノテーション作業を実施することで、第１端末装置としての端末装置１０からデータ生成装置３０へ、作業者の識別子を示す情報と、医用画像の識別子を示す情報と、作業者が診断した病変の種類を示す情報とが、送信される。
【0044】
制御部３４は、ネットワーク２を介して第１端末装置としての端末装置１０から、作業者の識別子を示す情報と、医用画像の識別子を示す情報と、病変の種類を示す情報とを、通信部３１によって受信し得る。制御部３４は、端末装置１０から受信した識別子に対応する医用画像を、端末装置１０から受信した病変の種類に対応付けて、学習データセット３３に保存する。制御部３４は、当該医用画像を、病変の種類及び作業者の識別子に対応付けて、学習データセット３３に保存してもよい。
【0045】
（データ生成装置の動作）
図２は、本開示の第１実施形態に係るデータ生成装置３０の動作を示すフローチャートである。制御部３４は、アノテーション作業が未実施の医用画像のデータ及び医用画像の識別子を示す情報を、外部から通信部３１によって取得すると、図２に示すような処理を開始してよい。
図２は、本開示の第１実施形態に係るデータ生成装置３０の動作を示すフローチャートである。制御部３４は、アノテーション作業が未実施の医用画像のデータ及び医用画像の識別子を示す情報を、外部から通信部３１によって取得すると、図２に示すような処理を開始してよい。
【0046】
制御部３４は、アノテーション作業が未実施の医用画像のデータ及び医用画像の識別子を示す情報を、情報処理装置２０に、通信部３１によって送信する（ステップＳ１０）。
【0047】
ステップＳ１０の処理が実行されることにより、情報処理装置２０は、データ生成装置３０から医用画像のデータ等を受信する。情報処理装置２０は、医用画像のデータ等を受信すると、学習済みモデル２３によって、その医用画像の病変の種類を判定等する。情報処理装置２０が医用画像の病変の種類を判定等することにより、情報処理装置２０からデータ生成装置３０へ、医用画像の識別子を示す情報と、情報処理装置２０が判定した病変の種類を示す情報と、病変の種類に付与された自信度を示す情報とが送信される。
【0048】
制御部３４は、情報処理装置２０から、医用画像の識別子を示す情報と、病変の種類を示す情報と、自信度を示す情報とを、通信部３１によって受信する（ステップＳ１１）。
【0049】
制御部３４は、ステップＳ１１の処理にて受信した自信度が閾値以下であるか否かを判定する（ステップＳ１２）。制御部３４は、受信した自信度が閾値を超えると判定するとき（ステップＳ１２：Ｎо）、ステップＳ１３の処理に進む。一方、制御部３４は、受信した自信度が閾値以下であると判定するとき（ステップＳ１２：Ｙｅｓ）、ステップＳ１４の処理に進む。
【0050】
ステップＳ１３の処理では、制御部３４は、ステップＳ１１の処理で受信した識別子に対応する医用画像を、ステップＳ１１の処理で受信した病変の種類に対応付けて、学習データセット３３に保存する。
【0051】
ステップＳ１４の処理では、制御部３４は、医用画像のデータ及び医用画像の識別子を示す情報を、ネットワーク２を介して第１端末装置に、通信部３１によって送信する。
【0052】
ステップＳ１４の処理が実行されることにより、第１端末装置としての端末装置１０は、データ生成装置３０から医用画像のデータ等を受信し得る。作業者は、通常業務を行っていない時間帯等に、端末装置１０を使用して、アノテーション作業を実施する。作業者が端末装置１０を使用してアノテーション作業を実施することで、第１端末装置としての端末装置１０からデータ生成装置３０へ、作業者の識別子を示す情報と、医用画像の識別子を示す情報と、作業者が診断した病変の種類を示す情報とが、送信される。
【0053】
ステップＳ１５の処理では、制御部３４は、ネットワーク２を介して第１端末装置から、作業者の識別子を示す情報と、医用画像の識別子を示す情報と、病変の種類を示す情報とを、通信部３１によって受信する。
【0054】
ステップＳ１６の処理では、制御部３４は、ステップＳ１５の処理で受信した識別子に対応する医用画像を、ステップＳ１５の処理で受信した病変の種類に対応付けて、学習データセット３３に保存する。
【0055】
このように第１実施形態に係るデータ生成装置３０は、自信度が閾値を超えると判定するとき、医用画像を、情報処理装置２０の学習済みモデル２３によって判定された病変の種類に対応付けて、学習データセット３３に保存する。つまり、制御部３４は、自信度が閾値を超えると判定するとき、作業者にアノテーション作業を実施させず、学習済みモデル２３によって判定された病変の種類によって、学習データセット３３の少なくとも一部を生成する。このような構成により、学習データセット３３を生成する際、作業者が全ての医用画像についてアノテーション作業を実施しなくてもよくなる。その結果として、作業者のアノテーション作業の負担が軽減され得る。よって、本実施形態によれば、学習データセット３３を効率良く生成可能な、データ生成装置３０及びデータ生成方法が提供され得る。
【0056】
（第２実施形態）
次に、第２実施形態に係るデータ生成システムについて説明する。第２実施形態に係るデータ生成システムには、第１実施形態に係るデータ生成システム１と同様の構成を採用可能である。従って、以下では、図１を参照しつつ、第１実施形態との相違点を中心に説明する。
次に、第２実施形態に係るデータ生成システムについて説明する。第２実施形態に係るデータ生成システムには、第１実施形態に係るデータ生成システム１と同様の構成を採用可能である。従って、以下では、図１を参照しつつ、第１実施形態との相違点を中心に説明する。
【0057】
第１実施形態と同様に、制御部３４は、アノテーション作業が未実施の医用画像のデータ及び医用画像の識別子を示す情報を、外部から通信部３１によって取得し得る。制御部３４は、アノテーション作業が未実施の医用画像のデータ等を取得すると、取得した医用画像のデータ及び医用画像の識別子を示す情報を、情報処理装置２０に、通信部３１によって送信する。
【0058】
第１実施形態と同様に、制御部３４は、情報処理装置２０から、医用画像の識別子を示す情報と、病変の種類を示す情報と、病変の種類に付与された自信度を示す情報とを、通信部３１によって受信し得る。
【0059】
例えば、制御部３４は、図３に示すような識別子ＩＤ１，ＩＤ２，ＩＤ３，ＩＤ４の医用画像のデータ等を、情報処理装置２０に送信する。図３において、種類Ｘ，Ｙ，Ｚの各々は、異なる病変の種類を示す。情報処理装置２０は、識別子ＩＤ１の医用画像のデータ等を受信すると、識別子ＩＤ１の医用画像の病変の種類を、種類Ｘと判定し、１００％の自信度を付与する。情報処理装置２０は、識別子ＩＤ２の医用画像のデータ等を受信すると、識別子ＩＤ２の医用画像の病変の種類を、種類Ｘと判定し、５０％の自信度を付与する。情報処理装置２０は、識別子ＩＤ３の医用画像のデータ等を受信すると、識別子ＩＤ３の医用画像の病変の種類を、種類Ｙと判定し、５０％の自信度を付与する。情報処理装置２０は、識別子ＩＤ４の医用画像のデータ等を受信すると、識別子ＩＤ４の医用画像の病変の種類を、種類Ｚと判定し、４０％の自信度を付与する。制御部３４は、情報処理装置２０が判定したこれらの病変の種類及び自信度を、情報処理装置２０から、受信し得る。
【0060】
制御部３４は、第１実施形態と同様に、受信した自信度が閾値以下であるか否かを判定する。制御部３４は、第１実施形態と同様に、情報処理装置２０から受信した自信度が閾値を超えると判定するとき、情報処理装置２０から受信した識別子に対応する医用画像を、情報処理装置２０から受信した病変の種類に対応付けて、学習データセット３３に保存する。制御部３４は、当該医用画像を、自信度にも対応付けて、学習データセット３３に保存してよい。
【0061】
例えば、図３において、閾値は、８０％であるとする。この場合、図３に示すような識別子ＩＤ１の医用画像について、制御部３４は、１００％の自信度が８０％の閾値を超えると判定する。制御部３４は、識別子ＩＤ１の医用画像を、情報処理装置２０から受信した種類Ｘと１００％の自信度とに対応付けて、学習データセット３３に保存する。
【0062】
制御部３４は、情報処理装置２０から受信した自信度が閾値以下であると判定するとき、その自信度が付与された病変の種類の判定に用いられた医用画像のデータを、ネットワーク２を介して第１端末装置に、通信部３１によって送信する。制御部３４は、その自信度が付与された病変の種類の判定に用いられた医用画像のデータとともに、その医用画像の識別子を示す情報を、ネットワーク２を介して第１端末装置に、通信部３１によって送信する。以下、第１端末装置を使用する作業者は、「第１作業者」とも記載される。制御部３４は、第１端末装置への医用画像のデータの送信後、ネットワーク２を介して第１端末装置から、第１作業者の識別子を示す情報と、医用画像の識別子を示す情報と、病変の種類を示す情報とを通信部３１によって受信し得る。
【0063】
例えば、図３に示すような識別子ＩＤ２の医用画像について、制御部３４は、５０％の自信度が８０％の閾値以下であると判定する。制御部３４は、識別子ＩＤ２の医用画像のデータ等を、第１端末装置としての端末装置１０Ａに、送信する。作業者Ａは、識別子ＩＤ２の医用画像の病変の種類を、種類Ｘと診断する。制御部３４は、第１端末装置としての端末装置１０Ａから、識別子ｉｄＡを示す情報と、識別子ＩＤ２を示す情報と、種類Ｘを示す情報とを受信する。識別子ｉｄＡは、作業者Ａの識別子である。
【0064】
例えば、図３に示すような識別子ＩＤ３の医用画像について、制御部３４は、５０％の自信度が８０％の閾値以下であると判定する。制御部３４は、識別子ＩＤ３の医用画像のデータ等を、第１端末装置としての端末装置１０Ｃに、送信する。作業者Ｃは、識別子ＩＤ３の医用画像の病変の種類を、種類Ｘと診断する。制御部３４は、第１端末装置としての端末装置１０Ｃから、識別子ｉｄＣを示す情報と、識別子ＩＤ３を示す情報と、種類Ｘを示す情報とを受信する。識別子ｉｄＣは、作業者Ｃの識別子である。
【0065】
例えば、図３に示すような識別子ＩＤ４の医用画像について、制御部３４は、４０％の自信度が８０％の閾値以下であると判定する。制御部３４は、識別子ＩＤ４の医用画像のデータ等を、第１端末装置としての端末装置１０Ｂに、送信する。作業者Ｂは、識別子ＩＤ４の医用画像の病変の種類を、種類Ｘと診断する。制御部３４は、第１端末装置としての端末装置１０Ｂから、識別子ｉｄＢを示す情報と、識別子ＩＤ４を示す情報と、種類Ｘを示す情報とを受信する。識別子ｉｄＢは、作業者Ｂの識別子である。
【0066】
制御部３４は、第１端末装置から受信した病変の種類と、情報処理装置２０から受信した病変の種類すなわち学習済みモデル２３によって判定された病変の種類とが一致するか否か判定する。制御部３４は、第１端末装置から受信した病変の種類と、情報処理装置２０から受信した病変の種類とが一致すると判定するとき、医用画像を、第１端末装置から受信した病変の種類及び第１作業者の識別子に対応付けて、学習データセット３３に保存する。さらに、制御部３４は、医用画像を、情報処理装置２０から受信した病変の種類及び自信度にも対応付けて、学習データセット３３に保存してもよい。
【0067】
例えば、図３に示すような識別子ＩＤ２の医用画像について、制御部３４は、情報処理装置２０から受信した種類Ｘと、第１端末装置としての端末装置１０Ａから受信した種類Ｘとが一致すると判定する。制御部３４は、識別子ＩＤ２の医用画像を、情報処理装置２０から受信した種類Ｘ及び５０％の自信度と、第１端末装置としての端末装置１０Ａから受信した種類Ｘ及び第１作業者の識別子ｉｄＡとに対応付けて、学習データセット３３に保存する。
【0068】
制御部３４は、第１端末装置から受信した病変の種類と、情報処理装置２０から受信した病変の種類とが一致しないと判定するとき、医用画像のデータを、ネットワーク２を介して第２端末装置に、通信部３１によって送信する。第２端末装置は、第１端末装置とは異なる端末装置１０である。以下、第２端末装置を使用する作業者は、「第２作業者」とも記載される。第１端末装置とは異なる端末装置１０である第２端末装置に、医用画像のデータが送信されることにより、第１作業者とは異なる第２作業者によって、医用画像に対するアノテーション作業が実施され得る。
【0069】
例えば、図３に示すような識別子ＩＤ３の医用画像について、制御部３４は、第１端末装置としての端末装置１０Ｃから受信した種類Ｘと、情報処理装置２０から受信した種類Ｙとが一致しないと判定する。制御部３４は、識別子ＩＤ３の医用画像のデータを、端末装置１０Ｃとは異なる第２端末装置としての端末装置１０Ｂに、送信する。作業者Ｂは、ＩＤ３の医用画像の病変の種類を、種類Ｙと診断する。
【0070】
例えば、図３に示すような識別子ＩＤ４の医用画像について、制御部３４は、第１端末装置としての端末装置１０Ｂから受信した種類Ｘと、情報処理装置２０から受信した種類Ｚとが一致しないと判定する。制御部３４は、識別子ＩＤ４の医用画像のデータを、端末装置１０Ｂとは異なる第２端末装置としての端末装置１０Ｃに、送信する。作業者Ｃは、識別子ＩＤ４の医用画像の病変の種類を、種類Ｘと診断する。
【0071】
制御部３４は、ネットワーク２を介して第２端末装置から、第２作業者の識別子を示す情報と、医用画像の識別子を示す情報と、病変の種類を示す情報とを、通信部３１によって受信し得る。制御部３４は、受信した識別子に対応する医用画像を、情報処理装置２０から受信した病変の種類と、第１端末装置から受信した病変の種類と、第２端末装置から受信した病変の種類とに対応付けて、学習データセット３３に保存する。さらに、制御部３４は、当該医用画像を、情報処理装置２０から受信した自信度と、第１端末装置から受信した第１作業者の識別子と、第２端末装置から受信した第２作業者の識別子とにも対応付けて、学習データセット３３に保存してもよい。
【0072】
例えば、制御部３４は、図３に示すような識別子ＩＤ３の医用画像について、第２端末装置としての端末装置１０Ｂから、識別子ｉｄＢを示す情報と、識別子ＩＤ３を示す情報と、種類Ｙを示す情報とを受信する。制御部３４は、識別子ＩＤ３の医用画像を、情報処理装置２０から受信した種類Ｙと、第１端末装置としての端末装置１０Ｃから受信した種類Ｘと、第２端末装置としての端末装置１０Ｂから受信した種類Ｙとに対応付けて、学習データセット３３に保存する。さらに、制御部３４は、識別子ＩＤ３の医用画像を、５０％の自信度と、第１作業者の識別子ｉｄＣと、第２作業者の識別子ｉｄＢとにも対応付けて、学習データセット３３に保存する。
【0073】
例えば、図３に示すような識別子ＩＤ４の医用画像について、制御部３４は、第２端末装置としての端末装置１０Ｃから、識別子ｉｄＣを示す情報と、識別子ＩＤ４を示す情報と、種類Ｘを示す情報とを受信する。制御部３４は、識別子ＩＤ４の医用画像を、情報処理装置２０から受信した種類Ｚと、第１端末装置としての端末装置１０Ｂから受信した種類Ｘと、第２端末装置としての端末装置１０Ｃから受信した種類Ｘとに対応付けて、学習データセット３３に保存する。さらに、制御部３４は、識別子ＩＤ４の医用画像を、４０％の自信度と、第１作業者の識別子ｉｄＢと、第２作業者の識別子ｉｄＣとにも対応付けて、学習データセット３３に保存する。
【0074】
（データ生成装置の動作）
図４及び図５は、本開示の第２実施形態に係るデータ生成装置３０の動作を示すフローチャートである。制御部３４は、アノテーション作業が未実施の医用画像のデータ及び医用画像の識別子を示す情報を、外部から通信部３１によって取得すると、図４に示すような処理を開始してよい。
図４及び図５は、本開示の第２実施形態に係るデータ生成装置３０の動作を示すフローチャートである。制御部３４は、アノテーション作業が未実施の医用画像のデータ及び医用画像の識別子を示す情報を、外部から通信部３１によって取得すると、図４に示すような処理を開始してよい。
【0075】
制御部３４は、図２に示すようなステップＳ１０，Ｓ１１，Ｓ１２，Ｓ１３，Ｓ１４，Ｓ１５の処理と同様にして、ステップＳ２０，Ｓ２１，Ｓ２２，Ｓ２３，Ｓ２４，Ｓ２５の処理を実行する。
【0076】
ステップＳ２６の処理では、制御部３４は、ステップＳ２５の処理にて第１端末装置から受信した病変の種類と、ステップＳ２１の処理にて情報処理装置２０から受信した病変の種類とが一致するか否か判定する。
【0077】
制御部３４は、第１端末装置から受信した病変の種類と、情報処理装置２０から受信した病変の種類とが一致すると判定するとき（ステップＳ２６：Ｙｅｓ）、ステップＳ２７の処理に進む。一方、制御部３４は、第１端末装置から受信した病変の種類と、情報処理装置２０から受信した病変の種類とが一致しないと判定するとき（ステップＳ２６：Ｎо）、図５に示すようなステップＳ２８の処理に進む。
【0078】
ステップＳ２７の処理では、制御部３４は、医用画像を、第１端末装置から受信した病変の種類に対応付けて、学習データセット３３に保存する。さらに、制御部３４は、医用画像を、情報処理装置２０から受信した病変の種類及び自信度と、第１作業者の識別子とにも対応付けて、学習データセット３３に保存してもよい。
【0079】
図５に示すようなステップＳ２８の処理では、制御部３４は、医用画像のデータ及び医用画像の識別子を示す情報を、ネットワーク２を介して第２端末装置に、通信部３１によって送信する。
【0080】
ステップＳ２８の処理が実行されることにより、第２端末装置としての端末装置１０は、データ生成装置３０から医用画像のデータ等を受信し得る。第２作業者は、通常業務を行っていない時間帯等に、端末装置１０を使用して、アノテーション作業を実施する。第２作業者が端末装置１０を使用してアノテーション作業を実施することで、第２端末装置としての端末装置１０からデータ生成装置３０へ、第２作業者の識別子を示す情報と、医用画像の識別子を示す情報と、病変の種類を示す情報とが送信される。
【0081】
ステップＳ２９の処理では、制御部３４は、ネットワーク２を介して第２端末装置から、第２作業者の識別子を示す情報と、医用画像の識別子を示す情報と、病変の種類を示す情報とを、通信部３１によって受信する。
【0082】
ステップＳ３０の処理では、制御部３４は、医用画像を、情報処理装置２０から受信した病変の種類と、第１端末装置から受信した種類と、第２端末装置から受信した病変の種類とに対応付けて、学習データセット３３に保存する。さらに、制御部３４は、医用画像を、情報処理装置２０から受信した自信度と、第１端末装置から受信した第１作業者の識別子と、第２作業者の識別子とにも対応付けて、学習データセット３３に保存してもよい。
【0083】
ここで、一般的な学習データセットの生成では、１つの医用画像に対して、二人以上の作業者がアノテーション作業を実施することが求められる。さらに、一般的な学習データセットの生成では、１つの医用画像に対する各作業者の診断結果が一致する場合、その医用画像に、その診断結果を対応付けることにより、学習データセットが生成される。一般的な学習データセットの生成では、１つの医用画像に対して、二人以上の作業者がアノテーション作業を実施することが求められるため、作業者の負担が増加し得る。また、一人目の作業者が、準備された医用画像へのアノテーション作業を終了してから、二人目の作業者は、準備された医用画像へのアノテーション作業を開始する。換言すると、二人目の作業者は、一人目の作業者がアノテーション作業を終了するまで、アノテーション作業の開始を待たなければならない。例えば、図３に示すような識別子ＩＤ１～ＩＤ４の医用画像が準備されており、一人目の作業者が作業者Ａであり、二人目の作業者が作業者Ｂであるとする。この場合、作業者Ｂは、作業者Ａが識別子ＩＤ１～ＩＤ４の医用画像へのアノテーション作業を終了するまで、識別子ＩＤ１～ＩＤ４の医用画像へのアノテーション作業の開始を待たなければならない。
【0084】
第２実施形態に係るデータ生成装置３０は、第１端末装置から受信した病変の種類と、情報処理装置２０から受信した病変の種類とが一致すると判定するとき、医用画像を、第１端末装置から受信した病変の種類に対応付けて、学習データセット３３に保存する。換言すると、第１端末装置から受信した病変の種類と、情報処理装置２０から受信した病変の種類とが一致する場合、その病変の種類の判定に用いられた医用画像に対しては、二人以上の作業者がアノテーション作業を実施する必要がなくなる。このような構成により、作業者の負担が低減され得る。
【0085】
さらに、第２実施形態に係るデータ生成装置３０は、自信度が閾値以下であると判定するとき、第１端末装置に、医用画像のデータを送信する。このような構成により、複数の医用画像のデータを、複数の第１端末装置に、同時期に送信することができる。例えば、制御部３４は、図３に示すような識別子ＩＤ２，ＩＤ３，ＩＤ４の医用画像のデータを、第１端末装置としての端末装置１０Ａ，１０Ｃ，１０Ｂに、同時期に送信することができる。複数の医用画像のデータが複数の第１端末装置に同時期に送信されることにより、アノテーション作業を実施する一人目の作業者として、複数の第１作業者が、複数の医用画像に対してアノテーション作業を各々実施することができる。このような構成により、一般的な学習データセットの生成のように、二人目の作業者が、一人目の作業者がアノテーション作業を終了するまで、アノテーション作業の開始を待たなければならないといった事態が解消され得る。
【0086】
また、第２実施形態に係るデータ生成装置３０は、第２端末装置に医用画像のデータを送信する際、情報処理装置２０が判定した病変の種類及び第１作業者が診断した病変の種類等を、第２端末装置に送信しない。このような構成により、第２作業者は、第１作業者の診断結果等に依拠せずに、医用画像の病変を診断することができる。
【0087】
第２実施形態に係るデータ生成装置３０のその他の構成及び効果は、第１実施形態に係るデータ生成装置３０の構成及び効果と同様である。
【0088】
（第３実施形態）
次に、第３実施形態に係るデータ生成システムについて説明する。第３実施形態に係るデータ生成システムには、第１実施形態に係るデータ生成システム１と同様の構成を採用可能である。従って、以下では、図１を参照しつつ、第１実施形態との相違点を中心に説明する。
次に、第３実施形態に係るデータ生成システムについて説明する。第３実施形態に係るデータ生成システムには、第１実施形態に係るデータ生成システム１と同様の構成を採用可能である。従って、以下では、図１を参照しつつ、第１実施形態との相違点を中心に説明する。
【0089】
制御部３４は、第１実施形態及び第２実施形態にて上述したように学習データセット３３を生成又は更新していく際、ネットワーク２を介して端末装置１０から、通信部３１によって病変の種類を示す情報を受信し得る。第３実施形態では、制御部３４は、学習データセット３３を生成又は更新していく際に、端末装置１０から受信した病変の種類を示す情報に基づいて、情報処理装置２０の学習済みモデル２３を更新させるための更新データセットを生成する。換言すると、制御部３４は、作業者がアノテーション作業を実施した医用画像に基づいて、更新データセットを生成する。学習済みモデル２３は、後述のように、更新データセットを用いた機械学習によって更新され得る。学習済みモデル２３が更新されることにより、学習済みモデル２３による病変の種類の判定精度が向上し得る。
【0090】
制御部３４は、学習データセット３３に保存済みのデータを用いて、更新データセットを生成してよい。又は、制御部３４は、第１実施形態及び第２実施形態にて上述したように学習データセット３３を生成又は更新していく際に、データを記憶部３２に一時的に記憶させておいてもよい。例えば、制御部３４は、端末装置１０から受信した、作業者の識別子を示す情報と、医用画像の識別子を示す情報と、病変の種類を示す情報とを、記憶部３２に一時的に記憶させておいてもよい。この場合、制御部３４は、記憶部３２に一時的に記憶させた病変の種類を示す情報等を用いて、更新データセットを生成してよい。制御部３４は、定期的に、更新データセットを生成してよい。本実施形態では、以下に説明するように、制御部３４は、更新データセットにデータを適宜保存していくことにより、更新データセットを生成する。
【0091】
制御部３４は、第１端末装置から受信した病変の種類及び第２端末装置から受信した病変の種類の少なくとも何れかに基づいて、更新データセットを生成してよい。
【0092】
制御部３４は、医用画像に対して、第１端末装置からのみ病変の種類を受信した場合、当該医用画像を、当該病変の種類及び第１重み係数に対応付けて、更新データセットに保存してよい。第１重み係数は、１であってよい。
【0093】
第１重み係数に対応付けられた医用画像には、第１重み係数とともに、第１端末装置から受信した１つの病変の種類のみが対応付けられ得る。学習済みモデル２３は、後述の更新データセットを用いた機械学習による更新の際、第１重み係数が対応付けられた医用画像の病変の種類が、当該医用画像に対応付けられた病変の種類のみであると判定するように学習されてよい。この際、学習済みモデル２３は、判定した病変の種類の確からしさが、第１重み係数に応じた値に近付くように学習されてよい。例えば、当該第１重み係数に応じた値は、判定された病変の種類の確からしさを示す指標としての自信度が採用される場合、１００％であってよい。この場合に、学習済みモデル２３は、自信度を出力するように構成される場合、第１重み係数に対応付けられた病変の種類については、自信度が１００％に近付くように学習されてよい。
【0094】
制御部３４は、学習データセット３３に保存済みのデータを用いる場合、学習データセット３３に保存済みのデータから、第１作業者の識別子にのみ対応付けられた医用画像を、第１端末装置からのみ病変の種類を受信した医用画像として抽出してよい。制御部３４は、抽出した医用画像を、第１端末装置から受信した病変の種類及び第１重み係数に対応付けて、更新データセットに保存してよい。
【0095】
例えば、学習データセット３３に保存済みのデータとして、図３に示すようなデータが用いられるとする。識別子ＩＤ２の医用画像には、第１作業者の識別子ｉｄＡのみが対応付けられている。この場合、制御部３４は、図６に示すように、識別子ＩＤ２の医用画像を、種類Ｘ及び第１重み係数に対応付けて、更新データセットに保存してよい。図６に示す例では、制御部３４は、第１重み係数として、１を付与している。
【0096】
制御部３４は、同じ医用画像に対して、第１端末装置及び第２端末装置の両方から病変の種類を受信した場合、当該医用画像によって、更新データセットを生成してよい。この場合、制御部３４は、学習データセット３３に保存済みのデータから、第１作業者の識別子及び第２作業者の識別子の両方に対応付けられた医用画像を、第１端末装置及び第２端末装置の両方から病変の種類を受信した医用画像として抽出してよい。
【0097】
例えば、学習データセット３３に保存済みのデータとして、図３に示すようなデータが用いられるとする。識別子ＩＤ３の医用画像には、第１作業者の識別子ｉｄＣと、第２作業者の識別子ｉｄＢとが対応付けられている。識別子ＩＤ４の医用画像には、第１作業者の識別子ｉｄＢと、第２作業者の識別子ｉｄＣとが対応付けられている。制御部３４は、学習データセット３３から、識別子ＩＤ３，ＩＤ４の医用画像を、第１端末装置及び第２端末装置の両方から病変の種類を受信した医用画像として抽出する。
【0098】
制御部３４は、同じ医用画像に対して、第１端末装置及び第２端末装置の両方から病変の種類を受信した場合、第１端末装置から受信した病変の種類と、第２端末装置から受信した病変の種類とが一致するか否か判定してよい。
【0099】
制御部３４は、同じ医用画像に対して、第１端末装置から受信した病変の種類と、第２端末装置から受信した病変の種類とが一致しないと判定し得る。この場合、制御部３４は、当該医用画像を、第１端末装置及び第２端末装置の各々から受信した病変の種類と第２重み係数とに対応付けて、更新データセットに保存してよい。第２重み係数は、第１重み係数よりも小さい。制御部３４は、第１重み係数を、同じ医用画像に対して病変の種類を送信した端末装置１０の数で割ることにより、第２重み係数を算出してよい。例えば、第１重み係数が１であり、同じ医用画像に対して病変の種類を送信した端末装置１０の数が第１端末装置及び第２端末装置の２つである場合、第２重み係数は、０．５であってよい。
【0100】
第２重み係数に対応付けられた医用場像には、第２重み係数とともに、第１端末装置及び第２端末装置から受信した、２つの病変の種類が対応付けられ得る。学習済みモデル２３は、後述の更新データセットを用いた機械学習による更新の際、第２重み係数が対応付けられた医用画像の病変の種類が、当該医用画像に対応付けられた２つの病変の種類の各々に該当すると学習されてよい。この際、学習済みモデル２３は、当該医用画像の病変の種類に該当する２つの病変の種類の各々の確からしさが、第１重み係数よりも小さい第２重み係数に応じた値に近付くように学習されてよい。例えば、当該第２重み係数に応じた値は、判定された病変の種類の確からしさを示す指標としての自信度が採用され、且つ、第２係数が０．５である場合、５０％であってよい。この場合に、学習済みモデル２３は、自信度を出力するように構成される場合、第２重み係数に対応付けられた病変の種類については、自信度が５０％に近付くように学習されてよい。
【0101】
例えば、制御部３４は、図３に示すような識別子ＩＤ３の医用画像に対して、第１端末装置としての端末装置１０Ｃから受信した種類Ｘと、第２端末装置としての端末装置１０Ｂから受信した種類Ｙとが一致しないと判定する。この場合、制御部３４は、図６に示すように、識別子ＩＤ３の医用画像を、種類Ｘ及び種類Ｙと、第２重み係数の０．５とに対応付けて、更新データセットに保存する。
【0102】
制御部３４は、同じ医用画像に対して、第１端末装置から受信した病変の種類と、第２端末装置から受信した病変の種類とが一致すると判定し得る。この場合、制御部３４は、当該医用画像を、第１端末装置及び第２医用画像の各々から受信した病変の種類と第１重み係数とに対応付けて、更新データセットに保存してよい。
【0103】
例えば、制御部３４は、図３に示すような識別子ＩＤ４の医用画像に対して、第１端末装置としての端末装置１０Ｂから受信した種類Ｘと、第２端末装置としての端末装置１０Ｃから受信した種類Ｘとが一致すると判定する。この場合、制御部３４は、図６に示すように、識別子ＩＤ４の医用画像を、種類Ｘと第１重み係数の１とに対応付けて、更新データセットに保存する。
【0104】
制御部３４は、生成した更新データセットを、情報処理装置２０に、通信部３１によって送信する。情報処理装置２０では、制御部２４は、データ生成装置３０から、通信部２１によって更新データセットを受信し得る。制御部２４は、更新データセットを受信すると、更新データセットを用いた機械学習によって学習済みモデル２３を更新させる。制御部２４は、学習済みモデル２３の更新が終了すると、更新終了を示す通知を、データ生成装置３０に、通信部２１によって送信してよい。
【0105】
制御部３４は、更新終了を示す通知を、情報処理装置２０から、通信部３１によって受信し得る。制御部３４は、更新終了を示す通知を受信すると、学習データセット３３の保存されている医用画像のうち、情報処理装置２０から受信した病変の種類すなわち学習済みモデル２３によって判定された病変の種類のみが対応付けられた医用画像を抽出する。例えば、学習データセット３３が図３に示すような構成である場合、制御部３４は、識別子ＩＤ１の医用画像を、抽出する。制御部３４は、抽出した医用画像のデータ及び医用画像の識別子を示す情報を、情報処理装置２０に、通信部２１によって送信する。情報処理装置２０では、制御部２４は、当該医用画像のデータ及び当該医用画像の識別子を通信部２１によって受信し得る。制御部２４は、当該医用画像のデータ等を受信すると、更新された学習済みモデル２３によって当該医用画像の病変の種類を判定し、判定した病変の種類に、自信度を付与する。制御部２４は、当該医用画像の識別子を示す情報と、判定した病変の種類を示す情報と、病変の種類に付与した自信度を示す情報とを、データ生成装置３０に、通信部２１によって送信する。
【0106】
制御部３４は、情報処理装置２０から、医用画像の識別子を示す情報と、病変の種類を示す情報と、自信度を示す情報とを、通信部３１によって受信し得る。制御部３４は、受信した病変の種類を示す情報等に基づいて、学習データセット３３に保存済みのデータを更新してよい。
【0107】
図７には、本開示の第３実施形態に係る学習データセット３３の経時変化を示す。図７には、学習済みモデル２３の１回目の更新、２回目の更新、及び３回目の更新において、識別子ＩＤ１の医用画像に対して、学習済みモデル２３によって判定された病変の種類及び自信度が示されている。
【0108】
学習済みモデル２３の更新回数が多くなるほど、学習済みモデル２３による病変の種類の判定精度が向上し得る。このような構成により、同じ医用画像に対して、更新の前後で学習済みモデル２３によって判定された病変の種類が同じになる場合でも、更新後に付与された自信度の方が、更新前に付与された自信度よりも、低くなる場合がある。例えば、図７に示すように、１回目及び２回目の更新では、学習済みモデル２３は、識別子ＩＤ１の医用画像の病変の種類を、同じ種類Ｘと判定している。２回目の更新に付与された自信度は、５０％であり、１回目に付与された８０％の自信度よりも、低くなっている。
【0109】
学習済みモデル２３の病変の種類の判定精度が向上することにより、同じ医用画像に対して、更新前の学習済みモデル２３によって判定された病変の種類と、更新後の学習済みモデル２３によって判定された病変の種類とが異なる場合がある。例えば、図７に示すように、２回目の更新では、学習済みモデル２３は、識別子ＩＤ１の医用画像に対して種類Ｘと判定している。これに対し、３回目の更新では、学習済みモデル２３は、識別子ＩＤ１の医用画像に対して種類Ｙと判定している。
【0110】
（データ生成装置の動作）
図８及び図９は、本開示の第３実施形態に係るデータ生成装置３０の動作を示すフローチャートである。以下では、制御部３４は、学習データセット３３に保存済みのデータを用いて、更新データセットを生成するものとする。制御部３４は、図８に示すような処理を、定期的に実行してよい。例えば、学習データセット３３に保存済みの医用画像の数が所定値増加する毎に、図８に示すような処理を実行してよい。所定値は、学習済みモデル２３に求められる病変の種類の判定精度を考慮して、適宜決定されてよい。
図８及び図９は、本開示の第３実施形態に係るデータ生成装置３０の動作を示すフローチャートである。以下では、制御部３４は、学習データセット３３に保存済みのデータを用いて、更新データセットを生成するものとする。制御部３４は、図８に示すような処理を、定期的に実行してよい。例えば、学習データセット３３に保存済みの医用画像の数が所定値増加する毎に、図８に示すような処理を実行してよい。所定値は、学習済みモデル２３に求められる病変の種類の判定精度を考慮して、適宜決定されてよい。
【0111】
制御部３４は、学習データセット３３に保存済みのデータから、第１作業者の識別子にのみ対応付けられた医用画像を、第１端末装置からのみ病変の種類を受信した医用画像として抽出する（ステップＳ４０）。
【0112】
制御部３４は、ステップＳ４０の処理で抽出した医用画像を、第１端末装置から受信した病変の種類及び第１重み係数に対応付けて、更新データセットに保存する（ステップＳ４１）。制御部３４は、ステップＳ４０の処理で抽出した医用画像の数だけ、ステップＳ４１の処理を繰り返し実行してよい。
【0113】
制御部３４は、学習データセット３３に保存済みのデータから、第１作業者の識別子及び第２作業者の識別子の両方に対応付けられた医用画像を、第１端末装置及び第２端末装置の両方から病変の種類を受信した医用画像として抽出する（ステップＳ４２）。
【0114】
制御部３４は、ステップＳ４２の処理で抽出した医用画像において、同じ医用画像に対し、第１端末装置から受信した病変の種類と、第２端末装置から受信した病変の種類とが一致するか否か判定する（ステップＳ４３）。制御部３４は、同じ医用画像に対し、第１端末装置から受信した病変の種類と、第２端末装置から受信した病変の種類とが一致しないと判定するとき（ステップＳ４３：Ｎо）、ステップＳ４４の処理に進む。制御部３４は、同じ医用画像に対し、第１端末装置から受信した病変の種類と、第２端末装置から受信した病変の種類とが一致すると判定するとき（ステップＳ４３：Ｙｅｓ）、ステップＳ４５の処理に進む。
【0115】
ステップＳ４４の処理では、制御部３４は、ステップＳ４３の判定処理に用いた医用画像を、第１端末装置及び第２端末装置の各々から受信した病変の種類と第２重み係数とに対応付けて、更新データセットに保存する。
【0116】
ステップＳ４５の処理では、制御部３４は、ステップＳ４３の判定処理に用いた医用画像を、第１端末装置及び第２医用画像の各々から受信した病変の種類と第１重み係数とに対応付けて、更新データセットに保存する。
【0117】
制御部３４は、ステップＳ４２の処理で抽出した医用画像の数だけ、ステップＳ４３～Ｓ４５の処理を繰り返し実行してよい。
【0118】
ステップＳ４６の処理では、制御部３４は、生成した更新データセットを、情報処理装置２０に、通信部３１によって送信する。
【0119】
ステップＳ４６の処理を実行した後、制御部３４は、図９に示すような処理に進む。
【0120】
ステップＳ４６の処理が実行されることにより、情報処理装置２０では、制御部２４は、データ生成装置３０から、通信部２１によって更新データセットを受信し得る。制御部２４は、更新データセットを受信すると、更新データセットを用いた機械学習によって学習済みモデル２３を更新させる。制御部２４は、学習済みモデル２３の更新が終了すると、更新終了を示す通知を、データ生成装置３０に、通信部２１によって送信する。
【0121】
ステップＳ４７の処理では、制御部３４は、更新終了を示す通知を、情報処理装置２０から、通信部３１によって受信する。
【0122】
ステップＳ４８の処理では、制御部３４は、学習データセット３３に保存されている医用画像のうち、情報処理装置２０から受信した病変の種類すなわち学習済みモデル２３によって判定された病変の種類のみが対応付けられた医用画像を抽出する。
【0123】
ステップＳ４９の処理では、制御部３４は、ステップＳ４８の処理で抽出した医用画像のデータ及び医用画像の識別子を示す情報を、情報処理装置２０に、通信部２１によって送信する。
【0124】
ステップＳ４９の処理が実行されることにより、情報処理装置２０では、制御部２４は、当該医用画像のデータ及び当該医用画像の識別子を通信部２１によって受信し得る。制御部２４は、当該医用画像のデータ等を受信すると、更新された学習済みモデル２３によって当該医用画像の病変の種類を判定し、判定した病変の種類に、自信度を付与する。制御部２４は、当該医用画像の識別子を示す情報と、判定した病変の種類を示す情報と、病変の種類に付与した自信度を示す情報とを、データ生成装置３０に、通信部２１によって送信する。
【0125】
ステップＳ５０の処理では、制御部３４は、情報処理装置２０から、医用画像の識別子を示す情報と、病変の種類を示す情報と、自信度を示す情報とを、通信部３１によって受信する。
【0126】
ステップ５１の処理では、制御部３４は、ステップ５０の処理で受信した病変の種類を示す情報等に基づいて、学習データセット３３に保存済みのデータを更新する。
【0127】
なお、制御部３４は、ステップＳ５０の処理を実行した後、ステップ５１の処理に進む代わりに、図４に示すようなステップＳ２２の処理に進んでもよい。
【0128】
また、制御部３４は、学習データセット３３内に、第１作業者の識別子にのみ対応付けられた医用画像が存在しない場合、ステップＳ４０，Ｓ４１の処理を実行しなくてよい。
【0129】
また、制御部３４は、学習データセット３３内に、第１作業者の識別子及び第２作業者の識別子の両方に対応付けられた医用画像が存在しない場合、ステップＳ４２～Ｓ４５の処理を実行しなくてよい。
【0130】
このように第３実施形態に係るデータ生成装置３０は、第１端末装置から受信した病変の種類及び第２端末装置から受信した病変の種類の少なくとも何れかに基づいて、学習済みモデル２３を更新させるための更新データセットを生成する。学習済みモデル２３の更新が更新されることにより、学習済みモデル２３の病変の種類の判定精度が向上し得る。学習済みモデル２３の病変の種類の判定精度が向上することにより、学習データセット３３の精度が向上され得る。
【0131】
本開示は上述の実施形態に限定されるものではない。例えば、ブロック図に記載の複数のブロックを統合してもよいし、又は１つのブロックを分割してもよい。フローチャートに記載の複数のステップを記述に従って時系列に実行する代わりに、各ステップを実行する装置の処理能力に応じて、又は必要に応じて、並列的に又は異なる順序で実行してもよい。その他、本開示の趣旨を逸脱しない範囲での変更が可能である。
【0132】
例えば、上述した第１から第３実施形態では、図１示すように、情報処理装置２０と、データ生成装置３０とが別個の装置であるものとして説明した。ただし、情報処理装置２０と、データ生成装置３０とは、１つの装置として構成されてもよいし、１つのクラウドサーバとして構成されてもよい。情報処理装置２０とデータ生成装置３０とが１つの装置又はクラウドサーバとして構成される場合、データ生成装置３０の記憶部３２に、学習済みモデル２３が格納されていてよい。また、制御部３４は、学習済みモデル２３によって、医用画像の病変の種類を判定し、判定した病変の種類に自信度を付与してよい。
【0133】
例えば、上述した第１実施形態において、閾値は、学習済みモデル２３の学習量に応じて、適宜決定され得るものとして説明した。ただし、第３実施形態にて上述したように学習済みモデル２３が更新データセットを用いた機械学習により更新される場合、閾値は、更新データセットのデータ量に基づいて、適宜設定されてもよい。例えば、閾値は、更新データセットのデータ量が多いほど、小さくてよい。
【符号の説明】
【0134】
１ データ生成システム
２ ネットワーク
１０，１０Ａ，１０Ｂ，１０Ｃ 端末装置
１１ 通信部
１２ 表示部
１３ 入力部
１４ 記憶部
１５ 制御部
２０ 情報処理装置
２１ 通信部
２２ 記憶部
２３ 学習済みモデル
２４ 制御部
３０ データ生成装置
３１ 通信部
３２ 記憶部
３３ 学習データセット
３４ 制御部
２ ネットワーク
１０，１０Ａ，１０Ｂ，１０Ｃ 端末装置
１１ 通信部
１２ 表示部
１３ 入力部
１４ 記憶部
１５ 制御部
２０ 情報処理装置
２１ 通信部
２２ 記憶部
２３ 学習済みモデル
２４ 制御部
３０ データ生成装置
３１ 通信部
３２ 記憶部
３３ 学習データセット
３４ 制御部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】