特開 2024-54748 言語特徴抽出モデルの生成方法、情報処理装置、情報処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024054748

(43)【公開日】2024-04-17

(54)【発明の名称】言語特徴抽出モデルの生成方法、情報処理装置、情報処理方法及びプログラム

(51)【国際特許分類】

   G06F 16/58 20190101AFI20240410BHJP

   G06N 20/00 20190101ALI20240410BHJP

【ＦＩ】

G06F16/58

G06N20/00 130

【審査請求】未請求

【請求項の数】17

【出願形態】ＯＬ

(21)【出願番号】P 2022161178

(22)【出願日】2022-10-05

(71)【出願人】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】100083116

【弁理士】

【氏名又は名称】松浦 憲三

(74)【代理人】

【識別番号】100170069

【弁理士】

【氏名又は名称】大原 一樹

(74)【代理人】

【識別番号】100128635

【弁理士】

【氏名又は名称】松村 潔

(74)【代理人】

【識別番号】100140992

【弁理士】

【氏名又は名称】松浦 憲政

(72)【発明者】

【氏名】一ノ瀬 晶路

【テーマコード（参考）】

5B175

【Ｆターム（参考）】

5B175DA01

5B175DA02

5B175FA01

5B175FB03

(57)【要約】

【課題】画像に関するテキストから画像中の位置に関する情報の特徴を含んだ特徴量を抽出して特徴ベクトル化が可能な言語特徴抽出モデルの生成方法、情報処理装置、情報処理方法及びプログラムを提供することを目的とする。
【解決手段】画像に関連するテキストから特徴を抽出する処理をコンピュータに実行させる言語特徴抽出モデルの生成方法であって、１つ以上のプロセッサを含むシステムが、第１の画像と、第１の画像中の関心領域に関する第１の位置情報と、関心領域を説明した第１のテキストと、を含む複数の訓練データを用いた機械学習を行い、言語特徴抽出モデルである第１のモデルに第１のテキストを入力して第１の特徴量を出力させ、第２のモデルに第１の画像と第１の特徴量とを入力して第２のモデルに関心領域を推定させ、第２のモデルから出力される推定関心領域と第１の位置情報が示す正解の関心領域とが一致するように、第１のモデル及び第２のモデルを訓練する。
【選択図】図２

【特許請求の範囲】

【請求項1】

画像に関連するテキストから特徴を抽出する処理をコンピュータに実行させる言語特徴抽出モデルの生成方法であって、
１つ以上のプロセッサを含むシステムが、
第１の画像と、前記第１の画像中の関心領域に関する第１の位置情報と、前記関心領域を説明した第１のテキストと、を含む複数の訓練データを用いた機械学習を行い、
第１のモデルに前記第１のテキストを入力して前記第１のモデルから前記第１のテキストの特徴を表す第１の特徴量を出力させ、
前記第１のモデルとは異なる第２のモデルに前記第１の画像と前記第１の特徴量とを入力して前記第２のモデルに前記第１の画像中の前記関心領域を推定させ、
前記第２のモデルから出力される推定関心領域と前記第１の位置情報が示す正解の前記関心領域とが一致するように、前記第１のモデル及び前記第２のモデルを訓練することにより、
前記言語特徴抽出モデルである前記第１のモデルを生成する、
言語特徴抽出モデルの生成方法。

【請求項2】

前記システムが、
前記画像から抽出される画像特徴量と前記テキストから抽出される言語特徴量との入力を受けて両者の関連度を出力する第３のモデルを用い、
前記機械学習において、前記第３のモデルに前記第１の画像から抽出される第２の特徴量と、前記第１の特徴量とを入力して前記第３のモデルに前記第１の画像と前記第１のテキストとの関連度を推定させ、
前記第３のモデルから出力される推定関連度が正解の関連度と一致するように、前記第１のモデル及び前記第３のモデルを訓練することを含む、
請求項１に記載の言語特徴抽出モデルの生成方法。

【請求項3】

前記システムが、
入力された前記第１の画像から前記第２の特徴量を抽出する第４のモデルを用い、
前記機械学習において、
前記第４のモデルに、前記第１の画像と前記位置情報とを入力して前記第４のモデルに前記第２の特徴量を出力させ、
前記第３のモデルから出力される前記推定関連度と前記正解の関連度とが一致するように、前記第１のモデル、前記第３のモデル及び前記第４のモデルを訓練することを含む、
請求項２に記載の言語特徴抽出モデルの生成方法。

【請求項4】

前記システムが、
複数の前記テキストのそれぞれから抽出される言語特徴量の入力を受けて、前記複数の前記テキストの関連度を出力する第５のモデルを用い、
前記機械学習において、
前記第１のテキストとは別の第２のテキストを前記第１のモデルに入力することにより前記第１のモデルによって前記第２のテキストから抽出された第３の特徴量と、前記第１の特徴量とを前記第５のモデルに入力して前記第５のモデルに前記第１のテキストと前記第２のテキストとの関連度を推定させ、
前記第５のモデルから出力される推定関連度と正解の関連度とが一致するように、前記第１のモデル及び前記第５のモデルを訓練することを含む、
請求項１に記載の言語特徴抽出モデルの生成方法。

【請求項5】

前記テキスト及び前記第１のテキストは、構造化されたテキストである、
請求項１から４のいずれか一項に記載の言語特徴抽出モデルの生成方法。

【請求項6】

前記第２のテキストは、構造化されたテキストである、
請求項４に記載の言語特徴抽出モデルの生成方法。

【請求項7】

前記システムが、
前記第２のモデルにより推定された関心領域を表示させる処理を行うことを含む、
請求項１に記載の言語特徴抽出モデルの生成方法。

【請求項8】

前記位置情報は、前記第１の画像中の前記関心領域の位置を特定する座標情報を含む、
請求項１に記載の言語特徴抽出モデルの生成方法。

【請求項9】

前記第１の画像は、前記位置情報を含んだクロップ画像である、
請求項１に記載の言語特徴抽出モデルの生成方法。

【請求項10】

請求項１に記載の言語特徴抽出モデルの生成方法によって生成された前記言語特徴抽出モデルを含むプログラムが記憶される１つ以上の記憶装置と、
前記プログラムを実行する１つ以上のプロセッサと、
を備える情報処理装置。

【請求項11】

１つ以上のプロセッサと、
前記１つ以上のプロセッサが実行する命令が記憶される１つ以上の記憶装置と、を備え、
前記１つ以上のプロセッサは、
画像中の関心領域を説明したテキストを取得し、
第１のモデルに前記テキストを入力して前記第１のモデルから前記テキストの特徴を表す言語特徴量を出力させる処理を実行し、
前記第１のモデルは、
訓練用の第１の画像と、前記第１の画像中の関心領域に関する第１の位置情報と、前記関心領域を説明した第１のテキストと、を含む複数の訓練データを用いた機械学習により、
前記第１のモデルに前記第１のテキストを入力して前記第１のモデルから前記第１のテキストの特徴を表す第１の特徴量を出力させ、前記第１のモデルとは異なる第２のモデルに前記第１の画像と前記第１の特徴量とを入力して前記第２のモデルに前記第１の画像中の関心領域を推定させ、
前記第２のモデルから出力される推定関心領域と、前記第１の位置情報が示す正解の前記関心領域とが一致するように前記第１のモデル及び前記第２のモデルを訓練することによって得られるモデルである、
情報処理装置。

【請求項12】

前記１つ以上のプロセッサは、
第２の画像から抽出される画像特徴量と前記テキストから抽出される言語特徴量とを第３のモデルに入力し、前記第３のモデルから前記第２の画像と前記テキストとの関連度を出力させる、
請求項１０または１１に記載の情報処理装置。

【請求項13】

前記１つ以上のプロセッサは、
前記第２の画像と前記第２の画像中の関心領域に関する第２の位置情報とを取得し、
第４のモデルに前記第２の画像と前記第２の位置情報とを入力することにより、前記第４のモデルから前記画像特徴量を出力させる、
請求項１２に記載の情報処理装置。

【請求項14】

前記１つ以上のプロセッサは、
前記第１のモデルによって複数の前記テキストのそれぞれから抽出された言語特徴量を第５のモデルに入力し、前記第５のモデルから前記複数の前記テキストの関連度を出力させる、
請求項１０又は１１に記載の情報処理装置。

【請求項15】

前記テキスト及び前記第１のテキストは、構造化されたテキストである、
請求項１０又は１１に記載の情報処理装置。

【請求項16】

１つ以上のプロセッサが、
画像中の関心領域を説明したテキストを取得し、
第１のモデルに前記テキストを入力して前記第１のモデルから前記テキストの特徴を表す言語特徴量を出力させる処理を実行し、
前記第１のモデルは、
訓練用の第１の画像と、前記第１の画像中の関心領域を説明した第１のテキストと、前記第１の画像中の関心領域に関する第１の位置情報と、を含む訓練データを用いた機械学習により、
前記第１のモデルに前記第１のテキストを入力して前記第１のモデルから前記第１のテキストの特徴を表す第１の特徴量を出力させ、前記第１のモデルとは異なる第２のモデルに前記第１の画像と前記第１の特徴量とを入力して前記第２のモデルに前記第１の画像中の関心領域を推定させ、
前記第２のモデルによって推定される関心領域と、前記第１の位置情報が示す関心領域とが一致するように前記第１のモデル及び前記第２のモデルを訓練することによって得られるモデルである、
情報処理方法。

【請求項17】

画像に関連するテキストから特徴を抽出する機能をコンピュータに実現させるプログラムであって、
前記コンピュータに、
画像中の関心領域を説明したテキストを取得する機能と、
第１のモデルに前記テキストを入力して前記第１のモデルから前記テキストの特徴を表す言語特徴量を出力させる機能と、を実現させ、
前記第１のモデルは、
訓練用の第１の画像と、前記第１の画像中の関心領域に関する第１の位置情報と、前記第１の画像中の関心領域を説明した第１のテキストと、を含む訓練データを用いた機械学習により、
前記第１のモデルに前記第１のテキストを入力して前記第１のモデルから前記第１のテキストの特徴を表す第１の特徴量を出力させ、前記第１のモデルとは異なる第２のモデルに前記第１の画像と前記第１の特徴量とを入力して前記第２のモデルに前記第１の画像中の関心領域を推定させ、
前記第２のモデルから出力される推定関心領域と、前記第１の位置情報が示す関心領域とが一致するように前記第１のモデル及び前記第２のモデルを訓練することによって得られるモデルである、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、言語特徴抽出モデルの生成方法、情報処理装置、情報処理方法及びプログラムに係り、特に画像に関連するテキストを扱う自然言語処理技術及び機械学習技術に関する。

【背景技術】

【0002】

近年、言語情報としてのテキストを入力とする各種の人工知能（Artificial Intelligence：ＡＩ）の研究及び開発が盛んに行われており、製品化も進んでいる。例えば、チャットボットあるいは文章自動要約ＡＩなどはその代表的な例である。テキストの入力に対して所望の出力を得る一般的なＡＩの場合、入力に用いるテキストと、そのテキストが入力されたときに出力されてほしい正解の情報とのペア（データ組）を複数組用意し、これら複数のペアを含むデータセットを用いてＡＩのモデルを学習させればよい。

【0003】

非特許文献１には、画像とテキストの両方からそれぞれ特徴量を抽出し、画像とテキストとの関係性を推定する方法が開示されている。

【0004】

また、特許文献１には、スライド資料からページごと画像とテキストデータを抽出し、抽出した画像のデータ量に基づいて算出されるページごとの画像特徴量と、抽出したテキストデータに含まれる単語の出現頻度に基づいて算出されるそのページのテキスト特徴量とに基づきページごとのスコア値を算出し、スライド資料の中から選択したページのスコア値の合計が最大となるようにページを選択するスライド要約装置が開示されている。

【0005】

特許文献２には、画像の外観を示す外観情報を取得する外観情報取得部と、画像における外観情報及び外観特徴抽出モデルを用いて画像の外観の特徴を示す外観特徴量を抽出する外観特徴抽出部と、画像の分類を示す分類情報を取得する分類情報取得部と、画像における分類情報及び分類テキスト特徴抽出モデルを用いて画像の分類を示す文言の特徴を示す分類テキスト特徴量を抽出する分類テキスト特徴抽出部と、画像における外観特徴量、分類テキスト特徴量及びマルチモーダルモデルを用いて、画像における画像全体の特徴である全体特徴量を抽出する全体特徴抽出部と、を備える類似画像検索システムが開示されている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０１７－０４９９７５号公報

【特許文献2】特開２０２１－１５７５７０号公報

【非特許文献】

【0007】

【非特許文献1】Kuang-Huei Lee, Xi Chen, Gang Hua, Houdong Hu, and Xiaodong He,“Stacked Cross Attention forImage-Text Matching” ＜https://openaccess.thecvf.com/content_ECCV_2018/papers/Kuang-Huei_Lee_Stacked_Cross_Attention_ECCV_2018_paper.pdf＞，＜https://arxiv.org/pdf/1803.08024＞

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかし、非特許文献１に記載の方法は、モデルの学習を行うために対象領域を含む画像と、対応するテキストとのペアが大量に必要である。また、近年は、一般的なＡＩの開発要望とは別に、テキストのデータ（言語情報）の特徴量を抽出して特徴ベクトル化する要望も増えてきている。テキストの特徴ベクトルは、テキストの特徴を示す数値ベクトルである。テキストを特徴ベクトル化することによって、例えば、画像とその画像に関するテキストから、テキストが指し示す画像中の対象物を特定するＡＩを作成したり、あるテキストと類似する内容が記述されたテキストを検索したり等、様々な用途に利用することができる。

【0009】

例えば、医療画像診断においては、ＣＴ（Computed Tomography）装置等を用いて撮影された画像を読影して医師が作成した所見文を含む読影レポート（テキストデータ）が過去データとして多数蓄積されており、それらのデータを活用して、医師の診断業務を補助・効率化する試みが多くなされている。このような読影レポートに含まれる所見文などのテキストを適切に特徴ベクトル化できれば、過去の類似レポート検索、あるいは類似するレポートのグループ化等、様々な用途に用いることが可能である。

【0010】

これは、いわばＡＩの役割分担であり、言語情報から特徴ベクトルを生成する特徴抽出ＡＩと、言語特徴ベクトルの入力を受けて目的とする判別、分類、あるいは推定（予測）等の処理を行う用途別のＡＩとの組み合わせによって、目的のタスクを実現するＡＩシステムである。かかる役割分担型のＡＩシステムを実現するためには、様々な用途の処理に利用できる有用な特徴ベクトルを生成する汎用的な特徴抽出ＡＩを実現することが望まれる。

【0011】

しかしながら、特徴抽出ＡＩと、その抽出した特徴ベクトルを利用して目的の処理を行う用途別のＡＩとを組み合わせた構成を考えた場合、機械学習によって実現される特徴抽出ＡＩが妥当な特徴ベクトルを算出できるか否かは、ＡＩ開発者にとってはブラックボックスであり、コントロールが難しい。機械学習によって出来上がるモデルは、学習（訓練）に用いるデータセットに依存する。通常、モデルの汎用性を高めるためには、現実に入力としてあり得るデータを網羅的に学習データとして大量に用意する必要がある。

【0012】

つまり、最終目的のタスクに即した精度の良い結果を出すことが可能になる妥当な言語特徴ベクトルを出力し得る言語特徴抽出ＡＩを生成するためには、一般的に、テキストと、そのテキストに対応する正解データ（ここでは、正解特徴ベクトル）とのペアが多数必要となる。言語特徴抽出ＡＩがテキストを特徴ベクトル化する仕組みはいわゆる「ブラックボックス」であり、どのような基準に基づいてどのような特徴ベクトルが算出されるのか説明不能であるため、妥当なＡＩとなるために多数の学習データが必要となる。

【0013】

その一方で、あるテキストの特徴を示す正解特徴ベクトルは、人間が正解データとして用意することは困難である。

【0014】

本開示はこのような事情に鑑みてなされたものであり、画像に関するテキストから画像中の位置に関する情報の特徴を含んだ特徴量を抽出して特徴ベクトル化が可能な言語特徴抽出モデルの生成方法、情報処理装置、情報処理方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0015】

本開示の第１態様に係る言語特徴抽出モデルの生成方法は、画像に関連するテキストから特徴を抽出する処理をコンピュータに実行させる言語特徴抽出モデルの生成方法であって、１つ以上のプロセッサを含むシステムが、第１の画像と、第１の画像中の関心領域に関する第１の位置情報と、関心領域を説明した第１のテキストと、を含む複数の訓練データを用いた機械学習を行い、第１のモデルに第１のテキストを入力して第１のモデルから第１のテキストの特徴を表す第１の特徴量を出力させ、第１のモデルとは異なる第２のモデルに第１の画像と第１の特徴量とを入力して第２のモデルに第１の画像中の関心領域を推定させ、第２のモデルから出力される推定関心領域と第１の位置情報が示す正解の関心領域とが一致するように、第１のモデル及び第２のモデルを訓練することにより、言語特徴抽出モデルである第１のモデルを生成する。

【0016】

第１態様によれば、第１のモデルは、入力されたテキストからそのテキストが言及している画像中の関心領域の位置に関する情報の特徴を含んだ特徴量を出力するように訓練される。すなわち、第１態様によって生成される言語特徴抽出モデルは、入力されたテキストから画像中の関心領域の位置に関する特徴が埋め込まれた特徴量を出力することができる。言語特徴抽出モデルによって生成される特徴量は、例えば、画像中の関心領域と関連するテキストを特定したり、類似するテキストを抽出したりする処理において、有用なデータとなり得る。

【0017】

第１態様によれば、第１のモデル及び第２のモデルを訓練する際に、第１のモデルの出力に対する正解データとなる正解特徴量を用意する必要がなく、第１のモデルにテキストと、そのテキストで言及している画像中の関心領域の位置との関係性を学習させることが可能である。第１態様によれば、学習データが比較的少ない場合であっても、入力されたテキストから画像中の関心領域の位置の特徴を含んだ特徴量を出力し得る高性能な言語特徴抽出モデルを生成することができる。なお、「モデル」は実体的にはプログラムである。言語特徴抽出モデルの生成方法は、言語特徴抽出モデルを生産する方法と理解される。

【0018】

第２態様に係る言語特徴抽出モデルの生成方法は、第１態様に係る言語特徴抽出モデルの生成方法において、システムが、画像から抽出される画像特徴量とテキストから抽出される言語特徴量との入力を受けて両者の関連度を出力する第３のモデルを用い、機械学習において、第３のモデルに第１の画像から抽出される第２の特徴量と、第１の特徴量とを入力して第３のモデルに第１の画像と第１のテキストとの関連度を推定させ、第３のモデルから出力される推定関連度が正解の関連度と一致するように、第１のモデル及び第３のモデルを訓練することを含む構成であってもよい。

【0019】

第３態様に係る言語特徴抽出モデルの生成方法は、第２態様に係る言語特徴抽出モデルの生成方法において、システムが、入力された第１の画像から第２の特徴量を抽出する第４のモデルを用い、機械学習において、第４のモデルに、第１の画像と位置情報とを入力して第４のモデルに第２の特徴量を出力させ、第３のモデルから出力される推定関連度と正解の関連度とが一致するように、第１のモデル、第３のモデル及び第４のモデルを訓練することを含む構成であってもよい。

【0020】

第４態様に係る言語特徴抽出モデルの生成方法は、第１態様に係る言語特徴抽出モデルの生成方法において、システムが、複数のテキストのそれぞれから抽出される言語特徴量の入力を受けて、複数のテキストの関連度を出力する第５のモデルを用い、機械学習において、第１のテキストとは別の第２のテキストを第１のモデルに入力することにより第１のモデルによって第２のテキストから抽出された第３の特徴量と、第１の特徴量とを第５のモデルに入力して第５のモデルに第１のテキストと第２のテキストとの関連度を推定させ、第５のモデルから出力される推定関連度と正解の関連度とが一致するように、第１のモデル及び第５のモデルを訓練することを含む構成であってもよい。

【0021】

第５態様に係る言語特徴抽出モデルの生成方法は、第１態様から第４態様のいずれか一態様に係る言語特徴抽出モデルの生成方法において、テキスト及び第１のテキストは、構造化されたテキストであってもよい。

【0022】

第６態様に係る言語特徴抽出モデルの生成方法は、第４態様に係る言語特徴抽出モデルの生成方法において、第２のテキストは、構造化されたテキストであってもよい。

【0023】

第７態様に係る言語特徴抽出モデルの生成方法は、第１態様から第６態様のいずれか一態様に係る言語特徴抽出モデルの生成方法において、システムが、第２のモデルにより推定された関心領域を表示させる処理を行うことを含む構成であってもよい。

【0024】

第８態様に係る言語特徴抽出モデルの生成方法は、第１態様から第７態様のいずれか一態様に係る言語特徴抽出モデルの生成方法において、位置情報は、第１の画像中の関心領域の位置を特定する座標情報を含む構成であってもよい。

【0025】

第９態様に係る言語特徴抽出モデルの生成方法は、第１態様から第８態様のいずれか一態様に係る言語特徴抽出モデルの生成方法において、第１の画像は、位置情報を含んだクロップ画像であってもよい。

【0026】

第１０態様に係る情報処理装置は、第１態様から第９態様のいずれか一態様に係る言語特徴抽出モデルの生成方法によって生成された言語特徴抽出モデルを含むプログラムが記憶される１つ以上の記憶装置と、プログラムを実行する１つ以上のプロセッサと、を備える。

【0027】

第１１態様に係る情報処理装置は、１つ以上のプロセッサと、１つ以上のプロセッサが実行する命令が記憶される１つ以上の記憶装置と、を備え、１つ以上のプロセッサは、画像中の関心領域を説明したテキストを取得し、第１のモデルにテキストを入力して第１のモデルからテキストの特徴を表す言語特徴量を出力させる処理を実行し、第１のモデルは、訓練用の第１の画像と、第１の画像中の関心領域に関する第１の位置情報と、関心領域を説明した第１のテキストと、を含む複数の訓練データを用いた機械学習により、第１のモデルに第１のテキストを入力して第１のモデルから第１のテキストの特徴を表す第１の特徴量を出力させ、第１のモデルとは異なる第２のモデルに第１の画像と第１の特徴量とを入力して第２のモデルに第１の画像中の関心領域を推定させ、第２のモデルから出力される推定関心領域と、第１の位置情報が示す正解の関心領域とが一致するように第１のモデル及び第２のモデルを訓練することによって得られるモデルである。

【0028】

第１２態様に係る情報処理装置は、第１０態様又は第１１態様に記載の情報処理装置において、１つ以上のプロセッサは、第２の画像から抽出される画像特徴量とテキストから抽出される言語特徴量とを第３のモデルに入力し、第３のモデルから第２の画像とテキストとの関連度を出力させる構成であってもよい。

【0029】

第１３態様に係る情報処理装置は、第１２態様に係る情報処理装置において、１つ以上のプロセッサは、第２の画像と第２の画像中の関心領域に関する第２の位置情報とを取得し、第４のモデルに第２の画像と第２の位置情報とを入力することにより、第４のモデルから画像特徴量を出力させる構成であってもよい。

【0030】

第１４態様に係る情報処理装置は、第１０態様又は第１１態様に係る情報処理装置において、１つ以上のプロセッサは、第１のモデルによって複数のテキストのそれぞれから抽出された言語特徴量を第５のモデルに入力し、第５のモデルから複数のテキストの関連度を出力させる構成であってもよい。

【0031】

第１５態様に係る情報処理装置は、第１０態様から第１４態様のいずれか一態様に係る情報処理装置において、テキスト及び第１のテキストは、構造化されたテキストであってもよい。

【0032】

第１６態様に係る情報処理方法は、１つ以上のプロセッサが、画像中の関心領域を説明したテキストを取得し、第１のモデルにテキストを入力して第１のモデルからテキストの特徴を表す言語特徴量を出力させる処理を実行し、第１のモデルは、訓練用の第１の画像と、第１の画像中の関心領域を説明した第１のテキストと、第１の画像中の関心領域に関する第１の位置情報と、を含む訓練データを用いた機械学習により、第１のモデルに第１のテキストを入力して第１のモデルから第１のテキストの特徴を表す第１の特徴量を出力させ、第１のモデルとは異なる第２のモデルに第１の画像と第１の特徴量とを入力して第２のモデルに第１の画像中の関心領域を推定させ、第２のモデルによって推定される関心領域と、第１の位置情報が示す関心領域とが一致するように第１のモデル及び第２のモデルを訓練することによって得られるモデルである。

【0033】

第１６態様に係る情報処理方法について、第２態様から第１５態様のいずれか一態様の情報処理装置と同様の具体的態様を含む構成とすることができる。

【0034】

第１７態様に係るプログラムは、画像に関連するテキストから特徴を抽出する機能をコンピュータに実現させるプログラムであって、コンピュータに、画像中の関心領域を説明したテキストを取得する機能と、第１のモデルにテキストを入力して第１のモデルからテキストの特徴を表す言語特徴量を出力させる機能と、を実現させ、第１のモデルは、訓練用の第１の画像と、第１の画像中の関心領域に関する第１の位置情報と、第１の画像中の関心領域を説明した第１のテキストと、を含む訓練データを用いた機械学習により、第１のモデルに第１のテキストを入力して第１のモデルから第１のテキストの特徴を表す第１の特徴量を出力させ、第１のモデルとは異なる第２のモデルに第１の画像と第１の特徴量とを入力して第２のモデルに第１の画像中の関心領域を推定させ、第２のモデルから出力される推定関心領域と、第１の位置情報が示す関心領域とが一致するように第１のモデル及び第２のモデルを訓練することによって得られるモデルである。

【0035】

第１７態様に係るプログラムについて、第２態様から第１５態様のいずれか一態様の情報処理装置と同様の具体的態様を含む構成とすることができる。

【発明の効果】

【0036】

本開示によれば、画像に関連するテキストから、画像中の関心領域の位置に関する特徴を含んだ特徴量を抽出し得る言語特徴抽出モデルを生成することができる。本開示の言語特徴抽出モデルの生成方法は、機械学習において正解データとしての特徴量を与える必要がなく、比較的少ない学習データであってもテキストと画像中の関心領域の位置との関係性を学習させることが可能であり、入力されたテキストから有用な特徴量を抽出し得る言語特徴抽出モデルを生成することができる。

【0037】

本開示の方法によって生成された言語特徴抽出モデルを用いることにより、画像中の位置情報が加味された特徴量を提供することが可能になる。本開示の言語特徴抽出モデルによって生成される特徴量は、画像とテキストと対応関係の推定や、テキスト同士の関連性の判別など、様々な用途の処理に利用することができる。

【図面の簡単な説明】

【0038】

【図1】図１は、本開示の実施形態に係る言語特徴抽出モデルの生成方法に用いられる学習（訓練）用のデータの例を示す説明図である。

【図2】図２は、第１実施形態に係る機械学習装置の機能的構成を概略的に示すブロック図である。

【図3】図３は、第１実施形態に係る機械学習装置のハードウェア構成の例を示すブロック図である。

【図4】図４は、第１実施形態に係る機械学習装置が実行する機械学習方法の例を示すフローチャートである。

【図5】図５は、学習済みの言語特徴抽出モデルを用いた機械学習装置の機能的構成を概略的に示すブロック図である。

【図6】図６は、第２実施形態に係る機械学習装置が実行する機械学習方法の例を示すフローチャートである。

【図7】図７は、第３実施形態に係る機械学習装置の機能的構成を概略的に示すブロック図である。

【図8】図８は、第３実施形態に係る機械学習装置のハードウェア構成の例を示すブロック図である。

【図9】図９は、第３実施形態に係る機械学習装置が実行する機械学習方法の例を示すフローチャートである。

【図10】図１０は、第４実施形態に係る機械学習装置の機能的構成の一部を示すブロック図である。

【図11】図１１は、第４実施形態に係る機械学習装置が実行する機械学習方法の例を示すフローチャートである。

【図12】図１２は、第５実施形態に係る情報処理装置の機能的構成を概略的に示すブロック図である。

【図13】図１３は、第５実施形態に係る情報処理装置のハードウェア構成の例を概略的に示すブロック図である。

【図14】図１４は、第６実施形態に係る情報処理装置の機能的構成を概略的に示すブロック図である。

【図15】図１５は、第７実施形態に係る機械学習装置の機能的構成を概略的に示すブロック図である。

【図16】図１６は、第７実施形態に係る機械学習装置のハードウェア構成の例を概略的に示すブロック図である。

【図17】図１７は、第７実施形態に係る機械学習装置が実行する機械学習方法のフローチャートである。

【図18】図１８は、第８実施形態に係る情報処理装置の機能的構成を概略的に示すブロック図である。

【図19】図１９は、第８実施形態に係る情報処理装置のハードウェア構成の例を示すブロック図である。

【図20】図２０は、第９実施形態に係る情報処理装置の機能的構成を概略的に示すブロック図である。

【発明を実施するための形態】

【0039】

以下、添付図面に従って本発明の好ましい実施形態について説明する。

【0040】

《機械学習に用いるデータの例》
図１は、本開示の実施形態に係る言語特徴抽出モデルの生成方法に用いられる学習（訓練）用のデータの例を示す説明図である。ここでは、医療画像診断に用いられる画像ＩＭｊと、画像ＩＭｊ内の関心領域ＲＯＩｊに関する位置情報ＴＰｊと、関心領域ＲＯＩｊについて記述された所見文ＴＸｊとを含む訓練データＴＤｊの例を説明する。なお「訓練データ」は「学習データ」と同義である。画像ＩＭｊ、関心領域ＲＯＩｊに関する位置情報ＴＰｊ及び所見文ＴＸｊは互いに関連付け（紐付け）されている。添字のｊは、関連付けされたデータ組の識別符号としてのインデックス番号を表す。医療画像診断における関心領域ＲＯＩｊとは主に病変領域である。

【0041】

画像ＩＭｊは、例えば、ＣＴ装置を用いて撮影されたＣＴ画像であってよい。図１では、被検者の肺を含む胸部領域を撮影して得られたＣＴ画像を例示しているが、撮影対象の部位は肺に限らず、心臓、肝臓、腎臓、脳など他の臓器を含む部位であってもよい。また、被検者を撮影して医療画像を生成する撮影装置は、ＣＴ装置に限らず、ＭＲＩ装置、ＰＥＴ装置、内視鏡装置など、他の種類のモダリティであってもよい。画像ＩＭｊは、２次元スライス断層画像を連続的に撮影して得られた３次元データから構成された３次元画像であってもよいし、２次元画像であってもよい。また、「画像」という用語は、画像データの意味を含む。

【0042】

関心領域ＲＯＩｊに関する位置情報ＴＰｊとは、画像ＩＭｊ中におけるＲＯＩｊの位置を特定し得る情報である。位置情報ＴＰｊは、画像ＩＭｊ中の座標を示す座標情報であってもよいし、画像ＩＭｊ中の領域又は範囲を示す情報であってもよく、これらの組み合わせであってもよい。位置情報ＴＰｊは、画像ＩＭｊに対するアノテーション情報として付与された情報であってもよいし、ＤＩＣＯＭ（Digital Imaging and Communications in Medicine）タグのような画像ＩＭｊに付属するメタ情報であってもよい。

【0043】

例えば、位置情報ＴＰｊは、ＲＯＩｊの範囲を囲む矩形の四隅の座標情報、ＲＯＩｊの重心点の座標情報、若しくはＲＯＩｊの領域を画素単位で特定したセグメンテーションマスク画像などであってもよい。あるいはまた、画像ＩＭｊ自体が関心領域ＲＯＩｊを切り出したクロップ画像である場合、クロップ画像として切り出された画像領域を特定可能であればクロップ画像そのものが位置情報ＴＰｊを内包しており、位置情報ＴＰｊを備えた画像ＩＭｊであると理解される。

【0044】

画像ＩＭｊは本開示における「第１の画像」の一例であり、位置情報ＴＰｊは本開示における「第１の位置情報」の一例である。

【0045】

所見文ＴＸｊは、例えば、読影レポートに記載された文章であってよい。所見文ＴＸｊは本開示における「第１のテキスト」の一例である。ここでは、所見文ＴＸｊとして、構造化される前の自由記述型の文章形式による非構造化データであるテキストを例示するが、文章の構造解析によって構造化された構造化データを用いることも可能である。

【0046】

このような訓練データＴＤｊは、病院などの医療機関における過去の検査事例に係る医療画像及び読影レポートのデータが関連付けされて蓄積保存されるデータベースから適当なデータをサンプリングして生成することができる。

【0047】

《第１実施形態：言語特徴抽出モデルを生成する方法の例１》
〔機械学習装置の構成例〕
図２は、第１実施形態に係る機械学習装置１０の機能的構成を概略的に示すブロック図である。機械学習装置１０は、第１の学習モデルである言語特徴抽出モデル１２と、第２の学習モデルである領域推定モデル１４と、損失演算部１６と、パラメータ更新部１８とを含む。機械学習装置１０の各部の機能は、コンピュータのハードウェアとソフトウェアとの組み合わせによって実現し得る。機械学習装置１０は、１台又は複数台のコンピュータを含むコンピュータシステムによって構成されてもよい。機械学習装置１０は本開示における「システム」の一例である。

【0048】

言語特徴抽出モデル１２には、例えば、ＢＥＲＴ（Bidirectional Encoder Representations from Transformers）と呼ばれる自然言語処理モデルが適用される。言語特徴抽出モデル１２は、テキストである所見文ＴＸｊの入力を受け付け、入力された所見文ＴＸｊに対応する特徴量を抽出して言語特徴ベクトル（所見特徴ベクトル）である所見特徴ＬＦＶｊを出力する。言語特徴抽出モデル１２は本開示における「第１のモデル」の一例である。所見特徴ＬＦＶｊは本開示における「第１の特徴量」の一例である。

【0049】

領域推定モデル１４には、例えば、畳み込みニューラルネットワーク（Convolutional Neural Network：ＣＮＮ）が適用される。領域推定モデル１４は、画像ＩＭｊと、言語特徴ベクトルＬＦＶｊとの入力を受け付け、入力された所見文ＴＸｊで言及している画像ＩＭｊ内の病変領域を推定し、推定した病変領域の位置を示す推定領域情報ＰＡｊを出力する。推定領域情報ＰＡｊは、例えば、推定した病変領域の範囲を囲む矩形（バウンディングボックス）の位置を特定する座標情報であってもよいし、推定した病変領域を画素単位で特定するセグメンテーションマスク画像などであってもよい。領域推定モデル１４は本開示における「第２のモデル」の一例である。領域推定モデル１４から出力された推定領域情報ＰＡｊよって示される病変領域は本開示における「推定関心領域」の一例である。

【0050】

損失演算部１６は、領域推定モデル１４から出力された推定領域情報ＰＡｊに示される推定病変領域と、画像ＩＭｊに紐付けされている正解の位置情報ＴＰｊが示す正解の関心領域ＲＯＩｊとの誤差を示す損失（ロス）を算出する。

【0051】

パラメータ更新部１８は、損失演算部１６によって算出された損失に基づいて、損失が小さくなるように、領域推定モデル１４及び言語特徴抽出モデル１２の各モデルのパラメータの更新量を算出し、算出した更新量にしたがい各モデルのパラメータを更新する。各モデルのパラメータは、ニューラルネットワークの各層の処理に用いるフィルタのフィルタ係数（ノード間の結合の重み）及びノードのバイアスなどを含む。パラメータ更新部１８は、例えば確率的勾配降下法（Stochastic Gradient Descent：ＳＧＤ）などの手法により、各モデルのパラメータの最適化を行う。

【0052】

図３は、機械学習装置１０のハードウェア構成の例を示すブロック図である。機械学習装置１０は、プロセッサ１０２と、非一時的な有体物であるコンピュータ可読媒体１０４と、通信インターフェース１０６と、入出力インターフェース１０８と、バス１１０とを備える。プロセッサ１０２は、バス１１０を介してコンピュータ可読媒体１０４、通信インターフェース１０６及び入出力インターフェース１０８と接続される。

【0053】

機械学習装置１０の形態は、特に限定されず、サーバであってもよいし、ワークステーションやパーソナルコンピュータなどであってもよい。

【0054】

プロセッサ１０２はＣＰＵ（Central Processing Unit）を含む。プロセッサ１０２はＧＰＵ（Graphics Processing Unit）を含んでもよい。コンピュータ可読媒体１０４は、主記憶装置であるメモリ１１２及び補助記憶装置であるストレージ１１４を含む。コンピュータ可読媒体１０４は、例えば、半導体メモリ、ハードディスク（Hard Disk Drive：ＨＤＤ）装置、もしくはソリッドステートドライブ（Solid State Drive：ＳＳＤ）装置又はこれらの複数の組み合わせであってよい。コンピュータ可読媒体１０４は本開示における「記憶装置」の一例である。

【0055】

機械学習装置１０は、さらに、入力装置１５２と、表示装置１５４とを備えていてもよい。入力装置１５２は、例えば、キーボード、マウス、マルチタッチパネル、もしくはその他のポインティングデバイス、もしくは、音声入力装置、又はこれらの適宜の組み合わせによって構成される。表示装置１５４は、例えば、液晶ディスプレイ、有機ＥＬ（organic electro-luminescence:ＯＥＬ）ディスプレイ、もしくは、プロジェクタ、又はこれらの適宜の組み合わせによって構成される。入力装置１５２と表示装置１５４とは、入出力インターフェース１０８を介してプロセッサ１０２と接続される。

【0056】

機械学習装置１０は、通信インターフェース１０６を介して不図示の電気通信回線に接続され得る。電気通信回線は、広域通信回線であってもよいし、構内通信回線であってもよく、これらの組み合わせであってもよい。

【0057】

機械学習装置１０は、通信インターフェース１０６を介して訓練データ保存部６００などの外部装置と通信可能に接続される。訓練データ保存部６００は、複数の訓練データＴＤｊを含む訓練データセットが保存されているストレージを含む。なお、訓練データ保存部６００は、機械学習装置１０内のストレージ１１４に構築されてもよい。

【0058】

コンピュータ可読媒体１０４には、学習処理プログラム１３０及び表示制御プログラム１４０を含む複数のプログラム及びデータ等が記憶される。「プログラム」という用語はプログラムモジュールの概念を含む。プロセッサ１０２は、コンピュータ可読媒体１０４に記憶されたプログラムの命令を実行することにより、各種の処理部として機能する。

【0059】

学習処理プログラム１３０は、訓練データＴＤｊを取得して言語特徴抽出モデル１２及び領域推定モデル１４の学習処理を実行させる命令を含む。すなわち、学習処理プログラム１３０は、データ取得プログラム１３２、言語特徴抽出モデル１２、領域推定モデル１４、損失算出プログラム１３６及びオプティマイザ１３８を含む。データ取得プログラム１３２は、訓練データ保存部６００から訓練データＴＤｊを取得する処理を実行させる命令を含む。

【0060】

損失算出プログラム１３６は、領域推定モデル１４から出力された病変領域の位置を示す情報が示す推定領域情報と、言語特徴抽出モデル１２に入力した所見文ＴＸｊに対応する正解の位置情報ＴＰｊとの誤差を示す損失を算出する処理を実行させる命令を含む。オプティマイザ１３８は、算出された損失から領域推定モデル１４及び言語特徴抽出モデル１２の各モデルのパラメータの更新量を算出し、各モデルのパラメータを更新する処理を実行させる命令を含む。

【0061】

表示制御プログラム１４０は、表示装置１５４への表示出力に必要な表示用信号を生成し、表示装置１５４の表示制御を実行させる命令を含む。

【0062】

〔機械学習方法の概要〕
図４は、第１実施形態に係る機械学習装置１０が実行する機械学習方法の例を示すフローチャートである。
図４のフローチャートを実行する前に、訓練用の画像ＩＭｊと、画像ＩＭｊ中のある関心領域ＲＯＩｊを説明したテキストである所見文ＴＸｊと、関心領域ＲＯＩｊに関する位置情報ＴＰｊとが紐付けされたデータの組である訓練データＴＤｊを複数組用意して、訓練用のデータセットを準備しておく。

【0063】

ステップＳ１００において、プロセッサ１０２は、訓練用のデータセットから画像ＩＭｊと、画像ＩＭｊ中の関心領域ＲＯＩｊに関する位置情報ＴＰｊと、関心領域ＲＯＩｊを説明した所見文ＴＸｊとを含むデータ組を取得する。

【0064】

ステップＳ１１０において、プロセッサ１０２は、所見文ＴＸｊを言語特徴抽出モデル１２に入力し、言語特徴抽出モデル１２に所見文ＴＸｊの特徴量を示す所見特徴ＬＦＶｊを抽出させ、言語特徴抽出モデル１２から所見特徴ＬＦＶｊの出力を得る。所見特徴ＬＦＶｊは、所見文ＴＸｊを特徴ベクトル化して得られる言語特徴ベクトルで表現される。

【0065】

ステップＳ１２０において、プロセッサ１０２は、言語特徴抽出モデル１２が出力した所見特徴ＬＦＶｊと、所見文ＴＸｊに紐付けされた画像ＩＭｊとを領域推定モデル１４に入力し、所見文ＴＸｊで言及している画像ＩＭｊ中の関心領域（病変領域）を領域推定モデル１４に推定させる。領域推定モデル１４は、入力された所見特徴ＬＦＶｊと画像ＩＭｊとから推定した推定領域情報ＰＡｊを出力する。

【0066】

ステップＳ１３０において、プロセッサ１０２は、領域推定モデル１４によって推定された病変領域の推定領域情報ＰＡｊと正解の関心領域ＲＯＩｊの位置情報ＴＰｊとの誤差を示す損失を算出する。

【0067】

ステップＳ１４０において、プロセッサ１０２は、損失を最小化するように、言語特徴抽出モデル１２及び領域推定モデル１４の各モデルのパラメータ更新量を算出する。

【0068】

そして、ステップＳ１５０において、プロセッサ１０２は、算出したパラメータ更新量に従い、言語特徴抽出モデル１２及び領域推定モデル１４の各モデルのパラメータを更新する。なお、損失を最小化するように各モデルを訓練することは、領域推定モデル１４によって推定される推定病変領域が正解の関心領域ＲＯＩｊと一致するように（両者の誤差が小さくなるように）各モデルを訓練することを意味している。上述したステップＳ１００からステップＳ１５０の動作はミニバッチの単位で実施されてもよい。

【0069】

ステップＳ１５０の後、ステップＳ１６０において、プロセッサ１０２は、学習を終了するか否かを判定する。学習の終了条件は、損失の値に基づいて定められていてもよいし、パラメータの更新回数に基づいて定められていてもよい。損失の値に基づく方法としては、例えば、損失が規定の範囲内に収束していることを学習終了条件としてよい。また、更新回数に基づく方法としては、例えば、更新回数が規定回数に到達したことを学習終了条件としてよい。あるいは、訓練データとは別にモデルの性能評価用のデータセットを用意しておき、評価用のデータを用いた評価値に基づいて学習終了の可否を判定してもよい。

【0070】

ステップＳ１６０の判定結果がＮｏ判定である場合、プロセッサ１０２はステップＳ１００に戻り、学習処理を継続する。一方、ステップＳ１６０の判定結果がＹｅｓ判定である場合、プロセッサ１０２は図４のフローチャートを終了する。

【0071】

こうして、生成された学習済み（訓練済み）の言語特徴抽出モデル１２は、所見文の入力を受けて、その所見文が言及している画像中の病変領域（関心領域）に関する位置の情報が埋め込まれた所見特徴（特徴ベクトル）を出力し得るモデルとなる。つまり、言語特徴抽出モデル１２が出力する所見特徴には、画像中の病変領域に関する位置を特定するために必要な情報が埋め込まれる。機械学習装置１０が実行する機械学習方法は、所見文に記述された画像中の病変領域の位置を特定する情報を含んだ言語特徴ベクトルを出力する言語特徴抽出モデル１２を生成する方法と理解することができ、本開示における「言語特徴抽出モデルの生成方法」の一例である。

【0072】

《第２実施形態：言語特徴抽出モデルの活用例１》
図５は、学習済みの言語特徴抽出モデル１２Ｅを用いた機械学習装置２０の機能的構成を概略的に示すブロック図である。図５に示す機械学習装置２０は、画像中の関心領域に関する位置情報を備えた画像と、関心領域について説明した所見文との対応関係を判別するクロスモーダル特徴統合モデル２４を生成するための学習処理を実行する。

【0073】

機械学習装置２０は、言語特徴抽出モデル１２Ｅと、画像特徴抽出モデル２２と、クロスモーダル特徴統合モデル２４と、損失演算部２６と、パラメータ更新部２８とを含む。

【0074】

訓練用のデータセットは、第１実施形態で用いたデータセットと同様であってよい。画像特徴抽出モデル２２には、例えば、ＣＮＮが適用される。画像特徴抽出モデル２２は、画像ＩＭｊと画像内の関心領域ＲＯＩｊに関する位置情報ＴＰｊとの入力を受け付け、画像ＩＭｊの特徴量を示す画像特徴ＩＦＶｊを出力する。画像特徴ＩＦＶｊは、画像ＩＭｊを特徴ベクトル化して得られる画像特徴ベクトルで表現されてもよい。画像特徴ＩＦＶｊは、複数チャンネルの特徴マップであってもよい。

【0075】

言語特徴抽出モデル１２Ｅは、所見文ＴＸｉの入力を受けて、対応する所見特徴ＬＦＶｉを出力するように訓練された学習済みモデルである。言語特徴抽出モデル１２Ｅに入力される所見文ＴＸｉは、画像ＩＭｊに紐付けされている所見文ＴＸｊ（ｉ＝ｊ）である場合に限らず、画像ＩＭｊに紐付けされていない所見文（ｉ≠ｊ）である場合もあり得る。

【0076】

クロスモーダル特徴統合モデル２４は、画像特徴ＩＦＶｊと所見特徴ＬＦＶｊとの入力を受け付け、両者の関連性を示す関連度スコアを出力する。関連度スコアは、関連性の程度を示す数値であってよく、例えば、関連性がない場合を「０」、関連性がある場合を「１」として０から１の範囲の数値により関連性の確信度を示してもよい。

【0077】

損失演算部２６は、クロスモーダル特徴統合モデル２４から出力された関連度スコアと、正解の関連度スコアとの誤差を示す損失を算出する。画像特徴抽出モデル２２と言語特徴抽出モデル１２Ｅとに対して画像ＩＭｊとこれに紐付けされた所見文ＴＸｉ（ｉ＝ｊ）との組み合わせが入力される場合、正解関連度スコアは「１」と定められてよい。一方、画像特徴抽出モデル２２と言語特徴抽出モデル１２Ｅとに対して画像ＩＭｊと紐付けされていない無関係な所見文ＴＸｉ（ｉ≠ｊ）との組み合わせが入力される場合、正解関連度スコアは「０」と定められてよい。

【0078】

パラメータ更新部２８は、損失演算部２６にて算出される損失が最小化するように、クロスモーダル特徴統合モデル２４と画像特徴抽出モデル２２との各モデルのパラメータの更新量を算出し、算出した更新量に従い各モデルのパラメータを更新する。

【0079】

機械学習装置２０のハードウェア構成は、図３に示した例と同様であってよく、図３の領域推定モデル１４の代わりに、クロスモーダル特徴統合モデル２４を含み、損失算出プログラム１３６が算出する損失の損失関数と、オプティマイザ１３８によりパラメータの更新する対象のモデルが図３の例と異なる。

【0080】

〔機械学習方法の概要〕
図６は、第２実施形態に係る機械学習装置２０が実行する機械学習方法の例を示すフローチャートである。 ステップＳ１０１において、プロセッサ１０２は、訓練用のデータセットから画像ＩＭｊと、画像ＩＭｊ中の関心領域ＲＯＩｊに関する位置情報ＴＰｊと、関心領域ＲＯＩｉについて説明した（記述された）所見文ＴＸｉとのデータ組を取得する。このとき取得されたデータ組においてｉ＝ｊである場合、プロセッサ１０２は、正解関連度スコアとして「１」を取得し、ｉ≠ｊである場合、正解関連度スコアとして「０」を取得する。

【0081】

ステップＳ１１１において、プロセッサ１０２は、所見文ＴＸｉを言語特徴抽出モデル１２Ｅに入力し、言語特徴抽出モデル１２Ｅに所見特徴ＬＦＶｉを抽出させる。

【0082】

ステップＳ１１２において、プロセッサ１０２は、画像ＩＭｊと、画像ＩＭｊ中の関心領域ＲＯＩｊに関する位置情報ＴＰｊとを画像特徴抽出モデル２２に入力し、画像特徴抽出モデル２２に画像特徴ＩＦＶｊを抽出させる。

【0083】

ステップＳ１１４において、プロセッサ１０２は、画像特徴抽出モデル２２から出力された画像特徴ＩＦＶｊと、言語特徴抽出モデル１２Ｅから出力された所見特徴ＬＦＶｉとをクロスモーダル特徴統合モデル２４に入力し、クロスモーダル特徴統合モデル２４に関連度スコアを推定させる。画像特徴抽出モデル２２に画像特徴ＩＦＶｊを抽出させる。

【0084】

その後、ステップＳ１２８において、プロセッサ１０２は、クロスモーダル特徴統合モデル２４から出力された関連度スコア（推定値）と、正解関連度スコアとの誤差を示す損失を算出する。

【0085】

そして、ステップＳ１４２において、プロセッサ１０２は、算出された損失が最小化するように、画像特徴抽出モデル２２及びクロスモーダル特徴統合モデル２４の各モデルのパラメータ更新量を算出する。

【0086】

ステップＳ１５２において、プロセッサ１０２は、算出されたパラメータ更新量に従い、画像特徴抽出モデル２２及びクロスモーダル特徴統合モデル２４の各モデルのパラメータを更新する。

【0087】

図６に示すステップＳ１０１～ステップＳ１５２の動作は、ミニバッチの単位で実施されてもよい。

【0088】

ステップＳ１５２の後、ステップＳ１６０において、プロセッサ１０２は、学習を終了するか否かを判定する。

【0089】

ステップＳ１６０の判定結果がＮｏ判定である場合、プロセッサ１０２はステップＳ１０１に戻り、学習処理を継続する。一方、ステップＳ１６０の判定結果がＹｅｓ判定である場合、プロセッサ１０２は図６のフローチャートを終了する。

【0090】

このように各モデルを学習させることにより、入力された画像と所見文とが対応するか（関連性があるか否か）を精度よく判定し得る関連度判定ＡＩを構築することが可能である。

【0091】

《第３実施形態：言語特徴抽出モデルを生成する方法の例２》
上述の第２実施形態では、学習済みの言語特徴抽出モデル１２Ｅのパラメータを固定としたが、第１実施形態で説明した機械学習方法と第２実施形態で説明した機械学習方法とを組み合わせて、言語特徴抽出モデル１２、領域推定モデル１４、画像特徴抽出モデル２２及びクロスモーダル特徴統合モデル２４の４つのモデルを同時に学習させる構成を採用してもよい。図７～９にその例を示す。

【0092】

図７は、第３実施形態に係る機械学習装置３０の機能的構成を概略的に示すブロック図である。図７に示す構成において、図２及び図５に示す構成と同一又は類似の要素には同一の符号を付し、重複する説明は省略する。

【0093】

機械学習装置３０は、言語特徴抽出モデル１２、領域推定モデル１４、画像特徴抽出モデル２２、クロスモーダル特徴統合モデル２４、損失演算部１６、２６及びパラメータ更新部２８Ａを含む。クロスモーダル特徴統合モデル２４は本開示における「第３のモデル」の一例であり、画像特徴抽出モデル２２は本開示における「第４のモデル」の一例である。画像特徴抽出モデル２２が出力する画像特徴ＩＦＶｊは本開示における「第２の特徴量」の一例である。

【0094】

パラメータ更新部２８Ａは、損失演算部１６によって算出される第１の損失と、損失演算部２６によって算出される第２の損失とを統合して得られる第３の損失に基づいて、言語特徴抽出モデル１２、領域推定モデル１４、画像特徴抽出モデル２２及びクロスモーダル特徴統合モデル２４の各モデルのパラメータ更新量を算出し、各モデルのパラメータを更新する。第１の損失と第２の損失とを統合する方法は、例えば、第１の損失と第２の損失の和、平均、又は重み付け平均などであってよい。

【0095】

すなわち、クロスモーダル特徴統合モデル２４が推定する関連度スコアと、領域推定モデル１４が推定する病変領域（関心領域）のそれぞれの出力が正しくなるように（正解に近づくように）、全てのモデルを学習させる。

【0096】

クロスモーダル特徴統合モデル２４から出力される関連度スコアは本開示における「推定関連度」の一例である。なお、図７では、損失演算部１６と損失演算部２６とを区別して示しているが、損失演算部１６、２６は共通の演算部であってもよく、領域推定モデル１４の出力に対して損失演算部１６によって算出される第１の損失と、クロスモーダル特徴統合モデル２４の出力に対して損失演算部２６によって算出される第２の損失とを統合して第３の損失を算出する演算機能を備えていてもよい。

【0097】

このような機械学習方法を採用して、４つのモデルを同時に学習させることにより、領域推定モデル１４の出力から算出される第１の損失と、クロスモーダル特徴統合モデル２４の出力から算出される第２の損失とのそれぞれが、言語特徴抽出モデル１２及び画像特徴抽出モデル２２の学習にもフィードバックされるため各モデルの性能が向上する。

【0098】

第３実施形態によれば、言語特徴抽出モデル１２から出力される所見特徴に画像中の関心領域の位置に関する特徴が埋め込まれるため、かかる所見特徴を用いてクロスモーダル特徴統合モデル２４を訓練することにより、所見文と、所見文が説明している画像中の関心領域（病変領域）とを正しく紐付ける（関連付ける）ことができるようになる。

【0099】

また、図７に示す構成は、第１実施形態により学習済みの言語特徴抽出モデル１２Ｅをファインチューニングする場合にも適用できる。

【0100】

図８は、第３実施形態に係る機械学習装置３０のハードウェア構成の例を示すブロック図である。図８に示す構成について図３と異なる点を説明する。機械学習装置３０のハードウェア構成は、図３に示した例と同様であってよく、図３の学習処理プログラム１３０の代わりに、学習処理プログラム２３０を含む、学習処理プログラム２３０は、訓練に用いるデータ組を取得して言語特徴抽出モデル１２、領域推定モデル１４、画像特徴抽出モデル２２及びクロスモーダル特徴統合モデル２４の全てのモデルの学習処理を実行させる命令を含む。学習処理プログラム２３０は、データ取得プログラム２３２と、言語特徴抽出モデル１２と、領域推定モデル１４と、画像特徴抽出モデル２２と、クロスモーダル特徴統合モデル２４と、損失算出プログラム２３６と、オプティマイザ２３８とを含む。

【0101】

データ取得プログラム２３２は、訓練データ保存部６００から訓練用のデータ組を取得する処理を実行させる命令を含む。損失算出プログラム２３６は、領域推定モデル１４から出力された推定領域情報と正解の位置情報ＴＰｉとの誤差を示す第１の損失を算出する処理と、クロスモーダル特徴統合モデル２４から出力された関連度スコアと正解関連度スコアとの誤差を示す第２の損失を算出する処理と、第１の損失及び第２の損失を統合して第３の損失を算出する処理とを実行させる命令を含む。オプティマイザ２３８は、算出された第３の損失から領域推定モデル１４及び言語特徴抽出モデル１２の各モデルのパラメータの更新量を算出し、各モデルのパラメータを更新する処理を実行させる命令を含む。その他の構成は、図３に示す機械学習装置１０の構成と同様であってよい。

【0102】

〔機械学習方法の概要〕
図９は、第３実施形態に係る機械学習装置３０が実行する機械学習方法の例を示すフローチャートである。図９に示すフローチャートおいて、図４及び図６に示すフローチャートと共通するステップには同一のステップ番号を付し、重複する説明は省略する。

【0103】

図９に示すフローチャートは、図４に示すフローチャートのステップＳ１１０とＳ１２０との間にステップＳ１１２及びステップＳ１１４を含む。

【0104】

また、図４のステップＳ１２０とＳ１３０との間にステップＳ１２８を含み、図４のステップＳ１４０及びステップＳ１５０の代わりに、ステップＳ１４４及びステップＳ１５４を含む。

【0105】

ステップＳ１４４において、プロセッサ１０２は、ステップＳ１２８にて算出された損失とステップＳ１３０にて算出された損失とを統合した損失に基づき、損失が小さくなるように、画像特徴抽出モデル２２、クロスモーダル特徴統合モデル２４、言語特徴抽出モデル１２、及び領域推定モデル１４の各モデルのパラメータ更新量を算出する。

【0106】

ステップＳ１５４において、プロセッサ１０２は、算出されたパラメータ更新量に従い、各モデルのパラメータを更新する。その他のステップは、図４と同様であってよい。

【0107】

〔第３実施形態の変形例〕
第３実施形態の変形例として、例えば、画像特徴抽出モデル２２については、学習済みのモデルを適用して学習の対象外とし、言語特徴抽出モデル１２、領域推定モデル１４、及びクロスモーダル特徴統合モデル２４の３つのモデルについて、学習によるパラメータの更新を行う構成も可能である。

【0108】

《第４実施形態：構造化されたテキストを特徴ベクトル化する例》
上述した第１実施形態から第３実施形態では、文章形式の所見文のテキストを言語特徴抽出モデル１２、１２Ｅへの入力として用いる例を説明したが、言語特徴抽出モデル１２、１２Ｅへの入力は、文章形式のテキストに限らず、文章の構造解析によって得られる構造化されたテキストであってもよい。構造化されたテキストは、例えば、ＣＳＶ（Comma Separated Value）形式の構造化データであってもよい。

【0109】

訓練用のデータセットにおいて、所見文ＴＸｊの代わりに、又は、所見文ＴＸｊに加えて、構造化されたテキスト（構造化所見）が用意されていてもよいし、言語特徴抽出モデル１２、１２Ｅに対する入力の前処理として、所見文の構造解析を行い、構造化データに変換してもよい。

【0110】

図１０は、第４実施形態に係る機械学習装置３２の機能的構成の一部を示すブロック図である。機械学習装置３２は、言語特徴抽出モデル１２への入力の前処理を行う処理部として文章構造解析部４０を備える。文章構造解析部４０は、文章形式の所見文ＴＸｊの入力を受け付け、所見文ＴＸｊの構造解析を行い、所見文ＴＸｊを構造化した構造化データＴＳｊを生成する。図１０には示さないが、機械学習装置３２の他の構成は、機械学習装置１０、機械学習装置２０、又は機械学習装置３０と同様であってよい。機械学習装置３２のコンピュータ可読媒体１０４には、文章構造解析プログラムが記憶される。

【0111】

〔機械学習方法の例〕
図１１は、機械学習装置３２が実行する機械学習方法の例を示すフローチャートである。ここでは、図７～図８で説明した機械学習装置３０の構成に、図１０の構成が追加された機械学習装置３２による機械学習方法の例を説明する。図１１に示すフローチャートについて、図９に示すフローチャートと共通するステップには同一のステップ番号を付し、重複する説明は省略する。

【0112】

図１１においては、図９のステップＳ１１０の代わりに、ステップＳ１０２及びＳ１１１を含む。

【0113】

ステップＳ１００の後、ステップＳ１０２において、プロセッサ１０２は、文章形式の所見文ＴＸｊについて構造解析を行い、所見文ＴＸｊを構造化する。

【0114】

その後、ステップＳ１１１において、プロセッサ１０２は、構造化されたテキスト（構造化所見を言語特徴抽出モデル１２に入力し、所見特徴ＬＦＶｊを生成する。その後の処理は図９に示すフローチャートと同様であってよい。

【0115】

〔第４実施形態の変形例〕
訓練用のデータセットにおいて、予め所見文ＴＸｊに対応する構造化データＴＳｊが用意されている場合、図９に示すフローチャートのステップＳ１００において所見文ＴＸｊを取得する代わりに、構造化所見（構造化データＴＳｊ）を取得すればよい。

【0116】

《第５実施形態：学習済み言語特徴抽出モデルの活用例２》
第５実施形態では、第４実施形態の構成を適用した第３実施形態の方法によって学習された言語特徴抽出モデル１２、画像特徴抽出モデル２２、クロスモーダル特徴統合モデル２４を用いた情報処理装置５０の例を説明する。

【0117】

図１２は、第５実施形態に係る情報処理装置５０の機能的構成を概略的に示すブロック図である。情報処理装置５０は、データ取得部５２と、文章構造解析部５４と、言語特徴抽出器１３と、画像特徴抽出器２３と、クロスモーダル特徴統合器２５と、判定結果出力部５６とを含む。情報処理装置５０の各部の機能は、コンピュータのハードウェアとソフトウェアとの組み合わせによって実現し得る。情報処理装置５０は、１台又は複数台のコンピュータを含むコンピュータシステムによって構成されてもよい。情報処理装置５０の形態は、特に限定されず、サーバであってもよいし、ワークステーションやパーソナルコンピュータなどであってもよく、タブレット端末などであってもよい。情報処理装置５０は、例えば、読影に用いられるビューワ端末などであってもよい。

【0118】

データ取得部５２は、処理対象の画像ＩＭｘと、画像ＩＭｘ中の関心領域ＲＯＩｘに関する位置情報ＴＰｘと、画像ＩＭｘと紐付けされていない所見文ＴＸｙとを取得する。これらのデータは、不図示のデータサーバ等から取り込まれてもよい。画像ＩＭｘは本開示における「第２の画像」の一例であり、位置情報ＴＰｘは本開示における「第２の位置情報」の一例である。所見文ＴＸｙは本開示における「テキスト」の一例である。

【0119】

画像特徴抽出器２３は、学習済み画像特徴抽出モデル２２を適用した処理部である。画像ＩＭｘと、画像ＩＭｘ中の関心領域ＲＯＩｘに関する位置情報ＴＰｘとは画像特徴抽出器２３に入力される。画像特徴抽出器２３は、画像ＩＭｘと、関心領域ＲＯＩｘに関する位置情報ＴＰｘとの入力を受けて、画像特徴ＩＦＶｘを出力する。画像特徴ＩＦＶｘは本開示における「画像特徴量」の一例である。

【0120】

一方、データ取得部５２を介して取得された所見文ＴＸｙは文章構造解析部５４に入力され、構造化データＴＳｙに変換される。文章構造解析部５４は、図４０で説明した文章構造解析部４０と同様の処理部であってよい。文章構造解析部５４は、所見文ＴＸｙの構造解析を行い、構造化されたテキスト（構造化所見）である構造化データＴＳｙを出力する。

【0121】

言語特徴抽出器１３は、学習済み言語特徴抽出モデル１２を適用した処理部である。所見文ＴＸｙに対応する構造化データＴＳｙは、言語特徴抽出器１３に入力される。言語特徴抽出器１３は、構造化データＴＳｙの入力を受けて、所見特徴ＬＦＶｙを出力する。予見特徴ＬＦＶｙは本開示における「言語特徴量」の一例である。

【0122】

こうして生成された所見特徴ＬＦＶｙと画像特徴ＩＦＶｘとはクロスモーダル特徴統合器２５に入力される。クロスモーダル特徴統合器２５は、学習済みのクロスモーダル特徴統合モデル２４を適用した処理部である。クロスモーダル特徴統合器２５は、所見特徴ＬＦＶｙと画像特徴ＩＦＶｘとの入力を受けて、画像ＩＭｘ中の関心領域ＲＯＩｘと所見文ＴＸｙとの関連性を判定する。クロスモーダル特徴統合器２５は、関連性の有無を判定して「関連性有り」又は「関連性無し」の判定結果を出力してもよいし、関連性の度合いを示す評価値（関連度スコア）を出力してもよい。

【0123】

判定結果出力部５６は、クロスモーダル特徴統合器２５による判定結果を出力する処理を行う。判定結果出力部５６は、例えば、判定結果を表示させる処理、判定結果をデータベース等に記録する処理、判定結果を印刷させる処理及び判定結果を外部装置に送信する処理のうち少なくとも１つの処理を行う構成であってよい。

【0124】

図１３は、情報処理装置５０のハードウェア構成の例を概略的に示すブロック図である。情報処理装置５０は、プロセッサ５０２と、コンピュータ可読媒体５０４と、通信インターフェース５０６と、入出力インターフェース５０８と、バス５１０と、を備える。コンピュータ可読媒体５０４は、メモリ５１２とストレージ５１４とを含む。また、情報処理装置５０は、入力装置５５２及び表示装置５５４を備える。情報処理装置５０におけるこれらの要素は、図３で説明した機械学習装置１０の対応する要素と同様の構成であってよい。

【0125】

コンピュータ可読媒体５０４には、データ取得プログラム５３２と、文章構造解析プログラム５３４と、言語特徴抽出モデル１２Ｅと、画像特徴抽出モデル２２Ｅと、クロスモーダル特徴統合モデル２４Ｅと、判別結果提示プログラム５３６と、表示制御プログラム５４０とを含む各種のプログラムやデータ等が記憶される。

【0126】

データ取得プログラム５３２は、処理対象のデータを取得する処理を実行させる命令を含む。文章構造解析プログラム５３４は、入力された文章の構造解析を行い、構造化されたテキストのデータ（構造化データ）を生成する処理を実行させる命令を含む。

【0127】

言語特徴抽出モデル１２Ｅ、画像特徴抽出モデル２２Ｅ及びクロスモーダル特徴統合モデル２４Ｅのそれぞれは、第３実施形態及び第４実施形態で説明した方法によって言語特徴抽出モデル１２、画像特徴抽出モデル２２及びクロスモーダル特徴統合モデル２４を学習させて得られた学習済みモデルである。

【0128】

判別結果提示プログラム５３６は、クロスモーダル特徴統合モデル２４Ｅから出力された判定結果を提示する出力処理を実行させる命令を含む。

【0129】

また、コンピュータ可読媒体５０４は、文章構造解析プログラム５３４の解析結果である構造化データを含む解析情報を記憶する解析情報記憶領域５３８を含む。構造化されたテキストのデータは、文章形式の所見文と関連付けされて保存されてもよい。

【0130】

情報処理装置５０は、通信インターフェース５０６を介して医療画像保存部６１０及びレポート保存部６１２と接続され得る。医療画像保存部６１０は、例えば、ＰＡＣＳ（Picture Archiving and Communication Systems)に代表される医用画像管理システムにおけるストレージであってよい。医療画像保存部６１０は、ＤＩＣＯＭの規格に準じて医療画像を保存するＤＩＣＯＭサーバであってもよい。

【0131】

レポート保存部６１２は、医療画像診断において医師によって作成された所見文を含む読影レポートを保存管理するレポート保存サーバであってもよい。あるいはまた、医療画像保存部６１０及びレポート保存部６１２として機能を併せ持つ医療データ保存サーバであってもよい。

【0132】

情報処理装置５０によれば、画像と紐付けされていない所見文と、画像との関連性を判別し、関連性があると判別された画像と所見文との紐付けを行うことが可能になる。情報処理装置５０が実行する処理の方法は、本開示における「情報処理方法」の一例である。

【0133】

〔第５実施形態の変形例１〕
図１２では、言語特徴抽出器１３が構造化所見の入力を受け付ける例を説明したが、これに限らず、言語特徴抽出器１３は、文章形式の所見文の入力を受け付ける構成であってもよい。この場合、図１２における文章構造解析部５４は削除されてよい。

【0134】

〔第５実施形態の変形例２〕
図７等で説明した領域推定モデル１４は、言語特徴抽出モデル１２の学習を行うための補助的な手段として用いられ、学習後には領域推定モデル１４を分離して、学習済みの言語特徴抽出モデル１２を活用する例を説明したが、学習時と同様に、学習済みの領域推定モデル１４を学習済みの言語特徴抽出モデル１２と組み合わせて病変領域推定ＡＩとして利用することも可能である。この病変領域推定ＡＩは、画像と、画像に関連する所見文との入力を受け付け、所見文で言及している画像中の病変領域の推定結果を出力することができる。

【0135】

《第６実施形態：学習済み言語特徴抽出モデルの活用例３》
図１４は、第６実施形態に係る情報処理装置６０の機能的構成を概略的に示すブロック図である。情報処理装置６０は、読影レポートが作成された際に、レポートに記載された所見文の構造解析と特徴ベクトル化とを行い、文章形式の所見文と、構造化された構造化所見と、特徴ベクトル化された所見特徴とを紐付けて保存する処理を行うことができる装置である。

【0136】

情報処理装置６０は、データ取得部６２と、文章構造解析部５４と、言語特徴抽出器１３と、コンピュータ支援診断（Computer Aided Diagnosis, Computer Aided Detection ：ＣＡＤ）部６４と、データ保存部６６とを含む。情報処理装置６０の各部の機能は、コンピュータのハードウェアとソフトウェアとの組み合わせによって実現し得る。情報処理装置６０は、１台又は複数台のコンピュータを含むコンピュータシステムによって構成されてもよい。

【0137】

データ取得部６２は、読影対象の医療画像及び所見文の入力を受け付ける。データ取得部６２は、医療画像保存部６１０又はレポート保存部６１２から対象のデータを自動的に取得してもよいし、入力装置からの指示に基づき対象のデータを受け付けてもよい。

【0138】

ＣＡＤ部６４は、入力された医療画像に対して画像処理を行い、画像診断を支援するＣＡＤ情報を生成する。ＣＡＤ部６４は、例えば、臓器認識プログラム及び／又は疾患検出プログラムを含んで構成される。臓器認識プログラムは、例えば、臓器セグメンテーションを行う処理モジュールを含む。臓器認識プログラムには、肺区域ラベリングプログラム、血管領域抽出プログラム及び骨ラベリングプログラムなどが含まれてもよい。

【0139】

疾患検出プログラムは、特定の疾患に対応した検出処理モジュールを含む。疾患検出プログラムとして、例えば、肺結節検出プログラム、肺結節性状分析プログラム、肺炎ＣＡＤプログラム、乳腺ＣＡＤプログラム、肝臓ＣＡＤプログラム、脳ＣＡＤプログラム及び大腸ＣＡＤプログラムのうち少なくとも１つのプログラムが含まれてよい。

【0140】

このようなＣＡＤ用のプログラムは、深層学習などの機械学習を適用して目的のタスクの出力が得られるように学習された学習済みモデルを含むＡＩ処理モジュールであってよい。

【0141】

ＣＡＤ部６４から出力されるＣＡＤ情報には、例えば、画像内における病変領域などの位置を示す情報、もしくは病名などのクラス分類を示す情報、又はこれらの組み合わせが含まれてよい。

【0142】

文章構造解析部５４は、データ取得部５２を介して取得された所見文の構造解析を行い、構造化所見を生成する。

【0143】

言語特徴抽出器１３は、データ取得部５２を介して取得された所見文、又は文章構造解析部５４によって構造化された構造化所見の入力を受けて、所見特徴を生成する。

【0144】

情報処理装置６０は、医療画像、ＣＡＤ情報、所見文、構造化所見及び所見特徴を関連付けしてデータ保存部６６に保存する処理を行う。情報処理装置６０は、このようなデータ組をデータ保存部６６に多数蓄積したデータベースを構築し得る。

【0145】

《第７実施形態：類似する所見文を検索する処理への活用例》
言語特徴抽出モデル１２Ｅによって生成される所見特徴は、所見文同士の比較にも利用することができる。第７実施形態では、複数の所見文のそれぞれから抽出される所見特徴を用いて、所見文同士が近しい内容（関連性が高い内容）を述べているか、関連性が低い（無関係の）内容を述べているかを判別し、データベースの中から類似する所見文（関連する所見文）の候補を検索するシステムを提供する例を示す。

【0146】

図１５は、第７実施形態に係る機械学習装置７０の機能的構成を概略的に示すブロック図である。図１５に示す構成において、図２及び図７に示す構成と同一又は類似の要素には同一の符号を付し、重複する説明は省略する。

【0147】

機械学習装置７０は、言語特徴抽出モデル１２Ａ、１２Ｂと、領域推定モデル１４と、対応関係推定モデル１２４と、損失演算部１６、１２６と、パラメータ更新部１２８とを含む。図１５では、説明の便宜上、２つの言語特徴抽出モデル１２Ａ、１２Ｂを示しているが、これらは同じ（共通の）言語特徴抽出モデル１２である。

【0148】

機械学習装置７０は、複数の所見文ＴＸｉ、ＴＸｋの入力を受け付け、受け付けた所見文ＴＸｉ、ＴＸｋのそれぞれを言語特徴抽出モデル１２Ａ、１２Ｂに入力して、各所見文ＴＸｉ、ＴＸｋに対応する所見特徴ＬＦＶｉ、ＬＦＶｋを生成する。所見文ＴＸｉ、ＴＸｋは、本開示における「第１のテキスト」及び「第２のテキスト」の一例である。所見特徴ＬＦＶｉ、ＬＦＶｋは、本開示における「第１の特徴量」及び「第３の特徴量」の一例である。

【0149】

対応関係推定モデル１２４は、これら複数の所見特徴ＬＦＶｉ、ＬＦＶｋの組み合わせの入力を受け付け、両者の対応関係を推定して関連性の度合いを示す関連度スコアを出力する。関連度スコアは、例えば、所見文同士に対応関係（関連性）があれば「１」、無ければ「０」などの値で定義されてよく、関連性の程度に応じて１から０の範囲の値を取り得る構成であってもよい。対応関係推定モデル１２４は本開示における「第５のモデル」の一例である。

【0150】

損失演算部１２６は、対応関係推定モデル１２４が出力した関連度スコアと正解の関連度スコアとの誤差を示す損失（第４の損失）を算出する。正解の関連度スコアは、入力に用いた複数の所見文ＴＸｉ、ＴＸｋの組み合わせに対して予め関連度を評価しておき正解データとして付与されている。なお、図１５に例示している２つの所見文ＴＸｉ、ＴＸｋの場合、両者は類似した病変に関する内容を述べており、関連度の高い所見文同士である。

【0151】

言語特徴抽出モデル１２Ｂと領域推定モデル１４の構成、及び損失演算部１６の構成とこれら各部の動作は図７で説明した例と同様であってよい。

【0152】

パラメータ更新部１２８は、損失演算部１６から得られる第１の損失と、損失演算部１２６から得られる第４の損失とを統合して得られる第５の損失に基づき、対応関係推定モデル１２４、言語特徴抽出モデル１２、及び領域推定モデル１４の各モデルのパラメータ更新量を算出して、各モデルのパラメータを更新する。すなわち、対応関係推定モデル１２４が推定する関連度スコアと、領域推定モデル１４が推定する病変領域（関心領域）のそれぞれの出力が正しくなるように（正解に近づくように）、全てのモデルを学習させる。

【0153】

なお、図１５では、損失演算部１６と損失演算部１２６とを区別して示しているが、損失演算部１６、１２６は共通の演算部であってもよく、領域推定モデル１４の出力に対して損失演算部１６によって算出される第１の損失と、対応関係推定モデル１２４の出力に対して損失演算部１２６によって算出される第４の損失とを統合して第５の損失を算出する演算機能を備えていてもよい。

【0154】

図１６は、機械学習装置７０のハードウェア構成の例を概略的に示すブロック図である。機械学習装置７０のハードウェア構成は、図８と同様であってよい。図１６に示す構成について、図８に示す構成と共通する要素には同一の符号を付し、重複する説明は省略する。図１６に示す構成について、図８と異なる点を説明する。

【0155】

機械学習装置７０のコンピュータ可読媒体１０４には、学習処理プログラム２３０の代わりに、学習処理プログラム３３０が記憶される。学習処理プログラム３３０は、データ取得プログラム３３２と、言語特徴抽出モデル１２と、領域推定モデル１４と、対応関係推定モデル１２４と、損失算出プログラム３３６と、オプティマイザ３３８とを含む。

【0156】

データ取得プログラム３３２は、訓練データ保存部６００から複数の所見文と、対応する画像とを含むデータ組を取得する処理を実行させる命令を含む。言語特徴抽出モデル１２は、取得された複数の所見文の組み合わせの入力を受け付け、それぞれの所見文について所見特徴を生成する処理を実行させる命令を含む。損失算出プログラム３３６は、領域推定モデル１４の出力から算出される第１の損失と、対応関係推定モデル１２４の出力から算出される第４の損失とを統合した第５の損失を算出する処理を実行させる命令を含む。

【0157】

オプティマイザ３３８は、算出された第５の損失から言語特徴抽出モデル１２、領域推定モデル１４及び対応関係推定モデル１２４の３つのモデルのそれぞれのパラメータの更新量を算出し、各モデルのパラメータを更新する処理を実行させる命令を含む。その他の構成は、図８の構成と同様であってよい。

【0158】

図１７は、機械学習装置７０が実行する機械学習方法のフローチャートである。ステップＳ２００において、プロセッサ１０２は、複数の所見文ＴＸｉ、ＴＸｋと、対応する画像ＩＭｉ、ＩＭｋと、画像ＩＭｉ、ＩＭｋ中の関心領域ＲＯＩｉ、ＲＯＩｋに関する位置情報ＴＰｉ、ＴＰｋとを含むデータ組を取得する（ｉ≠ｋ）。

【0159】

ステップＳ２１０において、プロセッサ１０２は、各所見文ＴＸｉ、ＴＸｋを言語特徴抽出モデル１２に入力し、それぞれの所見特徴ＬＦＶｉ、ＬＦＶｋを生成する。

【0160】

ステップＳ２１４において、プロセッサ１０２は、各所見特徴ＬＦＶｉ、ＬＦＶｋを対応関係推定モデル１２４に入力し、両者の関連性を示す関連度スコアを推定する。

【0161】

ステップＳ２２０において、プロセッサ１０２は、各所見特徴ＴＸｉ、ＴＸｋと画像ＩＭｉ、ＩＭｋとの組み合わせを領域推定モデル１４に入力し、病変領域を推定する。

【0162】

ステップＳ２２６において、プロセッサ１０２は、対応関係推定モデル１２４から出力された関連度スコアと成果の関連度スコアとの誤差を示す損失を算出する。

【0163】

ステップＳ２３０において、プロセッサ１０２は、領域推定モデル１４によって推定された病変領域の位置と、正解の関心領域の位置との誤差を示す損失を算出する。

【0164】

ステップＳ２４０において、プロセッサ１０２は、ステップＳ２２６にて算出された損失とステップＳ２３０にて算出された損失とを統合した損失が小さくなるように、対応関係推定モデル１２４、言語特徴抽出モデル１２、及び領域推定モデル１４の各モデルのパラメータ更新量を算出する。

【0165】

ステップＳ２５４において、プロセッサ１０２は、ステップＳ２４０にて算出したパラメータ更新量に従い、各モデルのパラメータを更新する。上述したステップＳ２００からステップＳ２５４の動作はミニバッチの単位で実施されてもよい。

【0166】

ステップＳ２５４の後、ステップＳ２６０において、プロセッサ１０２は、学習を終了するか否かを判定する。ステップＳ２６０は、図４のステップＳ１６０と同様の処理であってよい。

【0167】

ステップＳ２６０の判定結果がＮｏ判定である場合、プロセッサ１０２は、ステップＳ２００に戻る。ステップＳ２６０の判定結果がＹｅｓ判定である場合、プロセッサ１０２は、図のフローチャートを終了する。

【0168】

〔第７実施形態の変形例〕
図１５及び図１６では、言語特徴抽出モデル１２に対して文章形式の所見文を入力する例を説明したが、第４実施形態（図１０）で説明したように、構造化されたテキスト（構造化所見）を言語特徴抽出モデル１２に入力する構成であってもよい。

【0169】

《第８実施形態》
第８実施形態では、第７実施形態の方法によって生成された学習済みの言語特徴抽出モデル１２Ｅを用いて所見文の対応関係を判別する処理を行う情報処理装置３００の例を説明する。

【0170】

図１８は、第８実施形態に係る情報処理装置３００の機能的構成を概略的に示すブロック図である。情報処理装置３００は、データ取得部３０２と、文章構造解析部５４Ａ、５４Ｂと、言語特徴抽出器１３Ａ、１３Ｂと、対応関係推定器１２５と、判定結果出力部３０６とを含む。情報処理装置３００の各部の機能は、コンピュータのハードウェアとソフトウェアとの組み合わせによって実現し得る。情報処理装置３００は、１台又は複数台のコンピュータを含むコンピュータシステムによって構成されてもよい。

【0171】

データ取得部３０２は、比較する複数の所見文ＴＸａ、ＴＸｂの組み合わせを取得する。文章構造解析部５４Ａは、所見文ＴＸａの構造解析を行い、構造化データＴＳａを生成する。同様に、文章構造解析部５４Ｂは、所見文ＴＸｂの構造解析を行い、構造化データＴＳｂを生成する。図１５では、説明の便宜上、２つの文章構造解析部５４Ａ、５４Ｂを示しているが、これらは同じ（共通の）文章構造解析部５４である。

【0172】

言語特徴抽出器１３Ａ、１３Ｂは、第６実施形態で説明した機械学習方法によって言語特徴抽出モデル１２を学習させた学習済みモデルを適用した処理部である。図１５に示す２つの言語特徴抽出器１３Ａ、１３Ｂは、同じ（共通の）言語特徴抽出器である。

【0173】

言語特徴抽出器１３Ａは、構造化データＴＳａの入力を受けて、対応する所見特徴ＬＦＶａを生成する。同様に、言語特徴抽出器１３Ｂは、構造化データＴＳｂの入力を受けて、対応する所見特徴ＬＦＶｂを生成する。

【0174】

なお、言語特徴抽出器１３Ａ、１３Ｂが構造化データＴＳａ、ＴＳｂの代わりに、所見文ＴＸａ、ＴＸｂの入力を受けて、対応する所見特徴ＬＦＶａ、ＬＦＶｂを生成する構成とすることも可能である。この場合、文章構造解析部５４Ａ、５４Ｂは省略されてよい。

【0175】

対応関係推定器１２５は、第６実施形態の言語特徴抽出器１３は、第６実施形態に係る機械学習方法によって対応関係推定モデル１２４を学習させた学習済みモデルを適用した処理部である。対応関係推定器１２５は、所見特徴ＬＦＶａ、ＬＦＶｂの組み合わせの入力を受け付け、両者が対応する関係であるか否かを判定する。

【0176】

判定結果出力部３０６は、対応関係推定器１２５から出力される対応関係の判別結果の出力処理を行う。判定結果出力部３０６は、２つの所見文の対応関係の有無に関する判別結果を出力してもよいし、その判別結果を用いて類似所見文の候補のリストを生成し、類似所見文候補リストを出力してもよい。

【0177】

図１９は、情報処理装置３００のハードウェア構成の例を示すブロック図である。情報処理装置３００のハードウェア構成は、図１３に示した例と同様であってよい。図１９に示す構成について、図１３に示すと同一又は類似の要素には同一の符号を付し、重複する説明は省略する。

【0178】

情報処理装置３００のコンピュータ可読媒体５０４には、データ取得プログラム５３２、文章構造解析プログラム５３４、言語特徴抽出モデル１２Ｅ、対応関係推定モデル１２４Ｅ、類似所見文候補リスト生成プログラム５４６を含む複数のプログラムが記憶される。データ取得プログラム５３２は、処理対象の所見文を取得する処理を実行させる命令を含む。データ取得プログラム５３２は、過去のレポートが保存されている不図示のデータベースからデータを取得してもよいし、入力装置５５２を介してデータの入力を受け付けてもよい。

【0179】

類似所見文候補リスト生成プログラム５４６は、対応関係推定モデル１２４Ｅの出力を基に、不図示のデータベースから類似する所見文を検索し、抽出した類似所見文を含む類似所見文候補リストを生成する処理を実行させる命令を含む。

【0180】

また、情報処理装置３００のコンピュータ可読媒体５０４は、所見文解析情報記憶部５４８を含む。所見文解析情報記憶部５４８には、文章構造解析プログラム５３４によって得られた構造化データを含む解析結果の情報が記憶される。その他の構成は、図１３と同様であってよい。

【0181】

《第９実施形態》
第９実施形態では、学習済みの言語特徴抽出モデル１２Ｅを用いて生成された所見特徴を利用して所見文の類似検索を行う情報処理装置４００の例を説明する。

【0182】

図２０は、第９実施形態に係る情報処理装置４００の機能的構成を概略的に示すブロック図である。情報処理装置４００は、所見文受付部４０２と、言語特徴抽出器１３と、類似検索部４０４と、類似候補出力部４０６とを備える。情報処理装置４００は、データベース保存部６５０を備えていてもよい。データベース保存部６５０は、情報処理装置４００と通信可能に接続される外部装置であってもよい。

【0183】

情報処理装置４００の各部の機能は、コンピュータのハードウェアとソフトウェアとの組み合わせによって実現し得る。情報処理装置４００は、１台又は複数台のコンピュータを含むコンピュータシステムによって構成されてもよい。

【0184】

データベース保存部６５０には、所見文ＦＴＸｊと、その所見文ＦＴＸｊから抽出された所見特徴ＦＦＶｊとが紐付けされた複数のデータ組を含んだデータベースが保存されている。

【0185】

第９実施形態の情報処理装置４００では、過去のレポートに含まれる大量の所見文ＦＴＸｊについて、それぞれ事前に言語特徴抽出器１３を用いて特徴ベクトル（所見特徴ＦＦＶｊ）を算出しておき、所見文ＦＴＸｊと所見特徴ＦＦＶｊとを紐付けてデータベースに保存しておく。

【0186】

そして、所見文受付部４０２が類似所見文を検索したい所見文ＱＴｘを入力として受け取り、言語特徴抽出器１３によって所見特徴ＱＦｖを計算する。類似検索部４０４は、所見特徴ＱＦｖと、事前に算出しておいた各所見特徴ＦＦＶｊとのベクトル同士の距離を計算し、距離が近い複数の候補を類似所見文候補として抽出する。

【0187】

類似候補出力部４０６は、類似検索部４０４によって抽出された類似所見文候補をユーザに提示する出力処理を行う。

【0188】

このような構成によれば、所見文受付部４０２から受け付けた所見文ＱＴｘと類似する所見文の候補がデータベースから抽出され、候補リストとしてユーザに提示される。

【0189】

《コンピュータを動作させるプログラムについて》
上述の各実施形態において説明した機械学習装置１０、機械学習装置２０、機械学習装置３０、機械学習装置３２、機械学習装置７０、情報処理装置５０、情報処理装置６０、情報処理装置３００、及び情報処理装置４００の各装置における処理機能の一部又は全部をコンピュータに実現させるプログラムを、光ディスク、磁気ディスク、もしくは、半導体メモリその他の有体物たる非一時的な情報記憶媒体であるコンピュータ可読媒体に記録し、この情報記憶媒体を通じてプログラムを提供することが可能である。

【0190】

またこのような有体物たる非一時的なコンピュータ可読媒体にプログラムを記憶させて提供する態様に代えて、インターネットなどの電気通信回線を利用してプログラム信号をダウンロードサービスとして提供することも可能である。

【0191】

さらに、上述の各装置における処理機能の一部又は全部をクラウドコンピューティングによって実現してもよく、また、ＳａａＳ（Software as a Service）として提供することも可能である。

【0192】

《各処理部のハードウェア構成について》
上述の各実施形態において説明した機械学習装置１０等における損失演算部１６、２６、１２６、パラメータ更新部１８、２８、２８Ａ、１２８、文章構造解析部４０、及び情報処理装置５０等におけるデータ取得部５２、６２、３０２、文章構造解析部５４、言語特徴抽出器１３、画像特徴抽出器２３、クロスモーダル特徴統合器２５、対応関係推定器１２５、判定結果出力部５６、３０６、ＣＡＤ部６４、所見文受付部４０２、類似検索部４０４、及び類似候補出力部４０６などの各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、例えば、次に示すような各種のプロセッサ（processor）である。

【0193】

各種のプロセッサには、プログラムを実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ、ＧＰＵ、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

【0194】

１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサで構成されてもよい。例えば、１つの処理部は、複数のＦＰＧＡ、あるいは、ＣＰＵとＦＰＧＡの組み合わせ、又はＣＰＵとＧＰＵの組み合わせによって構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第一に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第二に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

【0195】

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。

【0196】

《本開示の実施形態による利点》
上述した本開示の各実施形態によれば、次のような効果が得られる。

【0197】

［１］言語特徴抽出モデル１２は、入力された所見文又は構造化所見から、その所見文又は構造化所見が言及している画像中の関心領域の位置の特徴を含んだ特徴ベクトルである所見特徴を出力するように訓練される。本開示の実施形態で説明した方法によって生成される言語特徴抽出モデル１２Ｅは、入力されたテキストから画像中の関心領域の位置に関する特徴が埋め込まれた特徴ベクトルを生成することができる。言語特徴抽出モデル１２Ｅによって生成される特徴ベクトルは、例えば、画像と所見文との関連度を判別する処理や類似する所見文を検索して類似レポートの候補を提示する処理など、様々な用途に利用することができる。

【0198】

［２］本開示の実施形態で説明した方法によれば、言語特徴抽出モデル１２を訓練する際に、言語特徴抽出モデル１２の出力に対する正解データとなる正解特徴量（正解特徴ベクトル）を用意する必要がなく、画像ＩＭｊと画像ＩＭｊ中の関心領域ＲＯＩｊの位置情報ＴＰｊと、画像ＩＭｊ中の関心領域ＲＯＩｊについて説明した所見文又は構造化所見のテキストとのデータ組を用いて、そのテキストと画像中の関心領域の位置との関係性を学習させることができる。

【0199】

［３］本開示の実施形態で説明した方法によれば、学習データが比較的少ない場合であっても、高性能な言語特徴抽出モデル１２Ｅを生成することができる。

【0200】

《医療画像の種類について》
本開示の技術は、ＣＴ画像に限らず、ＭＲＩ（Magnetic Resonance Imaging）装置を用いて撮影されるＭＲ画像、人体情報を投影する超音波画像及び陽電子放射断層撮影（Positron Emission Tomography：ＰＥＴ）装置を用いて撮影されるＰＥＴ画像、内視鏡装置を用いて撮影された内視鏡画像など、様々な医療機器（モダリティ）によって撮影される各種の医療画像を対象とすることができる。本開示の技術が対象とする画像は３次元画像に限らず、２次元画像であってもよい。

【0201】

《他の応用例》
上述の実施形態では、医療画像診断における画像と所見文を例に説明したが、本開示の適用範囲はこの例に限らず、用途を問わず、各種の画像と、画像内の関心領域に関するテキストについて適用できる。例えば、構造物の画像と、その画像中の欠陥箇所に関するテキストとの組み合わせなどについても、本開示の技術を適用することができる。

【0202】

《その他》
本開示は上述した実施形態に限定されるものではなく、本開示の技術的思想の趣旨を逸脱しない範囲で種々の変形が可能である。

【符号の説明】

【0203】

１０ 機械学習装置
１２，１２Ａ，１２Ｂ，１２Ｅ 言語特徴抽出モデル
１３，１３Ａ，１３Ｂ 言語特徴抽出器
１４ 領域推定モデル
１６ 損失演算部
１８ パラメータ更新部
２０ 機械学習装置
２２ ，２２Ｅ 画像特徴抽出モデル
２３ 画像特徴抽出器
２４，２４Ｅ クロスモーダル特徴統合モデル
２５ クロスモーダル特徴統合器
２６ 損失演算部
２８，２８Ａ パラメータ更新部
３０，３２ 機械学習装置
４０ 文章構造解析部
５０ 情報処理装置
５２ データ取得部
５４，５４Ａ，５４Ｂ 文章構造解析部
５６ 判定結果出力部
６０ 情報処理装置
６２ データ取得部
６４ ＣＡＤ部
６６ データ保存部
７０ 機械学習装置
１０２ プロセッサ
１０４ コンピュータ可読媒体
１０６ 通信インターフェース
１０８ 入出力インターフェース
１１０ バス
１１２ メモリ
１１４ ストレージ
１２４，１２４Ｅ 対応関係推定モデル
１２５ 対応関係推定器
１２６ 損失演算部
１２８ パラメータ更新部
１３０ 学習処理プログラム
１３２ データ取得プログラム
１３６ 損失算出プログラム
１３８ オプティマイザ
１４０ 表示制御プログラム
１５２ 入力装置
１５４ 表示装置
２３０ 学習処理プログラム
２３２ データ取得プログラム
２３６ 損失算出プログラム
２３８ オプティマイザ
３００ 情報処理装置
３０２ データ取得部
３０４ コンピュータ可読媒体
３０６ 判定結果出力部
３３０ 学習処理プログラム
３３２ データ取得プログラム
３３６ 損失算出プログラム
３３８ オプティマイザ
４００ 情報処理装置
４０２ 所見文受付部
４０４ 類似検索部
４０６ 類似候補出力部
５０２ プロセッサ
５０４ コンピュータ可読媒体
５０６ 通信インターフェース
５０８ 入出力インターフェース
５１０ バス
５１２ メモリ
５１４ ストレージ
５３２ データ取得プログラム
５３４ 文章構造解析プログラム
５３６ 判別結果提示プログラム
５３８ 解析情報記憶領域
５４０ 表示制御プログラム
５４６ 類似所見文候補リスト生成プログラム
５４８ 所見文解析情報記憶部
５５２ 入力装置
５５４ 表示装置
６００ 訓練データ保存部
６１０ 医療画像保存部
６１２ レポート保存部
６５０ データベース保存部
ＴＤｊ 訓練データ
ＩＭｉ，ＩＭｊ，ＩＭｋ，ＩＭｘ 画像
ＲＯＩｉ，ＲＯＩｊ，ＲＯＩｋ，ＲＯＩｘ 関心領域
ＴＸｉ，ＴＸｊ，ＴＸｋ，ＴＸｙ，ＴＸａ，ＴＸｂ 所見文
ＬＦＶｊ，ＬＦＶｙ，ＬＦＶａ，ＬＦＶｂ 所見特徴
ＩＦＶｊ ＩＦＶｘ 画像特徴
ＴＰｉ，ＴＰｊ，ＴＰｋ，ＴＰｘ 位置情報
ＰＡｊ 推定領域情報
ＴＳｊ，ＴＳｙ，ＴＳａ，ＴＳｂ 構造化データ
ＦＴＸｊ 所見文
ＦＦＶｊ 所見特徴
ＱＴｘ 所見文
ＱＦｖ 所見特徴
Ｓ１００～Ｓ１６０ 機械学習方法のステップ
Ｓ２００～Ｓ２６０ 機械学習方法のステップ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】