特開 2024-174639 医用画像生成装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024174639

(43)【公開日】2024-12-17

(54)【発明の名称】医用画像生成装置

(51)【国際特許分類】

   G16H 10/00 20180101AFI20241210BHJP

   G06T 11/80 20060101ALI20241210BHJP

【ＦＩ】

G16H10/00

G06T11/80 A

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023092567

(22)【出願日】2023-06-05

(71)【出願人】

【識別番号】594164542

【氏名又は名称】キヤノンメディカルシステムズ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】田口 晃裕

【テーマコード（参考）】

5B050

5L099

【Ｆターム（参考）】

5B050AA02

5B050BA06

5B050BA12

5B050CA08

5B050DA04

5B050EA09

5B050EA19

5B050FA02

5B050FA05

5L099AA21

(57)【要約】

【課題】医師の判定や診断結果に基づいて、受診者のアバター画像を生成すること。
【解決手段】実施形態に係る医用画像生成装置は、検出部と、生成部と、補正部と、を備える。検出部は、受診者の顔を含む撮像画像から顔の特徴を示す特徴情報を検出する。生成部は、特徴情報から受診者のアバター画像を生成する。補正部は、受診者の疾患情報に基づいて、アバター画像を補正する。
【選択図】図１

【特許請求の範囲】

【請求項1】

受診者の顔を含む撮像画像から前記顔の特徴を示す特徴情報を検出する検出部と、
前記特徴情報から前記受診者のアバター画像を生成する生成部と、
前記受診者の疾患情報に基づいて、前記アバター画像を補正する補正部と、
を備える、医用画像生成装置。

【請求項2】

前記疾患情報は、医師の判定結果、遺伝子診断の診断結果、手術箇所を含む手術歴のうち、少なくとも１つを含む、
請求項１に記載の医用画像生成装置。

【請求項3】

前記医師の判定結果は、複数の疾患候補のうち、前記受診者の疾患に対応する、前記受診者の顔に現れる少なくとも１つの疾患候補に対応する疾患候補情報を含む、
請求項２に記載の医用画像生成装置。

【請求項4】

前記疾患情報に対応する疾患の発生確率を示す重要度に基づいて、前記特徴情報に対応する検出項目数を決定する決定部と、を備え、
前記検出部は、前記検出項目数に対応して、前記特徴情報を検出する検出位置及び検出数に基づいて、前記特徴情報を再検出し、
前記補正部は、再検出された前記特徴情報に基づいて、前記アバター画像を補正する、
請求項２に記載の医用画像生成装置。

【請求項5】

前記アバター画像の表示又は非表示を行う表示制御部と、を備え、
前記表示制御部は、前記アバター画像に含まれる前記特徴情報の一部を非表示にする場合、非表示に対応した前記特徴情報の顔の部位を示す部位情報を表示する、
請求項１から４のいずれか１項に記載の医用画像生成装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、医用画像生成装置に関する。

【背景技術】

【0002】

病院を受診する受診者は、スマートフォンやＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）からネットワークを介して接続して病院（クリニック）の予約・問診・処方箋又は薬の受け取り・決済までをインターネット上で行う「オンライン診療」が普及している。

【0003】

また、最近では、仮想空間上でアバターによる活動を行う「メタバース」と呼ばれる技術が進化しており、メタバース上で社会生活を送ることが可能になりつつある。メタバース技術の発展に伴い、「メタバースクリニック」という、メタバース上で匿名アバターとして参加し、医師などの医療資格者による、医療相談、カウンセリング、座談会などが受けられるヘルスケアコミュニティーサービスが展開されている。以上を踏まえると、今後オンライン（メタバース）上で病院を受診する機会はさらに増えていくことが予想できる。

【0004】

例えば、疾患の診断が難しい場合や、複数の疾患疑いがある場合、又はそれに関係なく患者の情報を詳しく保存しておくため、なるべく顔の特徴を多く残した状態でアバターを生成したいという要望があると考えられる。そのため、残すべき特徴を取捨選択した上でマスクを生成する必要がある。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１８－４２８１２号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

本明細書等に開示の実施形態が解決しようとする課題の一つは、医師の判定や診断結果に基づいて、受診者のアバター画像を生成することができる医用画像生成装置を提供することである。ただし、本明細書及び図面に開示の実施形態が解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成に対応する課題を他の課題として位置づけることもできる。

【課題を解決するための手段】

【0007】

実施形態に係る医用画像生成装置は、検出部と、生成部と、補正部と、を備える。検出部は、受診者の顔を含む撮像画像から顔の特徴を示す特徴情報を検出する。生成部は、特徴情報から受診者のアバター画像を生成する。補正部は、受診者の疾患情報に基づいて、アバター画像を補正する。

【図面の簡単な説明】

【0008】

【図1】図１は、実施形態に係る医用情報処理システムの構成例を示すブロック図である。

【図2】図２は、実施形態に係る医用画像生成装置が取得した撮像画像の一例である。

【図3】図３は、実施形態に係る医用画像生成装置が検出した特徴情報の一例である。

【図4】図４は、実施形態に係る医用画像生成装置が生成したマスクの一例である。

【図5】図５は、実施形態に係る医用画像生成装置が検出した特徴情報の一例である。

【図6】図６は、実施形態に係る医用画像生成装置が生成したマスクの一例である。

【図7】図７は、実施形態に係る医用画像生成装置が処理する流れを示すブロック図である。

【図8】図８は、疾患情報に対応する、基準検出項目数及び重要度の関係を説明するための一例を示すテーブルである。

【図9】図９は、検出項目数に対応する、検出位置及び検出数の関係を説明するための一例を示すテーブルである。

【図10】図１０は、本実施形態に係る医用画像生成装置の処理の一連の流れを説明するためのフローチャートである。

【図11】図１１は、変形例１に係る医用情報処理システムの構成例を示すブロック図である。

【図12】図１２は、変形例１に係る医用画像生成装置の処理の一連の流れを説明するためのフローチャートである。

【発明を実施するための形態】

【0009】

以下、図面を参照して、実施形態に係る医用情報処理システムを説明する。なお、実施形態は、以下の実施形態に限られるものではない。また、一つの実施形態に記載した内容は、原則として他の実施形態にも同様に適用される。例えば、医用情報処理システム１００にＰＡＣＳ（Ｐｉｃｔｕｒｅ Ａｒｃｈｉｖｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍ）が導入されている場合、各装置は、医用画像データに付帯情報を付与したＤＩＣＯＭ（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ）形式の医用画像データ等を相互に送受信する。ここで、付帯情報には、例えば、患者を識別する患者ＩＤ（Ｉｄｅｎｔｉｆｉｅｒ）、検査を識別する検査ＩＤ、マイナンバーカードのＩＤ、各装置を識別する装置ＩＤ、各装置による１回の撮影を識別するシリーズＩＤ等が含まれる。

【0010】

（実施形態）
図１は、実施形態に係る医用情報処理システムの構成例を示すブロック図である。図１に示すように、医用情報処理システム１００は、情報処理装置１０、医用画像生成装置２０及び検診管理端末３０を備える。医用情報処理システム１００では、情報処理装置１０、医用画像生成装置２０及び検診管理端末３０がインターネット等のネットワークを介して相互に通信可能である。

【0011】

ここで、医用情報処理システム１００において、情報処理装置１０は、受診者によって利用される。この受診者は、オンライン診療の対象となる者である。受診者は、例えば、メタバース上に存在する医療機関においてオンライン診療を受診する。また、この受診者は、医用画像生成装置２０が提供するサービスの利用者でもある。なお、医用情報処理システム１００において、受診者の数は任意に変更可能である。

【0012】

情報処理装置１０は、受診者によって操作される端末装置である。情報処理装置１０は、例えば、スマートフォンである。なお、情報処理装置１０は、スマートフォンに限定されるものではなく、デスクトップ型のＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、ノート型ＰＣ、タブレット等であっても良い。情報処理装置１０は、入力インターフェース１１と、ディスプレイ１２と、カメラ１３と、通信制御回路１４と、記憶回路１５と、処理回路１６とを有する。

【0013】

入力インターフェース１１は、例えば、マウス、キーボード、ボタン、タッチパネル等に対応する。入力インターフェース１１は、情報処理装置１０の操作者からの各種設定要求を受け付け、受け付けた各種設定要求を処理回路１６に対して適宜転送する。

【0014】

ディスプレイ１２は、操作者が入力インターフェース１１を用いて各種設定要求を入力するためのＧＵＩ（Graphical User Interface）を表示したり、情報処理装置１０における処理結果等を表示したりする。

【0015】

カメラ１３は、情報処理装置１０に設けられる。カメラ１３は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサにより構成される。例えば、カメラ１３は、操作者の顔面を撮像し、撮像した撮像画像を取り込んで、取り込んだ画像を、記憶回路１５に出力する。

【0016】

通信制御回路１４は、インターネット等のネットワークを介して他の装置との間で行われる通信を制御する。例えば、通信制御回路１４は、操作者の指示に応じて記憶回路２５から撮像画像を読み出し、読み出した撮像画像を、ネットワークを介して医用画像生成装置２０に送信する。ここで、通信制御回路１４は、撮像画像に受診者を識別する受診者ＩＤ（Ｉｄｅｎｔｉｆｉｅｒ）を対応付けて医用画像生成装置２０に撮像画像を送信する。また、例えば、通信制御回路１４は、医用画像生成装置２０により生成された種々の情報を、ネットワークを介して受信する。

【0017】

記憶回路２５は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）等の半導体メモリ素子、又は、ハードディスク、光ディスク等の記憶装置などであり、情報処理装置１０による各種処理を行うための制御プログラムや各種データ等を記憶する。また、記憶回路２５は、カメラ１３から送信された撮像画像を記憶する。

【0018】

処理回路１６は、情報処理装置１０の処理全体を制御する。具体的には、処理回路１６は、入力インターフェース１１を介して操作者から入力された各種設定要求や、記憶回路１５から読み込んだ各種制御プログラム及び各種データに基づいて、各種処理を実行したり、カメラ１３、通信制御回路１４等の処理を制御したりする。

【0019】

また、撮像制御機能１６１により処理回路１６は、カメラ１３と協働して、操作者の顔面を撮像するように制御を行う。

【0020】

また、医用情報処理システム１００において、検診管理端末３０は、病院等の医療機関に設置され、医師や技師等の医療従事者によって操作される端末装置である。この医療機関は、医用画像生成装置２０が提供するサービスの利用者でもある。なお、図１に示す例では、説明の便宜上１つの医療機関のみを図示しているが、医用情報処理システム１００において、医療機関の数は任意に変更可能である。

【0021】

検診管理端末３０は、例えば、入力インターフェース３１、ディスプレイ３２、通信制御回路３３、記憶回路３４及び処理回路３５を備える。

【0022】

入力インターフェース３１は、例えば、マウス、キーボード、ボタン、タッチパネル等に対応する。入力インターフェース３１は、検診管理端末３０の操作者からの各種設定要求を受け付け、受け付けた各種設定要求を処理回路３５に対して適宜転送する。

【0023】

ディスプレイ３２は、操作者が入力インターフェース３１を用いて各種設定要求を入力するためのＧＵＩを表示したり、検診管理端末３０における処理結果等を表示したりする。

【0024】

通信制御回路３３は、インターネット等のネットワークを介して他の装置との間で行われる通信を制御する。例えば、通信制御回路３３は、記憶回路３４が記憶する施設情報を、ネットワークを介して医用画像生成装置２０に転送する。ここで、通信制御回路３３は、施設情報に医療機関を識別する医療機関ＩＤを対応付けて医用画像生成装置２０に施設情報を転送する。また、例えば、通信制御回路３３は、医用画像生成装置２０により生成された種々の情報を、ネットワークを介して受信する。

【0025】

記憶回路３４は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、又は、ハードディスク、光ディスク等の記憶装置などであり、検診管理端末３０による各種処理を行うための制御プログラムや各種データ等を記憶する。また、記憶回路３４は、医用画像診断装置ごとの検査の予定等を記録した施設情報を記憶する。なお、この施設情報には、医療機関の所在地を示す情報が含まれる。

【0026】

処理回路３５は、検診管理端末３０の処理全体を制御する。具体的には、処理回路３５は、入力インターフェース３１を介して操作者から入力された各種設定要求や、記憶回路３４から読み込んだ各種制御プログラム及び各種データに基づいて、各種処理を実行したり、通信制御回路３３の処理を制御したりする。

【0027】

また、医用情報処理システム１００において、医用画像生成装置２０は、例えば、データセンターに設置される。医用画像生成装置２０は、後述するように、情報処理装置１０や検診管理端末３０からデータを取得して種々の情報を生成し、情報処理装置１０や検診管理端末３０に生成した種々の情報を出力する。この医用画像生成装置２０は、例えば、通信制御回路２１、記憶回路２２及び処理回路２３を備える。

【0028】

通信制御回路２１は、インターネット等のネットワークを介して他の装置との間で行われる通信を制御する。例えば、通信制御回路２１は、カメラ１３が撮像した撮像画像を、ネットワークを介して情報処理装置１０から受信する。また、例えば、通信制御回路２１は、ネットワークを介して検診管理端末３０から施設情報等を含む各種情報を受信する。さらに、例えば、通信制御回路２１は、生成した種々のデータを情報処理装置１０や検診管理端末３０に送信する。

【0029】

記憶回路２２は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、又は、ハードディスク、光ディスク等の記憶装置などである。

【0030】

処理回路２３は、医用画像生成装置２０の動作を制御する。処理回路２３は、図１に示すように、第１取得機能２３１、検出機能２３２及び生成機能２３３を実行する。ここで、例えば、図１に示す処理回路１０３の構成要素である、第１取得機能２３１、検出機能２３２及び生成機能２３３が実行する各処理機能は、コンピュータによって実行可能なプログラムの形態で記憶回路２２に記録されている。

【0031】

処理回路２３は、各プログラムを記憶回路２２から読み出し、実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、各プログラムを読み出した状態の処理回路２３は、図１の処理回路２３内に示された各機能を有することとなる。なお、処理回路２３が備える機能はこれに限定されない。

【0032】

第１取得機能２３１は、受診者の顔面を含む撮像画像を取得する。第１取得機能２３１は、第１取得部の一例である。具体的には、第１取得機能２３１は、情報処理装置１０が送信する、カメラ１３が撮像した受診者の顔面を含む撮像画像を取得する。ここで、撮像画像の一例を図２に示す。図２は、実施形態に係る医用画像生成装置２０が取得した撮像画像の一例である。図２に示す撮像画像４１は、受診者の顔面を含む撮像画像である。

【0033】

検出機能２３２は、顔の特徴を示す特徴情報を検出する。検出機能２３２は、検出部の一例である。具体的には、検出機能２３２は、第１取得機能２３１が取得した受診者の顔を含む撮像画像から顔の特徴を示す特徴情報を検出する。例えば、検出機能２３２は、学習済みの特徴情報検出モデルを用いて、顔の特徴を示す特徴情報を検出する。ここで、特徴情報の一例を図３に示す。図３は、実施形態に係る医用画像生成装置２０が検出した特徴情報の一例である。図３に示す特徴情報４２は、受診者の顔面に含まれる、両眉、両目、両耳、鼻孔を含む鼻、唇を含む口、顎等である。

【0034】

生成機能２３３は、特徴情報から受診者のアバター画像を生成する。生成機能２３３は、生成部の一例である。具体的には、生成機能２３３は、検出機能２３２が検出した特徴情報を利用して、顔再構成技術により顔の回転、平行移動、形状、動きなどを推定した状態で受診者のアバター画像を生成する。

【0035】

例えば、生成機能２３３は、学習済みの特徴情報から受診者のアバター画像を再構成するモデルを用いる。この時、検出する特徴情報数が多いほど、より精密な顔メッシュモデルが生成でき、より特徴を反映した受診者のアバター画像が生成可能となる。ここで、受診者のアバター画像の一例を図４に示す。図４は、実施形態に係る医用画像生成装置２０が生成した受診者のアバター画像の一例である。図４に示す受診者のアバター画像４３は、撮像画像４１に対応する受診者のアバター画像である。

【0036】

また、例えば、図５のようにさらに詳しい特徴を残しておきたい部位に対して、検出機能２３２は、追加で特徴情報検出を行う。そして、生成機能２３３は、図６に示すようにその部位の詳しい特徴を受診者のアバター画像に反映させる。図５は、実施形態に係る医用画像生成装置２０が検出した特徴情報の一例である。図５に示す特徴情報４２１は、受診者の顔面に含まれる、両目である。図６は、実施形態に係る医用画像生成装置２０が生成した受診者のアバター画像の一例である。図６に示す受診者のアバター画像４３１は、撮像画像４１に対応する受診者のアバター画像である。

【0037】

なお、最初から図５のように一部詳しい特徴を反映したアバターを生成しても良い。追加で処理する、特徴情報検出及び再生成はニューラルネットワーク等の深層学習技術や数理モデルを使用することで可能である。生成した受診者のアバター画像は動画、もしくは画像として保存することが可能である。

【0038】

なお、一つの学習モデルで全ての顔の特徴を反映させた受診者のアバター画像を生成することは、モデルが複雑かつ容量も大きくなり現実的に難しいため、細かく部位を分けて特徴スキャンすることが必要である。ここで、図７を用いて受診者のアバター画像生成処理の流れについて説明する。図７は、実施形態に係る医用画像生成装置２０が処理する流れを示すブロック図である。

【0039】

ステップＳ１において、検出機能２３２は、顔の大まかな特徴情報を検出する（ステップＳ１）。ステップＳ２において、生成機能２３３は、顔の大まかな特徴を反映した受診者のアバター画像を生成する（ステップＳ２）。

【0040】

ステップＳ３において、検出機能２３２は、第１取得機能２３１が取得した撮像画像から、細かく部位を分け、特徴スキャンし、特徴情報を検出する。ステップＳ３では、特徴スキャンとして、目、口、鼻、頬及び顎の部位周りの追加スキャンする例を示す（ステップＳ３）。ステップＳ４において、生成機能２３３は、顔の細かい特徴を反映した受診者のアバター画像を生成する（ステップＳ４）。そして、生成機能２３３は、生成したアバター画像を記憶回路２２に記憶する。これにより、医用画像生成装置２０は、追加スキャンを行うことで、全ての顔の特徴を反映させた受診者のアバター画像を生成することができる。

【0041】

以上、医用情報処理システム１００が有する各装置の構成について説明した。ところで、オンライン診療時は主に患者の顔から病気の兆候を予測することになるため、患者の顔画像を記録する必要がある場合があるが、プライバシーの観点から顔画像をそのまま保存することは個人識別のリスクが高く、画像を加工して保存する必要がある。

【0042】

そこで、顔画像の疾患関連情報を保ちながら、個人識別可能な特徴を消去する「デジタルマスク」と呼ばれる技術が研究されている（文献１）。

【0043】

文献１：Ｙａｎｇ Ｙ， Ｌｙｕ Ｊ， Ｗａｎｇ Ｒ， Ｗｅｎ Ｑ， Ｚｈａｏ Ｌ， Ｃｈｅｎ Ｗ， Ｂｉ Ｓ， Ｍｅｎｇ Ｊ， Ｍａｏ Ｋ， Ｘｉａｏ Ｙ， Ｌｉａｎｇ Ｙ， Ｚｅｎｇ Ｄ， Ｄｕ Ｚ， Ｗｕ Ｙ， Ｃｕｉ Ｔ， Ｌｉｕ Ｌ， Ｉａｏ ＷＣ， Ｌｉ Ｘ， Ｃｈｅｕｎｇ ＣＹ， Ｚｈｏｕ Ｊ， Ｈｕ Ｙ， Ｗｅｉ Ｌ， Ｌａｉ ＩＦ， Ｙｕ Ｘ， Ｃｈｅｎ Ｊ， Ｗａｎｇ Ｚ， Ｍａｏ Ｚ， Ｙｅ Ｈ， Ｘｉａｏ Ｗ， Ｙａｎｇ Ｈ， Ｈｕａｎｇ Ｄ， Ｌｉｎ Ｘ， Ｚｈｅｎｇ ＷＳ， Ｗａｎｇ Ｒ， Ｙｕ－Ｗａｉ－Ｍａｎ Ｐ， Ｘｕ Ｆ， Ｄａｉ Ｑ， Ｌｉｎ Ｈ． Ａ ｄｉｇｉｔａｌ ｍａｓｋ ｔｏ ｓａｆｅｇｕａｒｄ ｐａｔｉｅｎｔ ｐｒｉｖａｃｙ． Ｎａｔ Ｍｅｄ． ２０２２ Ｓｅｐ；２８（９）：１８８３－１８９２． ｄｏｉ： １０．１０３８／ｓ４１５９１－０２２－０１９６６－１． Ｅｐｕｂ ２０２２ Ｓｅｐ １５． ＰＭＩＤ： ３６１０９６３８； ＰＭＣＩＤ： ＰＭＣ９４９９８５７．

【0044】

将来的にオンライン診療では、文献１に開示される技術を用いてデジタルマスク（アバター）の状態で画像データが記録されることが予想される。デジタルマスクは、例えば、ディープラーニング技術により顔の様々なパーツから特徴を抽出し、抽出された特徴に基づいて、３次元再構成により、顔の形状や動きをデジタル化することで生成できる。

【0045】

例えば、疾患の診断が難しい場合や、複数の疾患疑いがある場合、又はそれに関係なく患者の情報を詳しく保存しておくため、なるべく顔の特徴を多く残した状態でアバターを生成したいという要望があると考えられる。そのため、残すべき特徴を取捨選択した上で受診者のアバター画像を生成する必要がある。

【0046】

そこで、本実施形態に係る医用画像生成装置２０は、医師の判定や診断結果に基づいて、受診者のアバター画像を補正する。以下、医用画像生成装置２０が備える処理回路２３は、さらに、第１判定機能２３４、第２取得機能２３５、決定機能２３６、補正機能２３７及び表示制御機能２３８を実行する。

【0047】

第１判定機能２３４は、第１取得機能２３１が取得した撮像画像に対して、追加スキャンが必要かを判定する。第１判定機能２３４は、第１判定部の一例である。例えば、第１判定機能２３４は、第１取得機能２３１が取得した撮像画像に対して、受診者の顔の特徴情報をより取得する必要かを判定する。追加スキャンとは、再度、撮像画像から予め定められた検出項目数について、検出することをいう。追加スキャンに関する内容について後述する。

【0048】

第２取得機能２３５は、受診者の疾患情報を取得する。第２取得機能２３５は、第２取得部の一例である。具体的には、第２取得機能２３５は、医師の判定結果、遺伝子診断の診断結果、手術箇所を含む手術歴のうち、少なくとも１つを含む、受診者の疾患情報を取得する。受診者の疾患情報は、例えば、マイナンバーカード連携等、受診者のＩＤと紐づいた情報や、受診者が受診先の各医療機関が保管する情報、あるいは、受診者個人で持っている健康診断結果等の情報等である。医師の判定結果は、複数の疾患候補のうち、受診者の疾患に対応する、受診者の顔に現れる少なくとも１つの疾患候補に対応する疾患候補情報を含む。なお、受診者の疾患情報はこれに限定されない。

【0049】

医師は、例えば、受診者に現れる疾患として、以下の受診者の顔に現れるサインから疾患を判定する。サインは、例えば、緑内障、腎臓病、脳卒中、肝臓疾患、痛風、貧血、胃腸疾患等である。緑内障のサインは、例えば、眼圧が上昇し、瞼が硬くなる症状である。腎臓病のサインは、腎臓の機能低下に伴い目の下が黒ずむ症状（くまが出現する）である。脳卒中のサインは、一側眼瞼下垂と呼ばれる、瞼の片側だけ下がる症状である。肝臓疾患のサインは、顔の頬に現れる、褐色のシミや、クモ状血管腫の症状である。痛風のサインは、痛風結節と呼ばれる耳のこぶの症状である。貧血のサインは、顔がむくむ症状である。胃腸疾患のサインは口角が亀裂する症状である。

【0050】

決定機能２３６は、疾患情報に対応する疾患の発生確率を示す重要度に基づいて、特徴情報に対応する検出項目数を決定する。決定機能２３６は、決定部の一例である。検出項目は、医師が判定した疾患に対応する項目である。決定機能２３６は、上述した追加スキャンに対応する検出項目数を決定する。ここで、検出項目数及び重要度について、図８を用いて説明する。図８は、疾患情報に対応する、基準検出項目数及び重要度の関係を説明するための一例を示すテーブルである。

【0051】

例えば、医師の判定結果について、その疾患である確率を重要度とする。図８に示すように、医師が受診者に対して、疾患情報Ｎｏ．１として、脳卒中である確率が１００％と判定した場合（重要度１００）、決定機能２３６は、脳卒中の症状が現れやすい目周辺のみを検出項目として、基準検出項目数と重要度を乗じて、追加スキャンを行う検出項目数を決定する（テーブルＴ１参照）。

【0052】

また、図８に示すように、医師が受診者に対して、疾患情報Ｎｏ．２として、脳卒中及び肝臓疾患の両方の可能性もあると判定した場合（例えばどちらも重要度５０）、決定機能２３６は、目と口頬が同じ程度で検出項目として、基準検出項目数と重要度を乗じて、追加スキャンを行う検出項目数を決定する（テーブルＴ１参照）。

【0053】

また、例えば、遺伝子診断の結果について、遺伝子診断の結果に基づくある疾患の発症リスク確率を重要度とする。肝臓疾患リスクが１００％の場合（重要度１００）は、決定機能２３６は、頬や目に症状が現れやすいため、現在症状が出ていなくても、頬や目の周辺を検出項目として、基準検出項目数と重要度を乗じて、追加スキャンを行う検出項目数を決定する。

【0054】

さらに、例えば、手術箇所について、手術痕などの直り具合をフォローアップする場合には、手術痕の箇所を１００％（重要度１００）とする。この場合は、手術痕のみを実物のままに維持して、他はアバター画像の状態にすることも可能である。

【0055】

また、検出項目は、例えば、目、口、鼻、頭及び耳の周辺と、顔全体である。目周辺は、例えば、大まかな目の形状、瞼、眼球、虹彩、瞳孔、眉毛、睫毛、結膜等である。口周辺は、例えば、大まかな口の形状、唇、歯肉、歯、舌、口蓋垂等である。鼻周辺は、例えば、大まかな鼻の形状、鼻根、鼻背、鼻尖、鼻翼、外鼻孔等である。頭周辺は、例えば、大まかな頭の形状、おでこ、毛の生え際等である。顔全体は、例えば、大まかな顔の形状、皴、膨らみ、肌（テクスチャ）等である。なお、テクスチャに関しては、マスク生成時におけるスキャンとは別のテクスチャスキャンや、カメラ１３から得られた受診者本人の撮像画像等から得られる。

【0056】

検出機能２３２は、決定機能２３６が決定した検出項目数に対応して、特徴情報を検出する検出数及び検出位置に基づいて、特徴情報を再検出する。ここで、図９を用いて、特徴情報を再検出する内容について説明する。図９は、検出項目数に対応する、検出位置及び基準検出数の関係を説明するための一例を示すテーブルである。

【0057】

例えば、検出数は、上述した重要度を基に変化する。検出数が多いほど、３次元顔メッシュモデルが精細になり、アバター画像もより実物の特徴を反映することができる。検出数の変化方法は、検出数の最大値が変動する。例えば、図９に示すように、疾患情報Ｎｏ．１として、検出機能２３２は、検出位置を目、検出数を１００とした場合、基準検出数と重要度を乗じて、追加スキャンを行う検出数を決定する（テーブルＴ２参照）。また、図９に示すように、疾患情報Ｎｏ．２として、検出機能２３２は検出位置を目と頬とした場合、基準検出数と重要度を乗じて、追加スキャンを行う検出数を決定する（テーブルＴ２参照）。

【0058】

検出機能２３２が検出する検出位置は、例えば、以下の文献２及び文献３等の深層学習モデルを使用することで検出することができる。

【0059】

文献２：Ｆ． Ｓｃｈｒｏｆｆ， Ｄ． Ｋａｌｅｎｉｃｈｅｎｋｏ ａｎｄ Ｊ． Ｐｈｉｌｂｉｎ， 「ＦａｃｅＮｅｔ： Ａ ｕｎｉｆｉｅｄ ｅｍｂｅｄｄｉｎｇ ｆｏｒ ｆａｃｅ ｒｅｃｏｇｎｉｔｉｏｎ ａｎｄ ｃｌｕｓｔｅｒｉｎｇ」， ２０１５ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ＣＶＰＲ）， ２０１５， ｐｐ． ８１５－８２３， ｄｏｉ： １０．１１０９／ＣＶＰＲ．２０１５．７２９８６８２．

【0060】

文献３：Ｈ． Ｗａｎｇ ｅｔ ａｌ．， 「ＣｏｓＦａｃｅ： Ｌａｒｇｅ Ｍａｒｇｉｎ Ｃｏｓｉｎｅ Ｌｏｓｓ ｆｏｒ Ｄｅｅｐ Ｆａｃｅ Ｒｅｃｏｇｎｉｔｉｏｎ」， ２０１８ ＩＥＥＥ／ＣＶＦ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， ２０１８， ｐｐ． ５２６５－５２７４， ｄｏｉ： １０．１１０９／ＣＶＰＲ．２０１８．００５５２．

【0061】

補正機能２３７は、受診者の疾患情報に基づいて、アバター画像を補正する。補正機能２３７は、補正部の一例である。具体的には、補正機能２３７は、第２取得機能２３５が取得した受診者の疾患情報に基づいて、生成機能２３３が生成したアバター画像を補正する。例えば、補正機能２３７は、検出機能２３２が再検出された特徴情報に基づいて、アバター画像を補正する。そして、補正機能２３７は、補正したアバターか像を記憶回路２２に記憶する。これにより、オンライン診療での受診者の画像保存時に、医師の判断に基づき必要な疾患情報が選択された状態で、個人識別不可能なアバター画像が生成、補正され、保存することができる。

【0062】

表示制御機能２３８は、アバター画像の表示を行うように制御を行う。表示制御機能２３８は、表示制御部の一例である。具体的には、表示制御機能２３８は、生成機能２３３が生成したアバター画像の表示を行うように、ネットワークを介して、情報処理装置１０及び検診管理端末３０に対して制御を行う。また、表示制御機能２３８は、補正機能２３７が補正したアバター画像の表示を行うように、ネットワークを介して、情報処理装置１０及び検診管理端末３０に対して制御を行う。

【0063】

次に、図１０を用いて、受診者のアバター画像を生成する手順の一例を説明する。図１０は、本実施形態に係る医用画像生成装置２０の処理の一連の流れを説明するためのフローチャートである。なお、本処理は、受診者の撮像画像を取得した後に開始するものとする。

【0064】

まず、検出機能２３２は、顔の特徴を示す特徴情報を検出する（ステップＳ２１）。続いて、生成機能２３３は、特徴情報から受診者のアバター画像を生成する（ステップＳ２２）。続いて、第１判定機能２３４は、第１取得機能２３１が取得した撮像画像に対して、追加スキャンが必要かを判定する（ステップＳ２３）。ここで、第１判定機能２３４が、追加スキャンが必要ないと判定した場合（ステップＳ２３：Ｎｏ）、処理回路２３は、ステップＳ２８へ進む。他方で、第１判定機能２３４が、追加スキャンが必要であると判定した場合（ステップＳ２３：Ｙｅｓ）、処理回路２３は、ステップＳ２４へ進む。

【0065】

ステップＳ２４において、第２取得機能２３５は、受診者の疾患情報を取得する（ステップＳ２４）。続いて、決定機能２３６は、疾患情報に対応する疾患の発生確率を示す重要度に基づいて、特徴情報に対応する検出項目数を決定する（ステップＳ２５）。続いて、検出機能２３２は、決定機能２３６が決定した検出項目数に対応して、特徴情報を検出する検出数及び検出位置に基づいて、特徴情報を再検出する（ステップＳ２６）。

【0066】

続いて、補正機能２３７は、検出機能２３２が再検出された特徴情報に基づいて、アバター画像を補正する（ステップＳ２７）。そして、補正機能２３７は、補正したアバター画像を記憶回路２２に記憶する（ステップＳ２８）。ステップＳ２８が終了すると、本処理は終了する。

【0067】

上述したように、実施形態によれば、医用画像生成装置２０は、受診者の顔を含む撮像画像から顔の特徴を示す特徴情報を検出し、特徴情報から受診者のアバター画像を生成し、受診者の疾患情報に基づいて、アバター画像を補正する。

【0068】

これにより、例えば、医用画像生成装置２０は、医師の判定や診断結果等の疾患情報に基づいて、オンライン診療を受診する受診者のアバター画像を生成することができる。受診者のアバター画像は、疾患情報に基づいて補正されているため、個人識別不可能なアバター画像となる。そのため、医用画像生成装置２０は、個人識別不可能なアバター画像を記憶回路２２に記憶することができる。

【0069】

なお、上述した実施形態は、各装置が有する構成又は機能の一部を変更することで、適宜に変形して実施することも可能である。そこで、以下では、上述した実施形態に係るいくつかの変形例を他の実施形態として説明する。なお、以下では、上述した実施形態と異なる点を主に説明することとし、既に説明した内容と共通する点については同一の符号を付与しえ詳細な説明を省略する。また、以下で説明する他の実施形態は、個別に実施されても良いし、適宜組み合わせて実施されても良い。

【0070】

（変形例１）
上述した実施形態では、医用画像生成装置２０の決定機能２３６により処理回路２３は、疾患情報に対応する疾患の発生確率を示す重要度に基づいて、特徴情報に対応する検出項目数を決定する形態について説明した。これに対し、変形例１では、検出項目数は、医師等のユーザが検出項目数を予め選択する形態について説明する。

【0071】

図１１は、変形例１に係る医用情報処理システムの構成例を示すブロック図である。図１１に示すように、変形例１に係る医用情報処理システム１００は、図１に示す実施形態に係る医用情報処理システム１００と同様に、情報処理装置１０、医用画像生成装置２０及び検診管理端末３０を備える。また、変形例１に係る医用画像生成装置２０の処理回路２３は、第１取得機能２３１、検出機能２３２、生成機能２３３、第１判定機能２３４、第２取得機能２３５、決定機能２３６、補正機能２３７、表示制御機能２３８、選択機能２３９及び第２判定機能２４０を実行する。

【0072】

選択機能２３９は、ユーザの操作に基づいて、検出項目を選択する。選択機能２３９は、選択部の一例である。例えば、検診管理端末３０は、ネットワークを介して、ユーザが操作する入力インターフェース３１を用いて入力された検出項目が転送する。そして、医用画像生成装置２０の通信制御回路２１は、ネットワークを介して検診管理端末３０から入力された検出項目を受信する。そして、選択機能２３９は、受信した検出項目を選択する。

【0073】

第２判定機能２４０は、生成機能２３３が生成したアバター画像について、個人認識度が高いかを判定する。個人認識度とは、例えば、受診者の個人を特定する認識度の割合である。個人認識度は、例えば、以下の文献４及び文献５等の顔認証モデルを用いることで計算することができる。

【0074】

文献４：Ｆ． Ｓｃｈｒｏｆｆ， Ｄ． Ｋａｌｅｎｉｃｈｅｎｋｏ ａｎｄ Ｊ． Ｐｈｉｌｂｉｎ， 「ＦａｃｅＮｅｔ： Ａ ｕｎｉｆｉｅｄ ｅｍｂｅｄｄｉｎｇ ｆｏｒ ｆａｃｅ ｒｅｃｏｇｎｉｔｉｏｎ ａｎｄ ｃｌｕｓｔｅｒｉｎｇ」， ２０１５ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ＣＶＰＲ）， ２０１５， ｐｐ． ８１５－８２３， ｄｏｉ： １０．１１０９／ＣＶＰＲ．２０１５．７２９８６８２．

【0075】

文献５：Ｈ． Ｗａｎｇ ｅｔ ａｌ．， 「ＣｏｓＦａｃｅ： Ｌａｒｇｅ Ｍａｒｇｉｎ Ｃｏｓｉｎｅ Ｌｏｓｓ ｆｏｒ Ｄｅｅｐ Ｆａｃｅ Ｒｅｃｏｇｎｉｔｉｏｎ」， ２０１８ ＩＥＥＥ／ＣＶＦ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， ２０１８， ｐｐ． ５２６５－５２７４， ｄｏｉ： １０．１１０９／ＣＶＰＲ．２０１８．００５５２．

【0076】

個人認識度は、撮像画像とアバター画像をモデルとして入力すると、二つの画像の一致度が計算される。そして、個人認識度は、所定の閾値を越えた場合、撮像画像とアバター画像が一致すると推定される場合、第２判定機能２４０は、個人認識度が高いと推定される。なお、ユーザによる視覚評価でも個人認識度を推定しても良い。

【0077】

以下、変形例１に係る医用画像生成装置２０で行われる処理の流れについて説明する。図１２は、変形例に係る医用画像生成装置２０の処理の一連の流れを説明するためのフローチャートである。また、実施形態に係る医用画像生成装置２０が実行する処理と共通する処理の説明は省略する。

【0078】

ステップＳ３１において、選択機能２３９は、ユーザの操作に基づいて、検出項目を選択する（ステップＳ３１）。ステップＳ３２において、第２判定機能２４０は、生成機能２３３が生成したアバター画像について、個人認識度が高いかを判定する（ステップＳ３２）。ここで、第２判定機能２４０が、アバター画像について個人認識度が低いと判定した場合（ステップＳ３２：Ｎｏ）、処理回路２３は、ステップＳ２８へ進む。他方で、第２判定機能２４０が、アバター画像について個人認識度が高いと判定した場合（ステップＳ３２：Ｙｅｓ）、処理回路２３は、ステップＳ２４へ進む。

【0079】

例えば、医用画像生成装置２０は、ユーザの操作に基づいて、検出項目を選択し、検出項目に対応して生成されたアバター画像について、個人認識度が高いかを判定する。これにより、医用画像生成装置２０は、医師等のユーザが選択した検出項目に基づいて、オンライン診療を受診する受診者のアバター画像を生成することができる

【0080】

（変形例２）
例えば、医用画像生成装置２０の表示制御機能２３８は、アバター画像の表示又は非表示を行うように表示制を行う。例えば、表示制御機能２３８は、アバター画像に含まれる特徴情報の一部を非表示にする場合、非表示に対応した特徴情報の顔の部位を示す部位情報を表示する。部位情報は、例えば、受診者の顔に存在する手術箇所である。

【0081】

例えば、受診者の顔に手術箇所がある場合、受診者は手術箇所の治療についてオンライン診療を受ける場合がある。この場合、医師は、手術箇所のみについて、特定できれば良いため、医師は、アバター画像に含まれる特徴情報の一部である手術箇所のみを表示し、手術箇所以外の特徴情報の一部を非表示にする場合がある。その場合、表示制御機能２３８は、非表示に対応した特徴情報の顔の部位を示す部位情報を表示する。

【0082】

（変形例３）
上述した重要度は、疾患情報として、医師の判定結果、遺伝子診断の診断結果、手術箇所を含む手術歴から重要度が決定したが、これに限定されない。例えば、生成したアバター画像の左右差を重要度としても良い。アバター画像の左右差は、例えば、顔の左右の同じ部位の検出位置の中心からの位置の差などを用いる。複数症状が出ているが疾患が分からない場合や、特に症状は見られないが疾患はありそうな場合などに使用する。選択した検出項目の左右差を全て計算し、重要度の合計を１００になるようにした上で、各左右差を重要度としても良い。

【0083】

以上説明した少なくとも１つの実施形態等によれば、医師の判定や診断結果に基づいて、受診者のアバター画像を生成することができる。

【0084】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0085】

１０ 情報処理装置
２０ 医用画像生成装置
２３ 処理回路
３０ 検診管理端末
１００ 医用情報処理システム
２３１ 第１取得機能
２３２ 検出機能
２３３ 生成機能
２３４ 第１判定機能
２３５ 第２取得機能
２３６ 決定機能
２３７ 補正機能
２３８ 表示制御機能
２３９ 選択機能
２４０ 第２判定機能

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】