特開 2022-82408 精神疾患診断プロトコルを自動探索するためのコンピュータシステムおよびその方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022082408

(43)【公開日】2022-06-01

(54)【発明の名称】精神疾患診断プロトコルを自動探索するためのコンピュータシステムおよびその方法

(51)【国際特許分類】

   A61B 10/00 20060101AFI20220525BHJP

   G16H 50/20 20180101ALI20220525BHJP

   G16H 30/40 20180101ALI20220525BHJP

【ＦＩ】

A61B10/00 H

G16H50/20

G16H30/40

【審査請求】有

【請求項の数】20

【出願形態】ＯＬ

(21)【出願番号】P 2021052119

(22)【出願日】2021-03-25

(31)【優先権主張番号】10-2020-0156681

(32)【優先日】2020-11-20

(33)【優先権主張国・地域又は機関】KR

【新規性喪失の例外の表示】新規性喪失の例外適用申請有り

(71)【出願人】

【識別番号】514260642

【氏名又は名称】コリア アドバンスド インスティチュート オブ サイエンス アンド テクノロジィ

(74)【代理人】

【識別番号】110000408

【氏名又は名称】特許業務法人高橋・林アンドパートナーズ

(72)【発明者】

【氏名】イ，サンワン

(72)【発明者】

【氏名】カン，ヨンホ

(72)【発明者】

【氏名】ケ，フェンカイ

【テーマコード（参考）】

5L099

【Ｆターム（参考）】

5L099AA04

5L099AA26

(57)【要約】

【課題】多様な実施形態は、精神疾患診断プロトコルを自動探索するためのコンピュータシステムおよびその方法に関する。
【解決手段】第１ニューラルネットワークに基づき、予め定められた精神疾患を診断するために検査されるべき少なくとも１つの検査領域を患者の脳画像から決定し、第２ニューラルネットワークに基づき、患者の精神疾患を診断するための検査プロセスを決定し、検査領域と検査プロセスとに基づき、患者の精神疾患を診断するための検査プトロコルを提供するように構成される。多様な実施形態によると、コンピュータシステムは、脳画像において、検査領域の位置、形状、大きさ、または重要度のうちの少なくとも１つを視覚化する。多様な実施形態によると、検査プロセスは、精神疾患を診断するために脳画像が活用されなければならない複数の検査段階の進行順序を含んでよい。
【選択図】図７

【特許請求の範囲】

【請求項1】

コンピュータシステムによる方法であって、
第１ニューラルネットワークに基づき、予め定められた精神疾患を診断するために検査されるべき少なくとも１つの検査領域を患者の脳画像から決定する段階、
第２ニューラルネットワークに基づき、前記患者の前記精神疾患を診断するための検査プロセスを決定する段階、および
前記検査領域と前記検査プロセスとに基づき、前記患者の前記精神疾患を診断するための検査プトロコルを提供する段階
を含む、方法。

【請求項2】

前記検査領域を決定する段階は、
前記脳画像において、前記検査領域の位置、形状、大きさ、または重要度のうちの少なくとも１つを視覚化する、
請求項１に記載の方法。

【請求項3】

前記検査領域を決定する段階は、
予め定められたヒートマップ（ｈｅａｔｍａｐ）を利用して前記重要度を視覚化する、
請求項２に記載の方法。

【請求項4】

前記第１ニューラルネットワークは、
クラス活性化マッピング（ｃｌａｓｓ ａｃｔｉｖａｔｉｏｎ ｍａｐｐｉｎｇ：ＣＡＭ）技法と、畳み込みニューラルネットワーク（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ：ＣＮＮ）または全結合型ニューラルネットワーク（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）のうちの少なくとも１つに基づいて構成される、
請求項１に記載の方法。

【請求項5】

前記精神疾患を診断するための複数の検査段階が存在し、
前記検査プロセスは、
前記検査段階の進行順序を含む、
請求項１に記載の方法。

【請求項6】

前記検査プロセスは、
前記脳画像から複数の検査領域が決定される場合、前記検査領域の検査順序を含む、
請求項１に記載の方法。

【請求項7】

前記第２ニューラルネットワークは、
回帰型ニューラルネットワーク（ｄｅｅｐ ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）と強化学習（ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ）に基づいて構成されるビジュアルアテンションモデル（ｖｉｓｕａｌ ａｔｔｅｎｔｉｏｎ ｍｏｄｅｌ）である、
請求項１に記載の方法。

【請求項8】

前記第１ニューラルネットワークおよび前記第２ニューラルネットワークに基づき、前記患者の前記精神疾患を確率的に提示する段階
をさらに含む、請求項１に記載の方法。

【請求項9】

前記精神疾患は、自閉スペクトラム症を含む、
請求項１に記載の方法。

【請求項10】

コンピュータシステムであって、
メモリ、および
前記メモリに接続され、前記メモリに記録される少なくとも１つの命令を実行するように構成されたプロセッサを含み、
前記プロセッサは、
第１ニューラルネットワークに基づき、予め定められた精神疾患を診断するために検査されるべき少なくとも１つの検査領域を患者の脳画像から決定し、
第２ニューラルネットワークに基づき、前記患者の前記精神疾患を診断するための検査プロセスを決定し、
前記検査領域と前記検査プロセスとに基づき、前記患者の前記精神疾患を診断するための検査プトロコルを提供するように構成される、
コンピュータシステム。

【請求項11】

前記プロセッサは、
前記脳画像において、前記検査領域の位置、形状、大きさ、または重要度のうちの少なくとも１つを視覚化するように構成される、
請求項１０に記載のコンピュータシステム。

【請求項12】

前記プロセッサは、
予め定められたヒートマップを利用して前記重要度を視覚化するように構成される、
請求項１１に記載のコンピュータシステム。

【請求項13】

前記第１ニューラルネットワークは、
クラス活性化マッピング技法と、
畳み込みニューラルネットワークまたは全結合型ニューラルネットワークのうちの少なくとも１つに基づいて構成される、
請求項１０に記載のコンピュータシステム。

【請求項14】

前記精神疾患を診断するための複数の検査段階が存在し、
前記検査プロセスは、
前記検査段階の進行順序を含む、
請求項１０に記載のコンピュータシステム。

【請求項15】

前記検査プロセスは、
前記脳画像から複数の検査領域が決定される場合、前記検査領域の検査順序を含む、
請求項１０に記載のコンピュータシステム。

【請求項16】

前記第２ニューラルネットワークは、
回帰型ニューラルネットワークと強化学習に基づいて構成されるビジュアルアテンションモデルである、
請求項１０に記載のコンピュータシステム。

【請求項17】

前記プロセッサは、
前記第１ニューラルネットワークおよび前記第２ニューラルネットワークに基づき、前記患者の前記精神疾患を確率的に提示するように構成される、
請求項１０に記載のコンピュータシステム。

【請求項18】

前記精神疾患は、自閉スペクトラム症を含む、
請求項１０に記載のコンピュータシステム。

【請求項19】

非一時的なコンピュータ読み取り可能な記録媒体であって、
第１ニューラルネットワークに基づき、予め定められた精神疾患を診断するために検査されるべき少なくとも１つの検査領域を患者の脳画像から決定する段階、
第２ニューラルネットワークに基づき、前記患者の前記精神疾患を診断するための検査プロセスを決定する段階、および
前記検査領域と前記検査プロセスとに基づき、前記患者の前記精神疾患を診断するための検査プトロコルを提供する段階
を実行するための１つ以上のプログラムを記録する、コンピュータ読み取り可能な記録媒体。

【請求項20】

前記検査領域を決定する段階は、
前記脳画像において、前記検査領域の位置、形状、大きさ、または重要度のうちの少なくとも１つを視覚化し、
前記検査プロセスは、
前記精神疾患を診断するための複数の検査段階の進行順序を含む、
請求項１９に記載のコンピュータ読み取り可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

多様な実施形態は、精神疾患診断プロトコルを自動探索するためのコンピュータシステムおよびその方法に関する。

【背景技術】

【0002】

一般的に、自閉スペクトラム症（ａｕｔｉｓｍ ｓｐｅｃｔｒｕｍ ｄｉｓｏｒｄｅｒ：ＡＳＤ）のような精神疾患は、複雑な精神医学的症状と不十分な神経生物学的知識によって診断され、自動システムによって正確な結論を導き出すのは極めて難しい。また、結論が導き出されたとしても、これを裏付けるための医学構造的かつ戦略的な証拠となる変数を提示するにも困難がある。さらに、結論を導き出すために使用した数多くの医学的証拠を時間効率的な診断順序に並べて論証を提示することは不可能に近い。なお、複雑度が高い精神疾患の診断をディープラーニングアルゴリズムのような伝統的なモデリング方式によって単純に分類システム化する場合には、ブラック－ボックス（ｂｌａｃｋ－ｂｏｘ）特性により、信頼性のある結論を導き出すことができない。

【発明の概要】

【発明が解決しようとする課題】

【0003】

多様な実施形態は、ニューラルネットワークに基づく応用機械学習により、信頼度の高い精神疾患診断プロトコルを自動探索することができるコンピュータシステムおよびその方法を提供する。

【課題を解決するための手段】

【0004】

多様な実施形態に係るコンピュータシステムによる方法は、第１ニューラルネットワークに基づき、予め定められた精神疾患を診断するために検査されるべき少なくとも１つの検査領域を患者の脳画像から決定する段階、第２ニューラルネットワークに基づき、前記患者の前記精神疾患を診断するための検査プロセスを決定する段階、および前記検査領域と前記検査プロセスとに基づき、前記患者の前記精神疾患を診断するための検査プトロコルを提供する段階を含んでよい。

【0005】

多様な実施形態に係るコンピュータシステムは、メモリ、および前記メモリに接続され、前記メモリに記録される少なくとも１つの命令を実行するように構成されたプロセッサを含み、前記プロセッサは、第１ニューラルネットワークに基づき、予め定められた精神疾患を診断するために検査されるべき少なくとも１つの検査領域を患者の脳画像から決定し、第２ニューラルネットワークに基づき、前記患者の前記精神疾患を診断するための検査プロセスを決定し、前記検査領域と前記検査プロセスとに基づき、前記患者の前記精神疾患を診断するための検査プトロコルを提供するように構成されてよい。

【0006】

多様な実施形態に係る非一時的なコンピュータ読み取り可能な記録媒体は、第１ニューラルネットワークに基づき、予め定められた精神疾患を診断するために検査されるべき少なくとも１つの検査領域を患者の脳画像から決定する段階、第２ニューラルネットワークに基づき、前記患者の前記精神疾患を診断するための検査プロセスを決定する段階、および前記検査領域と前記検査プロセスとに基づき、前記患者の前記精神疾患を診断するための検査プトロコルを提供する段階を実行するための１つ以上のプログラムを記録してよい。

【発明の効果】

【0007】

多様な実施形態によると、コンピュータシステムは、ニューラルネットワークに基づく応用機械学習により、信頼度の高い精神疾患診断プロトコルを自動探索することができる。このとき、コンピュータシステムは、精神疾患を診断するために検査されるべき検査領域と精神疾患を診断するための検査プロセスとを脳画像から決定し、これに基づき、患者のための検査プロトコルを患者の精神疾患を診断するためのガイドラインとして提供することができる。これにより、コンピュータシステムの使用者は、検査プロトコルに基づき、患者の精神疾患をより正確かつ簡単に診断することができる。このとき、使用者は、患者の精神疾患の有無を確率的に診断し、精神疾患の深刻度を予測することができる。これは、精神疾患の診断にかかる時間および費用などの節減に繋がり、より迅速ながらも信頼性の高い精神疾患の診断を可能にする。

【図面の簡単な説明】

【0008】

【図1】多様な実施形態における、コンピュータシステムを示した図である。

【図2】図１のコンピュータシステムの動作の特徴を説明するための図である。

【図3a】多様な実施形態における、コンピュータシステムの第１ニューラルネットワークを例示的に示した図である。

【図3b】多様な実施形態における、コンピュータシステムの第１ニューラルネットワークを例示的に示した図である。

【図4a】多様な実施形態における、コンピュータシステムの第１ニューラルネットワークの動作の特徴を説明するための図である。

【図4b】多様な実施形態における、コンピュータシステムの第１ニューラルネットワークの動作の特徴を説明するための図である。

【図4c】多様な実施形態における、コンピュータシステムの第１ニューラルネットワークの動作の特徴を説明するための図である。

【図4d】多様な実施形態における、コンピュータシステムの第１ニューラルネットワークの動作の特徴を説明するための図である。

【図5】多様な実施形態における、コンピュータシステムの第２ニューラルネットワークを例示的に示した図である。

【図6a】多様な実施形態における、コンピュータシステムの第２ニューラルネットワーａクの動作の特徴を説明するための図である。

【図6b】多様な実施形態における、コンピュータシステムの第２ニューラルネットワークの動作の特徴を説明するための図である。

【図6c】多様な実施形態における、コンピュータシステムの第２ニューラルネットワークの動作の特徴を説明するための図である。

【図7】多様な実施形態における、コンピュータシステムによる方法を示したフロー図である。

【発明を実施するための形態】

【0009】

以下、本明細書の多様な実施形態について、添付の図面を参照しながら詳しく説明する。

【0010】

図１は、多様な実施形態における、コンピュータシステム１００を示した図である。図２は、図１のコンピュータシステム１００の動作の特徴を説明するための図である。図３ａおよび図３ｂは、多様な実施形態における、コンピュータシステム１００の第１ニューラルネットワークを例示的に示した図である。図４ａ～ｄは、多様な実施形態における、コンピュータシステム１００の第１ニューラルネットワークの動作の特徴を説明するための図である。図５は、多様な実施形態における、コンピュータシステム１００の第２ニューラルネットワークを例示的に示した図である。図６ａ～図６ｃは、多様な実施形態における、コンピュータシステム１００の第２ニューラルネットワークの動作の特徴を説明するための図である。

【0011】

図１を参照すると、多様な実施形態に係るコンピュータシステム１００は、入力モジュール１１０、出力モジュール１２０、メモリ１３０、またはプロセッサ１４０のうちの少なくとも１つを含んでよい。一実施形態において、コンピュータシステム１００の構成要素のうちの少なくとも１つが省略されてもよいし、少なくとも１つの他の構成要素が追加されてもよい。一実施形態において、コンピュータシステム１００の構成要素のうちの少なくとも２つが、１つの統合された回路で実現されてもよい。このとき、コンピュータシステム１００は、少なくとも１つの装置、例えば、少なくとも１つのサーバ（ｓｅｒｖｅｒ）または少なくとも１つの電子装置（ｅｌｅｃｔｒｏｎｉｃ ｄｅｖｉｃｅ）のうちの少なくとも１つで構成されてよい。一実施形態において、コンピュータシステム１００が複数の装置を含む場合、コンピュータシステム１００の構成要素は、装置のうちの１つに構成されてもよいし、装置のうちの少なくとも２つに分散されて構成されてもよい。

【0012】

入力モジュール１１０は、コンピュータシステム１００の少なくとも１つの構成要素に使用される信号を入力してよい。入力モジュール１１０は、使用者がコンピュータシステム１００に信号を直接入力するように構成される入力装置、周辺の変化を感知して信号を発生するように構成されるセンサ装置、または外部機器から信号を受信するように構成される受信装置のうちの少なくとも１つを含んでよい。例えば、入力装置は、マイクロフォン（ｍｉｃｒｏｐｈｏｎｅ）、マウス（ｍｏｕｓｅ）、またはキーボード（ｋｅｙｂｏａｒｄ）のうちの少なくとも１つを含んでよい。一実施形態において、入力装置は、タッチを感知するように設定されたタッチ回路（ｔｏｕｃｈ ｃｉｒｃｕｉｔｒｙ）、またはタッチによって発生する力の強度を測定するように設定されたセンサ回路のうちの少なくとも１つを含んでよい。

【0013】

出力モジュール１２０は、コンピュータシステム１００の外部に情報を出力してよい。出力モジュール１２０は、情報を視覚的に出力するように構成される表示装置、情報をオーディオ信号で出力することができるオーディオ出力装置、または情報を無線送信することができる送信装置のうちの少なくとも１つを含んでよい。例えば、表示装置は、ディスプレイ、ホログラム装置、またはプロジエクタのうちの少なくとも１つを含んでよい。一例として、表示装置は、入力モジュール１１０のタッチ回路またはセンサ回路のうちの少なくとも１つとともに組み立てられ、タッチスクリーンとして実現されてよい。例えば、オーディオ出力装置は、スピーカまたはレシーバのうちの少なくとも１つを含んでよい。

【0014】

一実施形態によると、受信装置と送信装置は、通信モジュールとして実現されてよい。通信モジュールは、コンピュータシステム１００で外部機器との通信を実行してよい。通信モジュールは、コンピュータシステム１００と外部機器との間に通信チャネルを樹立し、通信チャネルを経て外部機器との通信を実行してよい。ここで、外部機器は、衛星、基地局、サーバ、または他のコンピュータシステムのうちの少なくとも１つを含んでよい。通信モジュールは、有線通信モジュールまたは無線通信モジュールのうちの少なくとも１つを含んでよい。有線通信モジュールは、外部機器と有線で接続し、有線で通信してよい。無線通信モジュールは、近距離通信モジュールまたは遠距離通信モジュールのうちの少なくとも１つを含んでよい。近距離通信モジュールは、外部機器と近距離通信方式で通信してよい。例えば、近距離通信方式は、ブルートゥース（登録商標）（Ｂｌｕｅｔｏｏｔｈ）、ワイファイダイレクト（Ｗｉ－Ｆｉ Ｄｉｒｅｃｔ）、または赤外線通信（ＩｒＤＡ：ｉｎｆｒａｒｅｄ ｄａｔａ ａｓｓｏｃｉａｔｉｏｎ）のうちの少なくとも１つを含んでよい。遠距離通信モジュールは、外部機器と遠距離通信方式で通信してよい。ここで、遠距離通信モジュールは、ネットワークを介して外部機器と通信してよい。例えば、ネットワークは、セルラネットワーク、インターネット、またはＬＡＮ（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）やＷＡＮ（ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）のようなコンピュータネットワークのうちの少なくとも１つを含んでよい。

【0015】

メモリ１３０は、コンピュータシステム１００の少なくとも１つの構成要素によって使用される多様なデータを記録してよい。例えば、メモリ１３０は、揮発性メモリまたは不揮発性メモリのうちの少なくとも１つを含んでよい。データは、少なくとも１つのプログラム、およびこれと関連する入力データまたは出力データを含んでよい。プログラムは、少なくとも１つの命令を含むソフトウェアとしてメモリ１３０に記録されてよく、オペレーティングシステム、ミドルウェア、またはアプリケーションのうちの少なくとも１つを含んでよい。

【0016】

プロセッサ１４０は、メモリ１３０のプログラムを実行し、コンピュータシステム１００の少なくとも１つの構成要素を制御してよい。これにより、プロセッサ１４０は、データ処理または演算を実行してよい。このとき、プロセッサ１４０は、メモリ１３０に記録された命令を実行してよい。

【0017】

多様な実施形態によると、プロセッサ１４０は、予め定められた精神疾患を患者の脳画像から診断するための検査プロトコルを提供してよい。例えば、精神疾患は、自閉スペクトラム症を含んでよい。このとき、検査プロトコルとは、患者の精神疾患を診断するための検査体制を示し、脳画像における少なくとも１つの検査領域および検査プロセスを含んでよい。検査領域とは、脳画像において、精神疾患を診断するために検査されるべき部位を示してよい。精神疾患を診断するためには複数の検査段階が存在することがある。検査プロセスは、検査段階の進行順序または脳画像内の複数の検査領域の検査順序のうちの少なくとも１つを含んでよい。

【0018】

多様な実施形態によると、プロセッサ１４０は、ニューラルネットワークに基づき、患者の脳画像から検査プロトコルを提供してよい。ニューラルネットワークは、第１ニューラルネットワークと第２ニューラルネットワークを含んでよい。プロセッサ１４０は、図２に示すように、第１ニューラルネットワークと第２ニューラルネットワークそれぞれに基づき、入力されるベクトル化された医療マルチモーダルデータを分析してよい。ここで、医療マルチモーダルデータは、異なる方式によって得られる複数のデータアイテムを含み、データアイテムは、脳画像および少なくとも１つの他のデータアイテムを含んでよい。脳画像は、例えば、磁気共鳴映像法（ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ ｉｍａｇｉｎｇ：ＭＲＩ）または陽電子放出断層撮影（ｐｏｓｉｔｒｏｎ ｅｍｉｓｓｉｏｎ ｔｏｍｏｇｒａｐｈｙ：ＰＥＴ）のうちの少なくともいずれか１つによって生成されてよい。他のデータアイテムは、例えば、トロンボプラスチンスクリーニング試験（ｔｈｒｏｍｂｏｐｌａｓｔｉｎ ｓｃｒｅｅｎｉｎｇ ｔｅｓｔ：ＴＳＴ）結果、行動検査結果、一般の血液検査（ｃｏｍｐｌｅｔｅ ｂｌｏｏｄ ｃｏｕｎｔ：ＣＢＣ）結果、または脳波検査（ｅｌｅｃｔｒｏｅｎｃｅｐｈａｌｏｇｒａｍ：ＥＥＧ）結果などのうちの少なくとも１つを含んでよい。このために、第１ニューラルネットワークと第２ニューラルネットワークは、精神疾患の診断と関連して予め収集されたビッグデータに基づいて事前訓練されていてよい。プロセッサ１４０は、図２に示すように、第１ニューラルネットワークの分析結果および第２ニューラルネットワークの分析結果にしたがい、患者の精神疾患の有無および確率を出力してよい。ここで、プロセッサ１４０は、第１ニューラルネットワークの分析結果と第２ニューラルネットワークの分析結果とを組み合わせることで、患者の精神疾患の有無を確率的に提示してよい。プロセッサ１４０は、図２に示すように、第１ニューラルネットワークの分析結果および第２ニューラルネットワークの分析結果にしたがい、患者のための検査プロトコルを患者の精神疾患を診断するためのガイドラインとして出力してよい。プロセッサ１４０は、検査領域と検査プロセスに基づいて検査プロトコルを提供してよい。

【0019】

プロセッサ１４０は、第１ニューラルネットワークに基づき、患者の精神疾患の有無および確率を出力してよい。また、プロセッサ１４０は、脳画像から少なくとも１つの検査領域を決定してよい。さらに、プロセッサ１４０は、第１ニューラルネットワークに基づき、医療マルチモーダルデータのデータアイテムそれぞれの相対的な重要度を検出してよい。第１ニューラルネットワークは、クラス活性化マッピング（ｃｌａｓｓ ａｃｔｉｖａｔｉｏｎ ｍａｐｐｉｎｇ：ＣＡＭ）技法と、畳み込みニューラルネットワーク（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ：ＣＮＮ）または全結合型ニューラルネットワーク（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）のうちの少なくとも１つに基づいて構成されてよい。

【0020】

一実施形態によると、医療シングルモーダルデータに対し、第１ニューラルネットワークは図３ａおよび図３ｂに示すように構成され、医療シングルモーダルデータを分析し、図４ａ、図４ｂ、図４ｃ、または図４ｄのうちの少なくとも１つに示すように医療シングルモーダルデータを視覚化してよい。例えば、医療シングルモーダルデータは、磁気共鳴映像法によって得られる患者の脳画像であり、プロセッサ１４０は、第１ニューラルネットワークに基づき、患者の脳画像において検査領域を視覚化してよい。一例として、第１ニューラルネットワークは、図３ａに示すように、畳み込みニューラルネットワークに基づいて患者の脳画像から患者の精神疾患の有無を確率的に出力してよい。また、第１ニューラルネットワークは、図３ｂに示すように、クラス活性化マッピング（ＣＡＭ）技法を適用させて畳み込みニューラルネットワークから検査画像を出力してよい。このとき、第１ニューラルネットワークは、図４ａ、図４ｂ、図４ｃ、および図４ｄに示すように、検査画像を利用して検査領域を視覚化してよい。検査領域の位置、形状、大きさ、または重要度のうちの少なくとも１つが視覚化されてよい。ここで、検査領域の重要度は、予め定められたヒートマップ（ｈｅａｔｍａｐ）を利用して視覚化されてよい。図４ａまたは図４ｃに示すように、検査画像全体にわたってヒートマップによる色を分布させることで検査領域が視覚化されるか、図４ｂまたは図４ｄに示すように、重要度が最も高い検査領域だけがヒートマップによる色で視覚化されてよい。他の例として、畳み込みニューラルネットワークの代わりに全結合型ニューラルネットワークが利用されてもよい。

【0021】

他の実施形態によると、医療マルチモーダルデータに対し、第１ニューラルネットワークは、医療マルチモーダルデータを分析し、医療マルチモーダルデータを視覚化してよい。このとき、医療マルチモーダルデータのデータアイテムそれぞれの相対的な重要度が視覚化されてよい。ここで、データアイテムそれぞれの相対的な重要度は、予め定められたヒートマップを利用して視覚化されてよい。

【0022】

プロセッサ１４０は、第２ニューラルネットワークに基づき、患者の精神疾患の有無および確率を出力してよい。また、プロセッサ１４０は、第２ニューラルネットワークに基づき、検査プロセスを決定してよい。一実施形態によると、脳画像から複数の検査領域が決定される場合、検査プロセスは、脳画像における検査領域の検査順序が含まれてよい。他の実施形態によると、検査プロセスは、患者の精神疾患を診断するために医療マルチモーダルデータのデータアイテムが活用される順序を示してよい。ここで、データアイテムそれぞれは検査段階それぞれで活用されるため、検査プロセスは検査段階の進行順序として表現されてもよい。第２ニューラルネットワークは、回帰型ニューラルネットワーク（ｄｅｅｐ ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）と強化学習（ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ）に基づいて構成されるビジュアルアテンションモデル（ｖｉｓｕａｌ ａｔｔｅｎｔｉｏｎ ｍｏｄｅｌ）であってよい。

【0023】

一実施形態によると、医療シングルモーダルデータに対し、第２ニューラルネットワークは、図５に示すように回帰型ニューラルネットワークと強化学習に基づいて構成され、図６ａ、図６ｂ、または図６ｃのうちの少なくとも１つに示すように医療シングルモーダルデータに対して検査順序を決定してよい。例えば、医療シングルモーダルデータは、磁気共鳴映像法によって得られる患者の脳画像であってよい。ここで、患者の脳画像に対して検査領域が決定される場合、第２ニューラルネットワークは、脳画像における検査領域の検査順序を決定してよい。これにより、第２ニューラルネットワークは、図６ａ、図６ｂ、または図６ｃのうちの少なくとも１つに示すように、脳画像における検査領域の検査順序を提供してよい。

【0024】

他の実施形態によると、医療マルチモーダルデータに対し、第２ニューラルネットワークは、回帰型ニューラルネットワークと強化学習に基づいて構成され、医療マルチモーダルデータに対して検査順序を決定してよい。このとき、医療マルチモーダルデータのデータアイテムが活用される順序、すなわち、検査段階の進行順序が決定されてよい。

【0025】

図７は、多様な実施形態における、コンピュータシステム１００による方法を示した図である。このとき、図７は、コンピュータシステム１００による、精神疾患診断プロトコルを自動探索するための方法を示している。例えば、精神疾患は、自閉スペクトラム症を含んでよい。

【0026】

図７を参照すると、段階７１０で、コンピュータシステム１００は、第１ニューラルネットワークに基づき、患者の脳画像から少なくとも１つの検査領域を決定してよい。第１ニューラルネットワークは、クラス活性化マッピング技法と、畳み込みニューラルネットワークまたは全結合型ニューラルネットワークのうちの少なくとも１つに基づいて構成されてよい。プロセッサ１４０は、第１ニューラルネットワークに基づき、入力されるベクトル化された医療マルチモーダルデータを分析してよい。ここで、医療マルチモーダルデータは、異なる方式によって得られる複数のデータアイテムを含み、データアイテムは、脳画像および少なくとも１つの他のデータアイテムを含んでよい。プロセッサ１４０は、第１ニューラルネットワークに基づき、患者の精神疾患の有無および確率を出力してよい。また、プロセッサ１４０は、脳画像から少なくとも１つの検査領域を決定してよい。検査領域とは、脳画像において精神疾患の診断のために検査されるべき部位を示してよい。このとき、プロセッサ１４０は、脳画像において、検査領域の位置、形状、大きさ、または重要度のうちの少なくとも１つを視覚化してよい。ここで、プロセッサ１４０は、検査領域の重要度を、予め定められたヒートマップを利用して視覚化してよい。さらに、プロセッサ１４０は、第１ニューラルネットワークに基づき、医療マルチモーダルデータのデータアイテムそれぞれの相対的な重要度を検出してよい。このとき、プロセッサ１４０は、医療マルチモーダルデータのデータアイテムそれぞれの相対的な重要度を視覚化してよい。ここで、プロセッサ１４０は、データアイテムそれぞれの相対的な重要度を、予め定められたヒートマップを利用して視覚化してよい。

【0027】

段階７２０で、コンピュータシステム１００は、第２ニューラルネットワークに基づき、患者の検査プロセスを決定してよい。第２ニューラルネットワークは、回帰型ニューラルネットワークと強化学習に基づいて構成されるビジュアルアテンションモデルであってよい。プロセッサ１４０は、第２ニューラルネットワークに基づき、入力されるベクトル化された医療マルチモーダルデータを分析してよい。プロセッサ１４０は、第２ニューラルネットワークに基づき、患者の精神疾患の有無および確率を出力してよい。また、プロセッサ１４０は、第２ニューラルネットワークに基づき、検査プロセスを決定してよい。一実施形態によると、脳画像から複数の検査領域が決定される場合、検査プロセスは、脳画像における検査領域の検査順序を含んでよい。他の実施形態によると、検査プロセスは、患者の精神疾患の診断のために医療マルチモーダルデータのデータアイテムが活用される順序を示してよい。ここで、データアイテムそれぞれは検査段階それぞれで活用されるため、検査プロセスは検査段階の進行順序として表現されてもよい。

【0028】

段階７３０で、コンピュータシステム１００は、検査領域と検査プロセスとに基づき、患者の検査プロトコルを提供してよい。検査プロトコルとは、患者の精神疾患を診断するための検査体制を示してよい。プロセッサ１４０は、検査領域と検査プロセスとに基づき、患者のための検査プロトコルを、患者の精神疾患を診断するためのガイドラインとして出力してよい。

【0029】

これにより、コンピュータシステム１００の使用者、例えば、医師のような医療関係者は、患者の検査プロトコルに基づき、患者の精神疾患を診断してよい。すなわち、使用者は、脳画像を用いて検査領域を集中的に検査することができる。ここで、使用者は、各検査領域の重要度に基づいて検査領域を検査してよい。一方、使用者は、医療マルチモーダルデータのデータアイテムをそれぞれの重要度に基づいて検査してよい。さらに、使用者は、検査プロセスに基づき、脳画像における検査領域の検査順序にしたがって検査領域を検査してよい。一方、使用者は、検査プロセスに基づく検査段階の進行順序にしたがい、検査段階それぞれでデータアイテムそれぞれを検査してよい。これにより、使用者は、患者の精神疾患の有無をより正確かつ簡単に診断することができる。このとき、使用者は、患者の精神疾患の有無を確率的に診断し、精神疾患の深刻度を予測することができる。これは、精神疾患の診断にかかる時間および費用などの節減に繋がり、より迅速ながらも信頼度の高い精神疾患の診断を可能にする。

【0030】

多様な実施形態によると、コンピュータシステム１００は、ニューラルネットワークに基づく応用機械学習により、信頼度の高い精神疾患診断プロトコルを自動探索することができる。このとき、コンピュータシステム１００は、精神疾患を診断するために検査されるべき検査領域と精神疾患の診断のための検査プロセスを脳画像から決定し、これに基づき、患者のための検査プロトコルを患者の精神疾患を診断するためのガイドラインとして提供してよい。これにより、コンピュータシステム１００の使用者は、検査プロトコルに基づき、患者の精神疾患をより正確かつ簡単に診断することができる。このとき、使用者は、患者の精神疾患の有無を確率的に診断し、精神疾患の深刻度を予測することができる。これは、精神疾患の診断にかかる時間および費用などの節減に繋がり、より迅速ながらも信頼度の高い精神疾患の診断を可能にする。

【0031】

多様な実施形態に係るコンピュータシステム１００による方法は、第１ニューラルネットワークに基づき、予め定められた精神疾患を診断するために検査されるべき少なくとも１つの検査領域を患者の脳画像から決定する段階７１０、第２ニューラルネットワークに基づき、患者の精神疾患を診断するための検査プロセスを決定する段階７２０、および検査領域と検査プロセスとに基づき、患者の精神疾患を診断するための検査プトロコルを提供する段階７３０を含んでよい。

【0032】

多様な実施形態によると、検査領域を決定する段階７１０は、脳画像において、検査領域の位置、形状、大きさ、または重要度のうちの少なくとも１つを視覚化してよい。

【0033】

多様な実施形態によると、検査領域を決定する段階７１０は、予め定められたヒートマップを利用して重要度を視覚化してよい。

【0034】

多様な実施形態によると、第１ニューラルネットワークは、クラス活性化マッピング技法と、畳み込みニューラルネットワークまたは全結合型ニューラルネットワーク（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）のうちの少なくとも１つに基づいて構成されてよい。

【0035】

多様な実施形態によると、精神疾患を診断するための複数の検査段階が存在し、検査プロセスは、検査段階の進行順序を含んでよい。

【0036】

多様な実施形態によると、検査プロセスは、脳画像から複数の検査領域が決定される場合、検査領域の検査順序を含んでよい。

【0037】

多様な実施形態によると、第２ニューラルネットワークは、回帰型ニューラルネットワークと強化学習に基づいて構成されるビジュアルアテンションモデルであってよい。

【0038】

多様な実施形態によると、前記方法は、第１ニューラルネットワークおよび第２ニューラルネットワークに基づき、患者の精神疾患の有無を確率的に提示する段階をさらに含んでよい。

【0039】

多様な実施形態によると、精神疾患は、自閉スペクトラム症を含んでよい。

【0040】

多様な実施形態に係るコンピュータシステム１００は、メモリ１３０、およびメモリ１３０に接続され、メモリ１３０に記録される少なくとも１つの命令を実行するように構成されたプロセッサ１４０を含んでよい。

【0041】

多様な実施形態によると、プロセッサ１４０は、第１ニューラルネットワークに基づき、予め定められた精神疾患を診断するために検査されるべき少なくとも１つの検査領域を患者の脳画像から決定し、第２ニューラルネットワークに基づき、患者の精神疾患を診断するための検査プロセスを決定し、検査領域と検査プロセスとに基づき、患者の精神疾患を診断するための検査プトロコルを提供するように構成されてよい。

【0042】

多様な実施形態によると、プロセッサ１４０は、脳画像において、検査領域の位置、形状、大きさ、または重要度のうちの少なくとも１つを視覚化するように構成されてよい。

【0043】

多様な実施形態によると、プロセッサ１４０は、予め定められたヒートマップを利用して重要度を視覚化するように構成されてよい。

【0044】

多様な実施形態によると、第１ニューラルネットワークは、クラス活性化マッピング技法と、畳み込みニューラルネットワークまたは全結合型ニューラルネットワークのうちの少なくとも１つに基づいて構成されてよい。

【0045】

多様な実施形態によると、精神疾患を診断するための複数の検査段階が存在し、検査プロセスは、検査段階の進行順序を含んでよい。

【0046】

多様な実施形態によると、検査プロセスは、脳画像において複数の検査領域が決定される場合、検査領域の検査順序を含んでよい。

【0047】

多様な実施形態によると、第２ニューラルネットワークは、回帰型ニューラルネットワークと強化学習に基づいて構成されるビジュアルアテンションモデルであってよい。

【0048】

多様な実施形態によると、プロセッサ１４０は、第１ニューラルネットワークおよび第２ニューラルネットワークに基づき、患者の精神疾患の有無を確率的に提示するように構成されてよい。

【0049】

多様な実施形態によると、精神疾患は、自閉スペクトラム症を含んでよい。

【0050】

上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、および／またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ、マイクロコンピュータ、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、１つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム（ＯＳ）および前記ＯＳ上で実行される１つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを格納、操作、処理、および生成してもよい。理解の便宜のために、１つの処理装置が使用されるとして説明される場合もあるが、当業者は、処理装置が複数個の処理要素および／または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは１つのプロセッサおよび１つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。

【0051】

ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの１つ以上の組み合わせを含んでもよく、思うままに動作するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび／またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、コンピュータ格納媒体または装置に具現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で格納されても実行されてもよい。ソフトウェアおよびデータは、１つ以上のコンピュータ読み取り可能な記録媒体に格納されてよい。

【0052】

多様な実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータ読み取り可能な媒体に記録されてよい。このとき、媒体は、コンピュータ実行可能なプログラムを継続して記録するものであっても、実行またはダウンロードのために一時記録するものであってもよい。また、媒体は、単一または複数のハードウェアが結合した形態の多様な格納手段または格納手段であってよく、あるコンピュータシステムに直接接続する媒体に限定されることはなく、ネットワーク上に分散して存在するものであってもよい。媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク、および磁気テープのような磁気媒体、ＣＤ－ＲＯＭおよびＤＶＤのような光媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような光磁気媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどを含み、プログラム命令が記録されるように構成されたものであってよい。また、媒体の他の例として、アプリケーションを配布するアプリケーションストアやその他の多様なソフトウェアを供給または配布するサイト、サーバなどで管理する記録媒体または格納媒体が挙げられる。

【0053】

本明細書の多様な実施形態およびこれに使用された用語は、本明細書に記載された技術を特定の実施形態だけに対して限定するためのものではなく、該当の実施例の多様な変更、均等物、および／または代替物を含むものと理解されなければならない。図面の説明と関連し、類似する構成要素に対しては類似する参照符号を付与した。単数の表現は、文脈上で明らかに異なるように意味していない限り、複数の表現を含んでよい。本明細書において、「ＡまたはＢ」、「Ａおよび／またはＢのうちの少なくとも１つ」、「Ａ、Ｂ、またはＣ」、または「Ａ、Ｂ、および／またはＣのうちの少なくとも１つ」などの表現は、羅列される項目のすべての可能な組み合わせを含んでよい。「第１」、「第２」、「１番目」、または「２番目」などの表現は、該当の構成要素を順序または重要度とは関係なく修飾するものであり、ある構成要素を他の構成要素と区分するために使用されるものに過ぎず、該当の構成要素を限定するためのものではない。ある（例：第１）構成要素が他の（例：第２）構成要素に「（機能的にまたは通信的に）連結されて」いるか「接続されて」いると記載されるときには、前記ある構成要素が前記他の構成要素に直接に連結されているのはもちろん、他の構成要素（例：第３構成要素）を介して連結されている場合も含まれる。

【0054】

本明細書で使用される用語「モジュール」は、ハードウェア、ソフトウェア、またはファームウェアで構成されたユニットを含み、例えば、ロジック、論理ブロック、部品、または回路などの用語と互換的に使用されてよい。モジュールは、一体で構成された部品、または１つまたはそれ以上の機能を実行する最小単位またはその一部であってよい。例えば、モジュールは、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）で構成されてよい。

【0055】

多様な実施形態によると、記載された構成要素のそれぞれの構成要素（例：モジュールまたはプログラム）は、単数または複数の個体を含んでよい。多様な実施形態によると、上述した該当の構成要素のうちの１つ以上の構成要素または段階が省略されてもよいし、１つ以上の他の構成要素または段階が追加されてもよい。大体的にまたは追加的に、複数の構成要素（例：モジュールまたはプログラム）は、１つの構成要素として統合されてよい。このような場合、統合された構成要素は、複数の構成要素それぞれの構成要素の１つ以上の機能を、統合される前に複数の構成要素のうちの該当の構成要素によって実行されるときと同一または類似するように実行してよい。多様な実施形態によると、モジュール、プログラム、または他の構成要素によって実行される段階は、順次的に、並列的に、反復的に、または発見的に実行されても、段階のうちの１つ以上が他の順序で実行されても、省略されても、または１つ以上の他の段階が追加されてもよい。

【符号の説明】

【0056】

１００：コンピュータシステム
１１０：入力モジュール
１２０：出力モジュール
１３０：メモリ
１４０：プロセッサ

【図1】

【図2】

【図3a】

【図3b】

【図4a】

【図4b】

【図4c】

【図4d】

【図5】

【図6a】

【図6b】

【図6c】

【図7】