知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024068077
(43)【公開日】2024-05-17
(54)【発明の名称】医用情報処理システムおよび医用情報処理方法
(51)【国際特許分類】
G16H 30/20 20180101AFI20240510BHJP
A61B 5/00 20060101ALI20240510BHJP
【ＦＩ】
G16H30/20
A61B5/00 G
【審査請求】未請求
【請求項の数】20
【出願形態】ＯＬ
(21)【出願番号】P 2023090897
(22)【出願日】2023-06-01
(31)【優先権主張番号】17/980,917
(32)【優先日】2022-11-04
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】594164542
【氏名又は名称】キヤノンメディカルシステムズ株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】ハミシュ・マッキノン
【テーマコード（参考）】
4C117
5L099
【Ｆターム（参考）】
4C117XB08
4C117XB20
4C117XE44
4C117XE45
4C117XE46
4C117XG19
4C117XK05
4C117XK09
4C117XR07
4C117XR08
4C117XR09
4C117XR10
5L099AA26
(57)【要約】
【課題】参照する医用画像の診断に際して役に立つテキストデータを効率的に抽出すること、及び、参照するテキストデータと関連する医用画像の画像位置を効率的に決定すること。
【解決手段】実施形態に係る医用情報処理システムは、記憶部と、第１取得部と、第１受付部と、第１特定部と、第２特定部とを備える。記憶部は、ナレッジグラフを記憶する。第１取得部は、医用画像データを取得する。受付部は、医用画像データ上の位置に関する指定を受け付ける。第１特定部は、指定された位置を含む概念をナレッジグラフ上で特定する。第２特定部は、概念に含まれるターム有するテキストデータを特定する。
【選択図】図１
【解決手段】実施形態に係る医用情報処理システムは、記憶部と、第１取得部と、第１受付部と、第１特定部と、第２特定部とを備える。記憶部は、ナレッジグラフを記憶する。第１取得部は、医用画像データを取得する。受付部は、医用画像データ上の位置に関する指定を受け付ける。第１特定部は、指定された位置を含む概念をナレッジグラフ上で特定する。第２特定部は、概念に含まれるターム有するテキストデータを特定する。
【選択図】図１
【特許請求の範囲】
【請求項1】
ナレッジグラフを記憶する記憶部と、
医用画像データを取得する第１取得部と、
前記医用画像データ上の位置に関する指定を受け付ける第１受付部と、
指定された前記位置を含む概念を前記ナレッジグラフ上で特定する第１特定部と、
前記概念に含まれるタームを有するテキストデータを特定する第２特定部と、
を備える医用情報処理システム。
医用画像データを取得する第１取得部と、
前記医用画像データ上の位置に関する指定を受け付ける第１受付部と、
指定された前記位置を含む概念を前記ナレッジグラフ上で特定する第１特定部と、
前記概念に含まれるタームを有するテキストデータを特定する第２特定部と、
を備える医用情報処理システム。
【請求項2】
前記第２特定部は、特定された前記テキストデータを用いてテキスト読み出しタスクを行い、前記テキスト読み出しタスクは１つまたは複数のテキストデータソースにおいて前記タームを特定する、
請求項１に記載の医用情報処理システム。
請求項１に記載の医用情報処理システム。
【請求項3】
特定された前記テキストデータは、特定された前記概念に対する１つまたは複数の表層形式および／または同義語および／または下位語を含む、
請求項１に記載の医用情報処理システム。
請求項１に記載の医用情報処理システム。
【請求項4】
前記第１特定部は、前記位置および前記医用画像データに基づいて少なくとも１つの解剖学的領域を特定し、
特定した少なくとも１つの前記解剖学的領域を前記ナレッジグラフにマッピングすることにより、前記概念を特定する、
請求項１に記載の医用情報処理システム。
特定した少なくとも１つの前記解剖学的領域を前記ナレッジグラフにマッピングすることにより、前記概念を特定する、
請求項１に記載の医用情報処理システム。
【請求項5】
前記解剖学的領域は、少なくとも１つの解剖学的ランドマークを含む、
請求項４に記載の医用情報処理システム。
請求項４に記載の医用情報処理システム。
【請求項6】
前記第１特定部は、セグメンテーションに基づいて、前記解剖学的領域を特定する、
請求項４に記載の医用情報処理システム。
請求項４に記載の医用情報処理システム。
【請求項7】
前記第１特定部は、画像空間における前記位置から前記少なくとも１つの解剖学的領域までの距離に基づいて、前記概念を特定する、
請求項４に記載の医用情報処理システム。
請求項４に記載の医用情報処理システム。
【請求項8】
前記第１受付部は、ユーザによる前記医用画像データ上の点または領域の選択を表すユーザ入力を受け付ける、
請求項１に記載の医用情報処理システム。
請求項１に記載の医用情報処理システム。
【請求項9】
前記第１特定部は、前記ナレッジグラフの概念空間における概念距離測定を使用して前記概念および／または前記タームをランク付けるおよび／または絞り込む、
請求項１に記載の医用情報処理システム。
請求項１に記載の医用情報処理システム。
【請求項10】
ナレッジグラフを記憶する記憶部を備える医用情報処理システムによる医用情報処理方法であって、
医用画像データを取得する第１取得ステップと、
前記医用画像データ上の位置に関する指定を受け付ける第１受付ステップと、
指定された前記位置を含む概念を前記ナレッジグラフ上で特定する第１特定ステップと、
前記概念に含まれるターム有するテキストデータを特定する第２特定ステップと、
を含む医用情報処理方法。
医用画像データを取得する第１取得ステップと、
前記医用画像データ上の位置に関する指定を受け付ける第１受付ステップと、
指定された前記位置を含む概念を前記ナレッジグラフ上で特定する第１特定ステップと、
前記概念に含まれるターム有するテキストデータを特定する第２特定ステップと、
を含む医用情報処理方法。
【請求項11】
ナレッジグラフを記憶する記憶部と、
医用画像データを取得する第１取得部と、
テキストクエリを取得する第２取得部と、
前記テキストクエリに対応する前記ナレッジグラフ上のノードを特定する第３特定部と、
特定されたノードに対応する概念を特定する第４特定部と、
特定された前記概念に含まれる取得された前記医用画像データ上の位置を特定する第５特定部と、
を備える医用情報処理システム。
医用画像データを取得する第１取得部と、
テキストクエリを取得する第２取得部と、
前記テキストクエリに対応する前記ナレッジグラフ上のノードを特定する第３特定部と、
特定されたノードに対応する概念を特定する第４特定部と、
特定された前記概念に含まれる取得された前記医用画像データ上の位置を特定する第５特定部と、
を備える医用情報処理システム。
【請求項12】
前記医用画像データに基づく画像を表示装置に表示させ、当該画像上で特定された前記位置を強調表示させる制御を行う表示制御部を更に備える、
請求項１１に記載の医用情報処理システム。
請求項１１に記載の医用情報処理システム。
【請求項13】
前記第５特定部は、前記概念と前記医用画像データとに基づいて少なくとも１つの解剖学的情報を特定し、
前記解剖学的情報は少なくとも１つの解剖学的ランドマークまたは解剖学的領域を含み、
前記第５特定部は、少なくとも１つの前記解剖学的ランドマークまたは前記解剖学的領域を前記医用画像データにロケーティングすることにより、前記位置を特定する、
請求項１１に記載の医用情報処理システム。
前記解剖学的情報は少なくとも１つの解剖学的ランドマークまたは解剖学的領域を含み、
前記第５特定部は、少なくとも１つの前記解剖学的ランドマークまたは前記解剖学的領域を前記医用画像データにロケーティングすることにより、前記位置を特定する、
請求項１１に記載の医用情報処理システム。
【請求項14】
前記第５特定部は、セグメンテーションに基づいて、前記解剖学的情報および／または前記位置を特定する、
請求項１３に記載の医用情報処理システム。
請求項１３に記載の医用情報処理システム。
【請求項15】
前記第５特定部は、前記概念および／または関連概念を少なくとも１つの前記解剖学的ランドマークまたは前記解剖学的領域へマッピングすることにより、特定された前記ノードに対応する前記概念に基づく前記解剖学的情報を特定する、
請求項１３に記載の医用情報処理システム。
請求項１３に記載の医用情報処理システム。
【請求項16】
前記第５特定部は、特定された前記ノードに関する少なくとも１つの更なる概念または更なるタームを特定し、前記解剖学的情報を特定する、
請求項１３に記載の医用情報処理システム。
請求項１３に記載の医用情報処理システム。
【請求項17】
前記第４特定部は、前記ナレッジグラフの概念空間における概念距離測定を使用して、概念および／またはタームをランク付けるおよび／または絞り込む、
請求項１５に記載の医用情報処理システム。
請求項１５に記載の医用情報処理システム。
【請求項18】
前記第５特定部は、異なる一般化のレベルで解剖学的情報を指定することにより、前記解剖学的情報を特定する、
請求項１３に記載の医用情報処理システム。
請求項１３に記載の医用情報処理システム。
【請求項19】
前記第５特定部は、前記医用画像データに関連するテキスト情報に基づいて、前記解剖学的情報および／または前記位置を特定する、
請求項１３に記載の医用情報処理システム。
請求項１３に記載の医用情報処理システム。
【請求項20】
ナレッジグラフを記憶する記憶部を備える医用情報処理システムによる医用情報処理方法であって、
医用画像データを取得する第１取得ステップと、
テキストクエリを取得する第２取得ステップと、
前記テキストクエリに対応する前記ナレッジグラフ上のノードを特定する第３特定ステップと、
特定されたノードに対応する概念を特定する第４特定ステップと、
特定された前記概念に含まれる取得された前記医用画像データ上の位置を特定する第５特定ステップと、
を含む医用情報処理方法。
医用画像データを取得する第１取得ステップと、
テキストクエリを取得する第２取得ステップと、
前記テキストクエリに対応する前記ナレッジグラフ上のノードを特定する第３特定ステップと、
特定されたノードに対応する概念を特定する第４特定ステップと、
特定された前記概念に含まれる取得された前記医用画像データ上の位置を特定する第５特定ステップと、
を含む医用情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書に記載の実施形態は、医用情報処理システムおよび医用情報処理方法に関する。
【背景技術】
【0002】
任意の好適な医用撮像モダリティを用いて患者または他の被検体の領域をスキャンして得られる医用画像データから、医用画像を生成することが知られている。
【0003】
医用画像の読影は、典型的には困難且つ時間がかかるかもしれない。医用画像の読影は、非専門家にとっては困難であり、専門家であっても正確な放射線レポートが与えられていても時間がかかるだろう。
【0004】
医用画像内の検索はかろうじて存在する。ユーザは典型的には手動でスクロールおよびコントロールして関連データを示さなければならない。コントロールについては、例えば、医用画像は高いコントラスト解像度でしばしば撮像される。例えば、ＣＴスキャンのデータは最大で数千のハウンスフィールド単位（Ｈｏｕｎｓｆｉｅｌｄ Ｕｎｉｔｓ：ＨＵ）の値を有し得る、若しくは、負または少数値を有し得る。一方、コンピュータ画面は僅か２５５値のコントラストを扱うように通常は設計されるため、ユーザはフルコントラストのウィンドウを見るが、これは例えばウィンドウミッドポイントレベルまたは幅をＨＵスケールにわたって変更することにより調整されている。ミッドポイントレベルまたは幅または他のパラメータの設定方法によっては、データの同一スライスにおいて身体部位が明確に可視であったり、または、完全に不可視であったりする。
【0005】
患者の画像を見た後、ユーザは患者の健康記録内に過去の関連参考資料があるか調べたいと思うかもしれない。典型的には、患者の健康記録内で過去の参考資料を探すには、手動で当該参考資料を探すか、若しくは、健康記録の検索に役立つ可能性があるサーチタームを考えるために停止する必要がある。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】米国特許出願公開第２０１２／０１４５５９号明細書
【発明の概要】
【発明が解決しようとする課題】
【0007】
本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、参照する医用画像の診断に際して役に立つテキストデータを効率的に抽出すること、及び、参照するテキストデータと関連する医用画像の画像位置を効率的に決定することである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置づけることもできる。
【課題を解決するための手段】
【0008】
一実施形態に係る医用情報処理システムは、記憶部と、第１取得部と、第１受付部と、第１特定部と、第２特定部とを備える。記憶部は、ナレッジグラフを記憶する。第１取得部は、医用画像データを取得する。受付部は、医用画像データ上の位置に関する指定を受け付ける。第１特定部は、指定された位置を含む概念をナレッジグラフ上で特定する。第２特定部は、概念に含まれるターム有するテキストデータを特定する。
【0009】
一実施形態に係る医用情報処理方法は、ナレッジグラフを記憶する記憶部を備える情報処理システムによる医用情報処理方法であって、第１取得ステップと、第１受付ステップと、第１特定ステップと、第２特定ステップとを含む。第１取得ステップは、医用画像データを取得する。受付ステップは、医用画像データ上の位置に関する指定を受け付ける。第１特定ステップは、指定された位置を含む概念をナレッジグラフ上で特定する。第２特定ステップは、概念に含まれるターム有するテキストデータを特定する。
【0010】
一実施形態に係る医用情報処理システムは、記憶部と、第１取得部と、第２取得部と、第３特定部と、第４特定部と、第５特定部とを備える。記憶部は、ナレッジグラフを記憶する。第１取得部は、医用画像データを取得する。第２取得部は、テキストクエリを取得する。第３特定部は、テキストクエリに対応するナレッジグラフ上のノードを特定する。
第４特定部は、特定されたノードに対応する概念を特定する。第５特定部は、特定された概念に含まれる取得された医用画像データ上の位置を特定する。
第４特定部は、特定されたノードに対応する概念を特定する。第５特定部は、特定された概念に含まれる取得された医用画像データ上の位置を特定する。
【0011】
一実施形態に係る医用情報処理方法は、ナレッジグラフを記憶する記憶部を備える情報処理システムによる医用情報処理方法であって、第１取得ステップと、第２取得ステップと、第３特定ステップと、第４特定ステップと、第５特定ステップとを含む。第１取得ステップは、医用画像データを取得する。第２取得ステップは、テキストクエリを取得する。第３特定ステップは、テキストクエリに対応するナレッジグラフ上のノードを特定する。第４特定ステップは、特定されたノードに対応する概念を特定する。第５特定ステップは、特定された概念に含まれる取得された医用画像データ上の位置を特定する。
【図面の簡単な説明】
【0012】
ここで、実施形態が、限定にはならない例示として説明され、以下の図に示される。
【発明を実施するための形態】
【0013】
実施形態に従った装置１０が、図１に概略的に示される。装置１０は、医用情報処理システムとも称されることがある。本実施形態において、装置１０は、例えば電子医療記録（Ｅｌｅｃｔｒｏｎｉｃ Ｍｅｄｉｃａｌ Ｒｅｃｏｒｄｓ）などの医用データを処理するように構成される。医用データは、画像データとテキストデータとの両方を含んでよい。テキストデータは臨床ノートまたはレターなどのフリーテキストデータを含んでよい。画像データは、例えば磁気共鳴（ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ：ＭＲ）、コンピュータ断層撮影（ｃｏｍｐｕｔｅｄ ｔｏｍｏｇｒａｐｈｙ：ＣＴ）、コーンビームＣＴ、陽電子放出断層撮影（ｐｏｓｉｔｒｏｎ ｅｍｉｓｓｉｏｎ ｔｏｍｏｇｒａｐｈｙ：ＰＥＴ）、Ｘ線、または、超音波などの、任意の好適な医用撮像モダリティで医用撮像スキャンを行って取得される画像を表すデータを含んでよい。
【0014】
他の実施形態において、装置１０は、非医用画像を含み得る任意の好適なデータを処理するように構成されてよい。
【0015】
例えば、いくつかの実施形態では、装置１０は遺伝学的データまたは非撮像データを処理するように構成されてよい。いくつかの実施形態では、ランドマークがゲノムまたはトランスクリプトーム内の遺伝子または遺伝子クラスタであり、及び、オントロジー、ナレッジグラフまたは他のナレッジベースが代謝リンクまたは他のパラメータを記述してよい。別の実施形態では、例えば現れている特定オブジェクトの各インスタンスを特定するために、装置がフィルムまたは他の視聴覚データを検索または処理するように構成されてよい。装置１０は任意の他の好適な応用に用いられてよい。
【0016】
装置１０は、本例ではパーソナルコンピュータ（ＰＣ）またはワークステーションであるコンピューティング装置１２を備える。コンピューティング装置１２は、ディスプレイスクリーン１６、または、他の表示装置と、コンピュータキーボードやマウスなどの１つまたは複数の入力装置１８とに接続される。
【0017】
コンピューティング装置１２は、メモリまたはストレージと称されることがあるデータ記憶部２０から医用データを受け取るように構成される。代替となる実施形態では、コンピューティング装置１２は、データ記憶部２０の代わりに、または、データ記憶部２０に加えて、１つまたは複数の更なるデータ記憶部（図示せず）から医用データを受け取る。例えば、コンピューティング装置１２は、１つまたは複数の遠隔のデータ記憶部（図示せず）から医用データを受け取ってよい。１つまたは複数の遠隔のデータ記憶部は、電子診療記録システムまたは医用画像保管伝送システム（Ｐｉｃｔｕｒｅ Ａｒｃｈｉｖｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍ：ＰＡＣＳ）を形成してよく、若しくは、クラウドベースのストレージを備えてよい。
【0018】
データ記憶部２０は、医療知識に基づく医療オントロジーを更に記憶する。本実施形態では、医療オントロジーはナレッジグラフを備え、ナレッジグラフは統合医学用語システム（Ｕｎｉｆｉｅｄ Ｍｅｄｉｃａｌ Ｌａｎｇｕａｇｅ Ｓｙｓｔｅｍ：ＵＭＬＳ）からの情報を含む。医療オントロジーは、大量の医療概念とその関係に関する知識を含む。他の実施形態では、医療オントロジーは、例えば別の装置またはクラウドベースのメモリなどの任意の好適なメモリに記憶されてよい。
【0019】
他の実施形態では、ナレッジグラフまたは任意の他の好適なナレッジベースを、医療オントロジーの代わりに用いてよい。ナレッジベースは、例えば、医療オントロジーに従って構成されてよい。
【0020】
図１の実施形態では、データ記憶部２０は、医療オントロジーの医療概念を例えば解剖学的ランドマークなどの解剖学的点または領域に関連付ける、双方向マッピング機能を更に記憶する。他の実施形態では、双方向マッピング機能を例えば別の装置またはクラウドベースのメモリなど任意の好適なメモリに記憶してよい。
【0021】
コンピューティング装置１２は、医療オントロジーからおよび双方向マッピング機能から情報を受け付けるように構成される。
【0022】
コンピューティング装置１２は、自動的に、または、半自動で医用テキストデータを処理するための処理リソースを提供する。コンピューティング装置１２は、処理装置２２を備える。処理装置２２は、テキストを医療オントロジー内の医療概念にリンキングするように構成されるナレッジ回路２４と、双方向マッピング機能を用いて医療概念を解剖学的点または領域にマッピングするように構成される概念マッピング回路２６と、解剖学的点または領域を医用画像データにロケーティングするように構成される画像回路２８と、を備える。
【0023】
本実施形態において、回路２４、２６、２８は、各々、実施形態の方法を実行するために実行可能であるコンピュータが読み出し可能な命令を有するコンピュータプログラムにより、コンピューティング装置１２に実装される。しかし、他の実施形態では、種々の回路が、１つまたは複数の特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）またはフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ）として実装されてよい。１つまたは複数の回路の機能を、１つまたは複数のクラウドベースのコンピューティングリソースで実装してよい。
【0024】
また、コンピューティング装置１２は、ハードドライブと、ＲＡＭ、ＲＯＭ、データバス、種々のデバイスドライバを含むオペレーティングシステム、および、グラフィックカードを含むハードウェア装置を含んだＰＣの他のコンポーネントとを有する。その様なコンポーネントは、明瞭化のために、図１には示されない。
【0025】
図２は、医用画像を検索するためにテキストを使用する方法の概要を示すフローチャートである。図２の方法は、医用画像を検索するために当該医用画像のピクセルデータ内容を使用する。図２の方法では、テキスト入力に基づいて解剖学的ランドマークが特定される。他の実施形態では、任意の好適な解剖学的点または領域を特定してよい。図２の方法は、あるテキストモダリティにおけるクエリを使用し、異なるモダリティのデータである医用画像データを検索する、マルチモーダル検索法を提供する。
【0026】
ステージ３０で、例えば臨床医などの臨床ユーザがテキストクエリを入力する。他の実施形態では、任意の好適なユーザにより、例えば任意の好適な医療専門家または研究者によりテキストクエリを入力してよい。
【0027】
テキストクエリはサーチタームまたはサーチ入力とも称されることがある。テキストクエリは単語、複数の単語、単語の一部、略語または頭字語もしくは任意の他の好適なテキスト入力を含んでよい。テキストクエリは、フリーテキスト入力として記述されてよい。テキストクエリはタームリストまたは限られたボキャブラリに限定されなくてよい。
【0028】
図２の実施形態では、テキストクエリは入力装置１８を用いて手動で入力される。入力装置１８は、例えばキーボード、マウスまたはタッチスクリーンを含んでよい。例えば、テキストクエリはディスプレイスクリーン１６上に表示されるユーザインターフェイス上のテキストボックスにタイプされてよい。
【0029】
他の実施形態では、任意の好適な種類のユーザ入力を用いてよい。ここで、ユーザ入力はシステム自体ではなくユーザにより与えられる入力である。ユーザ入力は、リストまたはメニューからの手動による選択を含んでよい。いくつかの実施形態では、ユーザ入力が、ハンズオフ方法とも説明されることがあるハンズフリー方法を用いて行われる。例えば、アイトラッキング、視線トラッキング、音声認識、ジェスチャーコントロール、またはハンドトラッキングによりユーザ入力を行ってよい。ハンズオフ入力方法を用いることで、ユーザにとって入力の容易さと柔軟性が増すだろう。
【0030】
更なる実施形態では、ナレッジ回路２４によりテキストクエリを自動で選択してよい。例えばある具体例において、クエリとして用いられるテキストは、ドキュメントから関連する詳細を自動的に選択するシステムの出力であり得る、例えば、脳卒中レポート用システムは局所貧血または出血を自動的に選択し、その後（「…左側頭葉の出血…」が「左側頭葉」をクエリとして導くように）これに関する位置情報を抽出可能であってよい。
【0031】
ナレッジ回路２４は、ユーザにより入力されたテキストクエリを受け付ける。この場合、ナレッジ回路２４は、テキストクエリを取得していると言える。このため、ナレッジ回路は、第２取得部の一例である。
【0032】
ステージ３２で、ナレッジ回路２４は、テキストクエリを医療オントロジー内の１つまたは複数の概念に関連付けるエンティティリンキング・プロシージャを行う。
【0033】
医療オントロジーはデータ記憶部２０に記憶される。他の実施形態では、医療オントロジーは任意の好適なデータ記憶部に記憶されてよい。
【0034】
本実施形態では、医療オントロジーは、統合医学用語システム（Ｕｎｉｆｉｅｄ Ｍｅｄｉｃａｌ Ｌａｎｇｕａｇｅ Ｓｙｓｔｅｍ：ＵＭＬＳ）からの情報を含むナレッジグラフである。他の実施形態では、概念とその関係に関する情報を記憶するために、任意の好適なナレッジベースを、例えば、任意の好適なデータベース、ナレッジグラフ、またはオントロジーを用いてよい。いくつかの実施形態では、異なる概念空間を用いてよく、この異なる概念空間はＵＭＬＳでなくてもよい。
【0035】
ナレッジグラフは複数のノードを含み、各ノードは対応する概念固有識別子（ｃｏｎｃｅｐｔ ｕｎｉｑｕｅ ｉｄｅｎｔｉｆｉｅｒ：ＣＵＩ）を有する各概念を表す。ノードはエッジにより連結される。各エッジは連結する２つのノード間の関係を表す。ナレッジグラフの異なるエッジにより多くの異なる関係が表され得る。例えば、ノード間の関係は、ｉｓ＿ａ（前者は後者である）、ｉｎｖｅｒｓｅ＿ｉｓａ（前者は後者でない）、ｈａｓ＿ｍｅｍｂｅｒ（前者はメンバとして後者を有する）、ｈａｓ＿ｐａｒｔ（前者は一部として後者を有する）、ｍａｙ＿ｔｒｅａｔ（前者は後者を治療し得る）、ｃａｕｓｅ＿ｏｆ（前者は後者の原因である）、ａｓｓｏｃｉａｔｅｄ＿ｓｙｍｐｔｏｍ＿ｏｆ（前者は後者の症状に関連する）、または任意の好適な関係であってよい。
【0036】
ナレッジグラフは、関連する概念同志が関連しない概念同志よりも近い（例えば、少ない数のエッジで連結される）概念空間を表すと考えてよい。
【0037】
表層形式と説明されることがある複数の異なる語または句により、各概念を表現してよい。例えば、ナレッジグラフ内のあるノードは、ＵＭＬＳ概念Ｃ００００９７０を表す。概念Ｃ００００９７０は、表層形式である「ａｃｅｔａｍｉｎｏｐｈｅｎ」、「ａｃｅｔａｍｉｄｏｐｈｅｎｏｌ」、「ａｃｅｔｏｍｉｎｏｐｈｅｎ」、「ｈｙｄｒｏｘｙａｃｅｔａｎｉｌｉｄｅ」、「ｐａｒａｃｅｔａｍｏｌ」、「ｐａｒａｃeｔａｍｏｌ」、「ｐａｒａｃｅｔａｍｏｌ ｐｒｏｄｕｃｔ」、「ａｃｍｐ」、「ａｐａｐ」、「ａｃｅｔａｍｉｎｏｆeｎ」、「ｐａｒａｃｅｔａｍｏｌｕｍ」、「ａｃｅｎｏｌ」、「ａｎａｌｇｅｓｉｃｓ ａｃｅｔａｍｉｎｏｐｈｅｎ」、「アセトアミノフェン」を含む。これらの表層形式は全て同じ意味をもつ。これらは互いに具体的な同義語である。
【0038】
そのため、ナレッジグラフ内の各ノードはそれぞれ単一の概念を表すが、当該概念に対して典型的には２以上の表層形式を記憶してよい。
【0039】
エンティティリンキング・プロシージャは、テキストクエリを使用して少なくとも１つのノードを特定し、特定されたノード（複数可）に関連する概念（複数可）を返すことを含む。各概念は個別の概念固有識別子（ＣＵＩ）により特定される。この場合、エンティティリンキング・プロシージャを実行するナレッジ回路２４は、ノード及び概念を特定している。このため、この場合のナレッジ回路２４は、第３特定部及び第４の一例である。
【0040】
状況によっては、テキストクエリはナレッジグラフ内の概念に直接的にマッピングされてよい。例えば、テキスト「心筋梗塞」を含むテキストクエリは、ＵＭＬＳ内の心筋梗塞の概念に直接的にマッピングされてよい。他の状況では、テキストクエリのテキストそのものがＵＭＬＳに存在しないことがある。テキストクエリのナレッジグラフへのマッピングは、レーベンシュタイン（Ｌｅｖｅｎｓｈｔｅｉｎ）編集距離などの編集距離を用いるファジーマッチング、例えばメタフォン（Ｍｅｔａｐｈｏｎｅ）などのマッチングアルゴリズムを用いる音声マッチング、ステミング、および／または、略語の辞書ルックアップ、のうちの少なくとも１つに少なくとも部分的に基づいてよい。テキストクエリのための、および、ナレッジグラフ内の１つまたは複数の単語のための単語埋め込み間の類似度を用いて、テキストクエリをナレッジグラフへマッピングしてよい。他の実施形態では、テキストクエリをナレッジグラフへマッピングするために、任意の好適な手法を用いてよい。
【0041】
いくつかの実施形態では、テキストクエリのナレッジグラフへのマッピングは、当該テキストクエリとナレッジグラフ内の関連する可能性がある１つまたは複数のテキストタームとの距離を決定することを含む。例えば、当該距離は単語埋め込みを用いて得られる類似度であってよい。当該テキストクエリをナレッジグラフ内の１つまたは複数の概念にマッピングするために、関連する可能性があるテキストタームのランク付けまたは絞り込みに、当該距離を使用してよい。
【0042】
ステージ３４で、ナレッジ回路２４は、セマンティック検索機能を使用して、当該テキストクエリに関連する概念（複数可）を関連タームへ拡張する。セマンティック検索機能は、当該テキストクエリに関連する概念（複数可）を関連ノードへ拡張してもよい。
【0043】
関連タームへの拡張方法には、知識に依存しないものがあり、当該またはあるオントロジー、ナレッジグラフ、または他のナレッジベースを使用する前または後に（または使用せずに）適用できる。
【0044】
例えば、検索対象ドキュメントのミススペルを説明する方法では、当該ドキュメント内で使用される全ての語のインデックスを作成する。これらの単語のいずれかが、拡張候補とは異なる１文字であれば、この（おそらくミススペル）単語も拡張として含まれてよい。
【0045】
セマンティック検索機能は、入力タームを受け付け、当該入力タームの関連タームのセットを生成するように構成される。例えば、セマンティック検索機能は、「浮腫」というタームを受け付け、「高血圧」、「ヒドロクロロチアジド」、「胸痛」、「息切れ」、「腫れ」、「眩暈」、「四肢」、「顔の」、および「血管の」というタームを含む、浮腫に関連するタームリストを決定してよい。
【0046】
関連タームは、ステージ３２で特定された概念（複数可）の代替となる表層形式および／またはステージ３２で特定された概念（複数可）に関する概念の表層形式を含んでよい。
【0047】
セマンティック検索機能は、医療オントロジーに少なくとも部分的に基づいて関連タームを決定してよい。追加して、または、代替として、セマンティック検索機能は、レーベンシュタイン（Ｌｅｖｅｎｓｈｔｅｉｎ）編集距離などの編集距離を用いるファジーマッチング、例えばメタフォン（Ｍｅｔａｐｈｏｎｅ）などのマッチングアルゴリズムを用いる音声マッチング、ステミング、および／または、略語の辞書ルックアップ、のうちの少なくとも１つに少なくとも部分的に基づいて、関連タームを決定してよい。例えば米国特許出願番号１７／０１１，３６３に記載されるモデルなどの機械学習モデルを使って関連タームを決定してよい。米国特許出願番号１７／０１１，３６３は参照により本明細書に組み込まれる。
【0048】
概念の関連概念への拡張は、事前に定義されたトラバーサル規則によるナレッジグラフのトラバースを含んでよい。テキストクエリに関連するオリジナル概念（複数可）は開始概念（複数可）とも称されることがある。状況によっては、開始概念の特徴によりトラバーサルを知らせてよい。
【0049】
セマンティック検索機能は、概念をその下位語へ拡張してよい。下位語とは、当該概念内に含まれ、当該概念よりも具体的な概念である。下位語を子概念と記載してもよい。
【0050】
セマンティック検索機能は、概念の条件づけられたリンク付けを用いて、ナレッジグラフをトラバースしてよい。例えば、セマンティック検索機能はノード間のｉｓ＿ａ関係を用いて、ワーファリンが血液作用薬であり（ｉｓ＿ａ）、薬剤である（ｉｓ＿ａ）と判断してよい。
【0051】
セマンティック検索機能は、トラバーサルが所与の１つまたは複数のカテゴリー内に留まるように制限してよい。例えば、開始概念が薬剤である場合、セマンティック検索機能は、それ自身が薬剤である関連概念にのみ拡張してよい。薬剤の概念を、当該薬剤に関連する病気へ拡張しないようにしてよい。
【0052】
トラバーサル規則は、異なるトラバーサル規則が異なるセマンティック種別の開始概念に適用されるように、開始概念のセマンティック種別に依存してよい。例えば、異なるトラバーサル規則が薬剤と病気にそれぞれ適用されてよい。
【0053】
当該グラフにおける距離、例えば、関係（エッジ）の数により、トラバーサル規則を知らせてよい。例えば、所定数のエッジの後にトラバーサルを停止する。ナレッジグラフ内の距離を使って概念をランク付けしてよい。例えば、ランク付けに基づいて所定数の概念を、例えば上位５つの概念を返してよい。ナレッジグラフ内の距離を使って概念を絞り込んでよい。例えば、開始概念から所定距離内にある概念のみを返してよい。いくつかの実施形態では、ユーザにより所定距離を設定してよい。
【0054】
異なるトラバーサル規則が異なるノードレベルを有する開始概念に適用されるように、トラバーサル規則は、開始概念のノードレベルに依存してよい。例えば、上位語（すなわち、親概念）の高レベルノードは、一般的には密接な関連タームではない。そのため、いくつかの実施形態では、開始概念が高レベルノードである場合は、ナレッジグラフのナビゲーションは、上方向のｉｓ＿ａ関係を省略するだろう。
【0055】
関係トラバーサルのシーケンスによりトラバーサル規則を知らせてよい。例えば薬において、ｈａｓ＿ａｃｔｉｖｅ＿ｉｎｇｒｅｄｉｅｎｔ（有効成分）エッジが続く場合は、後続のトラバーサルはｈａｓ＿ａｃｔｉｖｅ＿ｉｎｇｒｅｄｉｅｎｔエッジを省略してよい。例えば、薬であるココダモール（ｃｏ－ｃｏｄａｍｏｌ）は、パラセタモールおよびコデインの両方を含有する。ココダモールが検索対象である場合は、パラセタモールは関連検索結果である。しかし、（同じくパラセタモールを有効成分とする）レムシップ（Ｌｅｍｓｉｐ）は、ココダモールに関する関連検索結果ではないだろう。
【0056】
所与のノードからのトラバーサル規則は、当該ノードの連結度に依存してよい。ノードに連結するエッジの数がその連結度を示す。
【0057】
他の実施形態では、ナレッジグラフまたは他のナレッジベースをトラバースするために、任意の好適なトラバーサル規則を用いてよい。
【0058】
いくつかの実施形態では、セマンティック検索機能は、開始概念から、ナレッジグラフにおいて生体構造を表す１つまたは複数の概念が発見されるまで、ナレッジグラフをトラバースしてよい。セマンティック検索機能は、開始概念からの距離に依存して、例えば、距離がエッジ数で表される場合において、生体構造を表す概念をランク付けしてよい。セマンティック検索機能は、生体構造を表す概念を絞り込み、開始概念から所定距離内にある、例えば、所定エッジ数内にある概念のみを含めるようにしてよい。
【0059】
本実施形態では、セマンティック検索機能は、関連タームのセットと概念のセットとをステージ３４の最後に出力する。概念のセットは、ステージ３２で特定されたいずれかの概念とステージ３４で特定されたいずれかの関連概念とを含む。いくつかの実施形態では、関連タームおよび／または概念のそれぞれは、例えば、各関連タームおよび／または概念がどの程度関連すると考えられているかにより関連タームおよび／または概念をランク付けするために、関連付けられた関連スコアを有してよい。
【0060】
他の実施形態では、ナレッジ回路２４は、関連タームのセットを決定および／または出力せずに、ステージ３４で概念を決定および／または出力してよい。
【0061】
多くの実施形態では、関連概念の検索は関連タームを与えるだろう。例えば、知識に依存しない方法（例えば、タイプされたタームのスペル訂正）を例外として、タームは全て特定の概念に連結されているが、一般的には知識に依存しない方法は比較的少なく、一部の例では、これらはいずれにしても実際に同じセットを与えることがある。
【0062】
ステージ３６で、概念マッピング回路２６は、概念のセットを１つまたは複数の解剖学的領域に連結する。ステージ３６における解剖学的領域は、一般的または概念的意味において定められ、具体的な人間の被検体に関連していない。各解剖学的領域は、少なくとも１つの解剖学的ランドマークおよび／または少なくとも１つの解剖学的ボリュームを含んでよい。
【0063】
概念マッピング回路２６は、各概念の関連スコアを解剖学的領域へ転写してよい、若しくは、関連スコアを修正してよい。解剖学的領域は関連度によりランク付けされる。
【0064】
図２の実施形態では、概念セットの１つまたは複数の解剖学的領域への連結は、双方向マッピング機能を使用し、下で説明するように例えばナレッジグラフのノード間の連結を更なるオントロジーのノードへトラバースすることで概念セットの各概念をそれぞれの１つまたは複数の解剖学的概念へ連結することを含む。例えば、概念マッピング回路２６は、連結をトラバースし、どの解剖学的ランドマークまたは他の解剖学的領域が概念セットの各概念に最も近いかを判断してよい。概念マッピング回路２６は、例えばエッジ数などの概念からの距離に基づいて、解剖学的領域をランク付けおよび／または絞り込んでよい。他の実施形態では、概念セットを１つまたは複数の解剖学的領域へ連結するために、任意の好適なマッピング方法を用いてよい。
【0065】
図２の実施形態では、双方向マッピング機能はデータ記憶部２０に記憶される。双方向マッピング機能は、例えば解剖学的ランドマークなどのナレッジグラフおよび解剖学的領域内の概念間のマッピングを提供する。
【0066】
解剖学的ランドマークは、通常は生体構造の、本実施形態では人間の生体構造の、十分に定義された点である。解剖学的ランドマークを、骨、血管または器官などの解剖学的構造に関連して定義してよい。例えば、ある方法では、２２個の頭部ランドマークと１００個の胸部ランドマークが定義される。
【0067】
解剖学的ランドマークの例には、右目の中心と右肺の頂とが含まれる。所与のランドマークの解剖学的定義を使用し、多くの異なる医用撮像データセットに当該ランドマークをロケーティングしてよい。例えば、右目の中心が解剖学的ランドマークとして決定される場合、右目の中心である当該ランドマークを右目の中心が存在する任意の医用撮像データに、当該点を当該生体構造にロケーティング可能な任意の手動によるまたは自動による方法で、ロケーティングしてよい。
【0068】
各解剖学的ランドマークの解剖学的定義は臨床専門家により事前に決定され、各ランドマークは明確な同一性を有する。解剖学的ランドマークを汎用型人体上で解剖学的に定めてよい。
【0069】
図２の実施形態では、双方向マッピング機能は更なるオントロジーを、図２の実施形態では、更なるナレッジグラフを備える。更なるオントロジーは、ステージ３６で使用したナレッジグラフに含まれる情報を越える情報を含んでよい。更なるオントロジーは、ＵＭＬＳに含まれない情報を含んでよい。一部の解剖学的知識がＵＭＬＳに含まれていなくてよい。例えば、一部の解剖学的ランドマークが対応するＵＭＬＳ概念を有さなくてよい。一部の解剖学的リンクまたは関係がＵＭＬＳに含まれなくてよい。
【0070】
図２の実施形態では、双方向マッピング機能の更なるオントロジーは、ＵＭＬＳナレッジグラフにおいて与えられるノードに対して追加となるノードを備える。更なるオントロジーは、複数の解剖学的ランドマークのそれぞれを表すノードを含んでよい。例えば、ＵＭＬＳ概念Ｃ１１８４８８９の「後頭点」、「大後頭孔後頭点」とは別に、「後頭点の解剖学的ランドマーク」の概念としてノードを定めてよい。
【0071】
更なるオントロジーは、例えば解剖学的ランドマーク領域などの解剖学的領域を表すノードを更に備えてよい。解剖学的領域とは、単一の点ではなくボリュームである。例えば、「大後頭孔の解剖学的ランドマーク領域」の概念としてノードを定めてよい。ここで、大後頭孔とは後頭点と基底点との間の空間であり、脳幹の空間である。
【0072】
解剖学的領域は解剖学的ボリュームを含んでよく、解剖学的ボリュームは１つまたは複数の解剖学的ランドマークに基づいて定められてよい。
【0073】
いくつかの実施形態では、１つまたは複数の解剖学的ランドマーク周辺の解剖学的領域を生成するために、空間充填法を用いてよい。例えば、当該空間充填法はボロノイ（Ｖｏｒｏｎｏｉ）法を含んでよい。いくつかの実施形態では、解剖学的領域を定義するために、解剖学的アトラスを用いてよい。いくつかの実施形態では、解剖学的領域を定義するために、定義された概念にセグメンテーション法を用いてよい。
【0074】
双方向マッピングの更なるオントロジーのノードを、当該更なるオントロジーの他のノードに連結してよい。例えば、解剖学的領域を１つまたは複数の解剖学的ランドマークに連結してよい。
【0075】
双方向マッピング機能は、双方向マッピング機能におけるノードとナレッジグラフにおけるノードとの間の所定のマッピングを含む。図２の実施形態では、当該ナレッジグラフはＵＭＬＳナレッジグラフである。
【0076】
一部の解剖学的ランドマークは、ＵＭＬＳ内の解剖学的概念に１対１マッピングで直接的にマッピングする。例えば、解剖学的ランドマークのある既知のセットにおいて、松果腺は解剖学的ランドマークである。松果腺の概念がＵＭＬＳにある。そのため、双方向マッピング機能において松果腺ランドマークの概念を表すノードは、松果腺のＵＭＬＳ概念にマッピングされてよい。当該マッピングは双方向であり、松果腺の概念は更なるオントロジーにおいて松果腺ランドマークの概念にマッピングされる。
【0077】
ＵＭＬＳにおける一部の概念は、複数のランドマークに関する。双方向マッピング機能は、２以上の解剖学的ランドマークまたは領域がＵＭＬＳにおける単一の概念にマップしてよい、所定のマッピングを含む。例えば、頭部は複数の解剖学的ランドマークを含む。解剖学的ランドマークのある既知のセットにおいて、人間の頭部は２２個の解剖学的ランドマークを含む。双方向マッピング機能は、頭部の概念から頭部内の２２個の解剖学的ランドマークへのマッピングを含んでよい。そのため、複数の解剖学的ランドマークは、より高いレベル概念に一致するように、集約されてよい。
【0078】
反対に、双方向マッピング機能は単一の解剖学的ランドマークをＵＭＬＳの２以上の概念にマッピングしてよい。
【0079】
解剖学的領域がランドマーク間で生じてよい。図２の実施形態では、双方向マッピング機能は、ランドマーク間の空間上への概念のマッピングを含む。テキスト「Ｌｅｆｔ ｔｅｍｐｏｒａｌ ｌｏｂｅ（左側頭葉）」を含むテキストクエリを検討する。ステージ３２で、ナレッジ回路２４は、テキストクエリである「Ｌｅｆｔ ｔｅｍｐｏｒａｌ ｌｏｂｅ（左側頭葉）」を、「ｌｅｆｔ ｔｅｍｐｏｒａｌ ｌｏｂｅ（左側頭葉）」、「ｌｅｆｔ ｌｏｂｅ ｔｅｍｐｏｒａｌ（左側頭葉）」という表層形式を有するＵＭＬＳ概念Ｃ０２２８２３３を表すノード上にマッピングする。ステージ３６で、双方向マッピング機能は、左側頭葉の概念を、２つの既知のランドマークの間の空間にマッピングする。左耳上端と左側脳室とが頭部のランドマークとして知られている。双方向マッピング機能は、左耳上端ランドマークの右側までと、左側脳室ランドマークの左側までの領域を特定し、ＵＭＬＳ概念Ｃ０２２８２３３を特定された領域にマッピングする。
【0080】
一部の病気概念は、当該病気概念を解剖学的概念にリンク付けるａｓｓｏｃｉａｔｅｄ＿ｌｏｃａｔｉｏｎ（関連ロケーション）関係を有してよい。ａｓｓｏｃｉａｔｅｄ＿ｌｏｃａｔｉｏｎ関係を、病気概念と解剖学的ランドマークまたは他の解剖学的領域との間のリンクを判断するときに用いてよい。
【0081】
双方向マッピング機能における解剖学的ランドマークまたはランドマーク間の空間などの解剖学的領域への概念のマッピングの少なくとも一部は、一人または複数の臨床専門家により手動で定義されたものであってよい。例えば、臨床専門家が１つまたは複数の医用画像、アトラス、または他のデータソースにアノテーションを与えてよい。１つまたは複数の医用画像、アトラス、または他のデータソースは双方向マッピング機能に加えられる情報を与えるものであってよい。
【0082】
図２の実施形態では、双方向マッピング機能は、臨床専門家により解剖学的ランドマークの既知のセットを用いて以前に構築され、その後記憶された機能である。他の実施形態では、双方向マッピング機能は、例えば解剖学的概念に関連付けるｐａｒｔ＿ｏｆ（部分）関係を用いて自動または半自動で構築されてよい。
【0083】
いくつかの実施形態では、双方向マッピング機能は、例えば自身のノードを含まないマッピング機能などのより単純なマッピング機能であってよい。例えば、双方向マッピング機能は、解剖学的ランドマークまたは解剖学的領域ごとに、ナレッジグラフ内の最近傍ノードを定義してよい。
【0084】
図２の実施形態では、双方向マッピング機能は、ＵＭＬＳ概念を生体構造にマッピングし、生体構造をＵＭＬＳ概念にマッピングするように設計される。他の実施形態では、ステージ３６は一方向に作用するマッピング機能を使用して、ＵＭＬＳ（または他）の概念を生体構造にマッピングしてよい。
【0085】
自身の解剖学的情報を例えば更なるオントロジーのノードの形式で加えることにより、図２の双方向マッピング機能は、ＵＭＬＳ知識と画像知識とを組み合わせてよい。解剖学的ランドマークとＵＭＬＳ表層形式との間により強固な連結を与えてよい。グラフ検索はチューニングが容易であるかもしれない。将来的に、新しい情報ソースを双方向マッピング機能に追加すること、例えば、画像解析からの情報を追加することが容易であるだろう。いくつかの実施形態では、病気セグメンテーションからの情報が加えられてよい。生体構造リンクを改善することにより、検索の効果が向上するだろう。
【0086】
ステージ３６の最後で、概念マッピング回路２６は、ステージ３４の最後で出力された概念セットを解剖学的概念に双方向マッピング機能を用いてマッピングすることで決定した１つまたは複数の解剖学的領域を出力する。ステージ３６の最後で出力される当該１つまたは複数の解剖学的領域は、例えば汎用人体構造を参照した抽象タームで定義される。
【0087】
図２の実施形態では、ステージ３２、３４、３６は別々のステージとして説明された。他の実施形態では、ステージ３２、３４、３６の少なくとも一部が、１つのステージに組み合わせられてよい。例えば、１つのステージがステージ３４のナレッジグラフとステージ３６の更なるオントロジーとの両方をトラバースしてよい。
【0088】
ステージ３７で、画像回路２８は、患者または他の被検体の少なくとも一部を表す医用画像データを受け取る。画像回路２８は、第１取得部の一例である。医用画像データは、例えばＭＲ，ＣＴ，コーンビームＣＴ，ＰＥＴ，Ｘ線、または超音波などの任意の好適な撮像モダリティでの医用撮像により得られたものであってよい。他の実施形態では、画像回路２８は、図２の方法の任意の好適なステージで医用画像データを受け取ってよい。例えば、医用画像データを、ステージ３０のテキストクエリの前に受け取ってよい。いくつかの実施形態では、例えば、医用画像データ内の特定の生体構造を見つけるために、ユーザが当該医用画像データを参照してテキストクエリを入力してよい。いくつかの実施形態では、例えばステージ３６で出力される解剖学的領域に応じて、自動的または半自動的に医用画像データを読み出してよい。
【0089】
本実施形態では、医用画像データは２次元画像データを含む。２次元画像データは、スキャナから取得されるボリューメトリック撮像データに対してレンダリング処理を行うことで得られたものであってよい。２次元画像データは、複数のピクセルごとに個別のデータ値を備える。データ値は、複数のピクセルごとに個別の強度および／または色を表してよい。他の実施形態では、医用画像データはボリューメトリック画像データを含んでよい。いくつかの実施形態では、医用画像データは、２次元画像データと、当該２次元画像データのレンダリング元であるボリューメトリック画像データとを含んでよい。いくつかの実施形態では、画像回路２８は、ボリューメトリック画像データを受け取り、当該ボリューメトリック画像データを用いて２次元画像データセットをレンダリングしてよい。
【0090】
ステージ３８で、画像回路２８は医用画像データを処理して、当該医療画像データ内の１つまたは複数の解剖学的ランドマークのロケーションを得る。画像回路２８は、医療画像データ内の解剖学的ランドマークをロケーティングする任意の好適な方法を用いてよい。例えば、いくつかの実施形態では、画像回路２８は、Ｍ． Ｄａｂｂａｈ， Ｓ． Ｍｕｒｐｈｙ， Ｈ． Ｐｅｌｌｏ， Ｒ． Ｃｏｕｒｂｏｎ， Ｅ． Ｂｅｖｅｒｉｄｇｅ， Ｓ． Ｗｉｓｅｍａｎ， Ｄ． Ｗｙｅｔｈ， ａｎｄ Ｉ． Ｐｏｏｌｅ， “Ｄｅｔｅｃｔｉｏｎ ａｎｄ ｌｏｃａｔｉｏｎ ｏｆ １２７ ａｎａｔｏｍｉｃａｌ ｌａｎｄｍａｒｋｓ ｉｎ ｄｉｖｅｒｓｅ ＣＴ ｄａｔａｓｅｔｓ” ＳＰＩＥ Ｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ， ｖｏｌ． ９０３４， ２０１４に記載される方法を用いてよい。この文献は参照により本明細書に組み込まれる。他の実施形態では、医用画像データにおける解剖学的ランドマークのロケーションを当該医用画像データとともに受け取ってよい。
【0091】
画像回路２８は、医用画像データにおいて特定された解剖学的ランドマークを使用して、ステージ３６で特定された１つまたは複数の解剖学的領域を医用画像データ上にマッピングする。例えば、松果腺が解剖学的領域として特定され、ステージ３６で出力された場合、画像回路２８は、医用画像データにおいて特定された松果腺の解剖学的ランドマークを用いて、松果腺を医用画像データにおいてロケーティングしてよい。
【0092】
画像回路２８が実行するマッピングは、ステージ３６で抽象タームにおいて定義されたロケーションを、画像の具体的な位置にリンク付ける。ここで、画像は患者または他の被検体を表す。当該位置は、個々のランドマークのロケーションまたは、１つまたは複数のランドマークを囲む領域、またはランドマーク間の領域を含んでよい。
【0093】
当該マッピングは、解剖学的ランドマーク概念から医用画像データにおいて定義される解剖学的ランドマーク位置への単純なリンクを含んでよい。当該マッピングは、例えば双方向マッピング機能により定義される領域定義などの、生体構造に関連する領域を定義する領域定義を使用することを含んでよい。当該マッピングは、位置合わせ処理または任意の他の好適なマッピング処理を含んでよい。
【0094】
いくつかの実施形態では、ランドマーク周囲またはランドマーク間の解剖学的領域をステージ３６で定義し、その後ステージ３８で医用画像データへマッピングしてよい。他の実施形態では、医用画像データにおける個々のランドマークのロケーションをステージ３８で決定し、その後医用画像データにおけるランドマーク周囲またはランドマーク間の領域を決定してよい。例えば、空間充填法を使用して、１つまたは複数のランドマーク周囲の領域を医用画像データにおいて生成してよい。当該空間充填法はボロノイ（Ｖｏｒｏｎｏｉ）法を含んでよい。
【0095】
当該マッピングは、図２の前段のステージで決定または修正された関連スコアを活用してよい。例えば、当該マッピングは関連スコアを活用して、医用画像データ上の最も関連する解剖学的領域を特定してよい。
【0096】
ステージ３０のマッピングは、医用画像データに又は医用画像データ内の関心領域に関連する解剖学的領域を選択することを含んでよい。例えば、状況次第でユーザは、関心領域を選択してよい、若しくは、関心領域だけが示されるようにズームインしてよい。画像回路２８は関心領域を使用して、解剖学的領域（例えば、解剖学的ランドマーク）だけが示されるように当該マッピングを知らせてよい。例えば、画像がズームされる場合、画像回路２８は、ズームされた画像内にある役立つ程度に可視である解剖学的領域のみをマッピングしてよい。
【0097】
画像回路２８は、関心領域、ズームレベル、または他の画像パラメータを用いて、異なる抽象化レベルを選んでよい。例えば、ステージ３４で返った概念セットは、個々の解剖学的ランドマークと、当該ランドマークに関するより小さな解剖学的構造（例えば目）と、より大きな解剖学的構造（例えば頭部）とを含んでよい。画像回路２８は、個々の解剖学的ランドマーク、より小さな解剖学的構造、および／または、より大きな解剖学的構造をマッピングするか否かを、ズームレベルに基づいて選択してよい。当該異なる抽象化の関連スコアを、異なる抽象化が役立つ程度に可視であるべきか否かに基づいて増幅又は減衰してよい。
【0098】
いくつかの実施形態では、解剖学的概念（複数可）の医用画像データへのマッピングは、例えば不明瞭さを解決するための、解剖学的概念の選択を含んでよい。ステージ３４の最後に出力されその後解剖学的領域上にマッピングされる概念セットは、２つ以上の考え得る代替的概念を含んでよい。例えば、ｖｅｎｔｒｉｃｌｅ（心室／脳室）というタームは心臓と脳の両方に言及する。解剖学的概念（複数可）の医用画像データへのマッピングは、当該医用画像データが心臓を表すか、または、脳を表すかを判断し、それに従って解剖学的概念を選択することを含んでよい。別の例では、画像回路２８は、左手と右手との選択を行ってよい。いくつかの実施形態では、当該マッピングは、概念空間における距離および／または画像空間における距離に依存してよい。
【0099】
いくつかの実施形態では、医用画像データに関連するテキストを、解剖学的領域（複数可）の医用画像データへのマッピングに使用してよい。医用画像データは、例えば医用画像における検索結果または医用画像データの取得に関するテキストなどの、関連テキストを含むことが多い。医用画像データに関連するテキストを使用し、例えば、異なる可能なマッピング間における決定を行う、または、異なる可能なマッピングをランク付けしてよい。他の実施形態では、医用画像データに関連するテキストを図２の方法の任意の適切なステージに使用して、例えばナレッジグラフのトラバーサルを通知してよい。
【0100】
ステージ３８の最後に、画像回路２８は、ステージ３８で特定された１つまたは複数の解剖学的領域に対応する、医用画像データにおける１つまたは複数の位置を出力する。各位置は、医用画像データにおける点または範囲を含んでよい。いくつかの実施形態では、当該位置を例えば関連スコアを用いてランク付けしてよい。この場合、画像回路２８は、医用画像データ上の位置を特定している。このため、この場合の画像回路２８は、第５特定部の一例である。
【0101】
図２の実施形態では、画像回路２８は、ステージ３８に加えてステージ４０を行う。ステージ４０で、画像回路２８は、医用画像データをセグメンテーションして、１つまたは複数のセグメンテーションされた領域を得る。所与の生体構造の境界をマッピングするために、定義された概念のための任意のセグメンテーション法を用いてよい。セグメンテーションにより生成された境界は、鮮明かつ正確であってよい。
【0102】
他の実施形態では、画像回路２８が受け取った医用画像データは既にセグメンテーションデータを含み、画像回路２８はセグメンテーションを行わない。
【0103】
画像回路２８は、医用画像データにおいてセグメンテーションされた領域を使用して、ステージ３６で特定された１つまたは複数の解剖学的領域を医用画像データ上にマッピングする。例えば、ステージ３６で特定された１つまたは複数の解剖学的領域が肺を含む場合、画像回路２８は肺セグメンテーションを使用して、医用画像データ内に肺をロケーティングしてよい。画像回路２８は、関連スコアを活用して異なる解剖学的領域をランク付けしてよい、若しくは、関心領域、ズームレベル、または他の画像パラメータを、ステージ３８を参照して上記したものと同じ様に使用してよい。
【0104】
ステージ４０の最後に、画像回路２８は、ステージ３８で特定された１つまたは複数の解剖学的領域に対応する、医用画像データにおける１つまたは複数の位置を出力してよい。いくつかの実施形態では、当該位置を例えば関連スコアを用いてランク付けしてよい。
【0105】
ステージ４０は、ステージ３６で抽象タームにおいて定義されたロケーションを画像内の具体的なロケーション上へリンクする、代替的または追加的方法を提供してよい。ここで、当該画像は患者または他の被検体を表す。
【0106】
他の実施形態では、ステージ３８またはステージ４０を省略してよい。例えば、ロケーションは医用画像データにおいて、解剖学的ランドマークのみを用いて、または、セグメンテーションのみを用いて特定されてよい。更なる実施形態では、ステージ３６で特定された抽象的な解剖学的概念を、患者または他の被検体を表す医用画像データ上へマッピングするために、任意の好適な方法を用いてよい。いくつかの実施形態では、解剖学的アトラスにおいて特定された領域を、例えば画像位置合わせ方法を用いておよび／またはある表現から別の表現に変形するマニホールド（ｍａｎｉｆｏｌｄ）を用いて、医用画像データ上にマッピングしてよい。
【0107】
ステージ４２で、画像回路２８は、ステージ３８および／またはステージ４０で決定した医用画像データにおける位置をユーザに提供する。画像回路２８は、当該１つまたは複数の位置を、例えばディスプレイスクリーン１６上に表示される医用画像などの医用画像において、ユーザに強調してよい。例えば、画像回路２８は、色、シェーディング、またはアウトライン化を用いて当該１つまたは複数の位置を強調してよい。画像回路２８は、例えば当該１つまたは複数のロケーションでの生体構造を示すテキストなどの適切なテキストで、当該１つまたは複数の位置をラベル付けすることにより、当該１つまたは複数の位置を強調してよい。この場合、画像回路２８は、画像上で特定された位置を強調表示させる制御を行っていると言える。このため、この場合の画像回路２８は、表示制御部の一例である。
【0108】
要約すると、図２の方法は、解剖学的ランドマークまたは他の解剖学的領域を使用し、テキスト入力を行った検索者のために関連画像位置を読み出す。関連画像位置は、ＵＭＬＳオントロジー内のセマンティックリンクを用いて見つける。
【0109】
図２の方法は、医用画像内を検索する方法を提供してよい。医用画像データの１つのセットに関して図２の方法を上で説明したが、当該方法を複数画像の検索のために用いてもよい。例えば、図２の方法を、一人の患者に関する全ての医用画像を検索するために用いてよい。画像は異なるモダリティであってよい。図２の方法を、複数の患者の医用画像を検索するために用いてよい。
【0110】
図２の方法は、テキスト入力を用いて１つまたは複数の医用画像を検索する単刀直入な方法をユーザに提供してよい。テキスト入力は、ユーザが単純に行えるものであってよい。ユーザは、テキスト入力において所定のタームリストから正確なタームを使用することを求められなくてよい。その代わり、セマンティック機能を使用して、ユーザの入力を、後で生体構造および１つまたは複数の画像にマッピングされる概念に、マッピングしてよい。図２の方法は、医用画像を強調またはアノテーションして関連する生体構造を示すことにより、一部のユーザにとっては医用画像の読影が容易になるだろう。ユーザは、少ない手動ステップで所望の情報を得ることができるかもしれない。
【0111】
図２の実施形態では、医用画像上のロケーションを得るためにテキスト入力を用いる。他の実施形態では、関連テキスト情報を見つけるために医用画像上のロケーションを用いてよい。
【0112】
図３は、医用画像上で与えられた入力に依存してテキスト検索する方法の概要を示すフローチャートである。図３の方法は、医用ドキュメント内で関連内容を検索するために、画像ピクセルデータを用いる。図３の方法は、医用画像データ内で特定される解剖学的ランドマークを用いる。関連レポートを読み出すために画像空間入力を用いてよい。図２の方法は、ある画像モダリティにおけるクエリを使用して異なるモダリティのデータであるテキストデータを検索する、マルチモーダル検索法を提供する。
【0113】
ステージ５０で、画像回路２８は、患者または他の被検体の少なくとも一部を表す医用画像データを読み出す。この場合、画像回路２８は、医用画像データを取得していると言える。このため、この場合の画像回路２８は、第１取得部の一例である。医用画像データは、例えばＭＲ，ＣＴ，コーンビームＣＴ，ＰＥＴ，Ｘ線、または超音波などの任意の好適な撮像モダリティでの医用撮像により得られたものであってよい。
【0114】
本実施形態では、医用画像データは２次元画像データを含む。２次元画像データは、スキャナから取得されるボリューメトリック撮像データに対してレンダリング処理を行うことで得られたものであってよい。２次元画像データは、複数のピクセルごとに個別のデータ値を備える。データ値は、複数のピクセルごとに個別の強度および／または色を表してよい。他の実施形態では、医用画像データはボリューメトリック画像データを含んでよい。いくつかの実施形態では、医用画像データは、２次元画像データと、当該２次元画像データのレンダリング元であるボリューメトリック画像データとを含んでよい。いくつかの実施形態では、画像回路２８は、ボリューメトリック画像データを受け取り、当該ボリューメトリック画像データを用いて２次元画像データセットをレンダリングしてよい。
【0115】
画像回路２８は画像をユーザに表示する。当該画像は、２次元画像データに対応する、または、２次元画像データから得られるものである。
【0116】
例えば臨床医などの臨床ユーザは、画像クエリを入力する。画像クエリは表示された画像における位置の選択を含む。他の実施形態では、例えば任意の好適な医療専門家または研究者などの任意の好適なユーザにより当該位置を選択してよい。
【0117】
位置の選択は、画像内の点または領域の選択を含んでよい。いくつかの実施形態では、領域は画像全体であってよい。
【0118】
図２の実施形態では、位置は入力装置１８を用いて手動で入力される。例えば、入力装置１８はマウスを含んでよく、ユーザはマウスを使って点の上でクリックしてよい、または、例えばクリックとドラッグにより領域を定義して領域ボックスを定めてよい。他の実施形態では、任意の好適な種類のユーザ入力を用いてよい。ここで、ユーザ入力はシステム自体ではなくユーザにより与えられる入力である。いくつかの実施形態では、ユーザ入力が、ハンズオフ方法とも説明されることがあるハンズフリー方法を用いて行われる。例えば、アイトラッキング、視線トラッキング、音声認識、ジェスチャーコントロール、またはハンドトラッキングによりユーザ入力を行ってよい。ハンズオフ入力方法を用いることで、ユーザにとって入力の容易さと柔軟性が増すだろう。
【0119】
ヒットテストを一部の例で用いてよい。ヒットテストは、医用画像ビューワーのツールおよびコンピュータグラフィックにおける類似の（通常は３Ｄの）使用ケースに利用可能な方法であり得る。３Ｄでは、ユーザがスクリーン上でクリックすると、ボリュームに光線が投影され、光線が通過する各ボクセルをチェックする。ボクセルは「空（ｅｍｐｔｙ）」または「満（ｆｕｌｌ）」であり、ビームは空のボクセルを通過し続け、満ボクセルで停止する。光線が第１の「満」ボクセルで停止すると、何かにヒットしこのボクセルの位置がヒットした点として登録される。２Ｄでは、これは単一の「内側または外側」チェックに単純化される。
【0120】
ヒット点が見つかると、例えばランドマークなど他の点に対する距離が測定される。
【0121】
ある拡張では、「満」だけでなくより多くのクラスを設け得る、つまり、別々のオブジェクトは別々のラベルを有し得る。例えば、セグメンテーションがヒットされ、「心臓」のような当該セグメンテーションラベルを返し得る。
【0122】
画像回路２８は、画像空間またはスライス空間と説明されることがある、表示された画像の２次元座標空間内の１つまたは複数の座標に、ユーザの入力を転移する。言い換えると、画像回路２８は、医用画像データ上の位置に関する指定入力を受け付け、当該入力を表示された画像の２次元座標空間内の１つまたは複数の座標に転移している。このため、この場合の画像回路２８は、第１受付部の一例である。
【0123】
他の実施形態では、画像空間における１つまたは複数の位置を決定する任意の好適な方法を用いてよい。いくつかの実施形態では、当該１つまたは複数の位置は、ユーザが手動で決定するのではなく、自動でまたは半自動で決定される。
【0124】
いくつかの実施形態では、位置の選択は、例えばビュー方向またはズームレベルなどの１つまたは複数の撮像パラメータのユーザによる選択に基づいてよい。いくつかの実施形態では、画像空間は３次元空間であり、ユーザは画像回路２８が３次元座標に転移できる入力を与えてよい。例えば、ユーザは、例えば回転またはズームにより表示されている画像を操作する命令を入力し、画像回路２８は異なる画像パラメータを有する表示画像を再レンダリングおよび／または再表示してよい。画像回路２８は、例えばビュー方向などユーザが要求する１つまたは複数の画像パラメータを使用して、３次元空間における座標を得てよい。
【0125】
ステージ５２で、画像回路２８は医用画像データを処理して、医用画像データ内の１つまたは複数の解剖学的ランドマークのロケーションを得る。画像回路２８は、医用画像データ内の解剖学的ランドマークをロケーティングする任意の好適な方法を用いてよい。例えば、いくつかの実施形態では、画像回路２８は、Ｍ． Ｄａｂｂａｈ， Ｓ． Ｍｕｒｐｈｙ， Ｈ． Ｐｅｌｌｏ， Ｒ． Ｃｏｕｒｂｏｎ， Ｅ． Ｂｅｖｅｒｉｄｇｅ， Ｓ． Ｗｉｓｅｍａｎ， Ｄ． Ｗｙｅｔｈ， ａｎｄ Ｉ． Ｐｏｏｌｅ， “Ｄｅｔｅｃｔｉｏｎ ａｎｄ ｌｏｃａｔｉｏｎ ｏｆ １２７ ａｎａｔｏｍｉｃａｌ ｌａｎｄｍａｒｋｓ ｉｎ ｄｉｖｅｒｓｅ ＣＴ ｄａｔａｓｅｔｓ” ＳＰＩＥ Ｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ， ｖｏｌ． ９０３４， ２０１４に記載する方法を用いてよい。他の実施形態では、医用画像データ内のランドマークのロケーションを、当該医用画像データと共に受け取ってよい。
【0126】
画像回路２８は、ユーザの入力から得られた位置を、１つまたは複数の解剖学的ランドマークにマッピングする。例えば、ユーザが１つの解剖学的ランドマークのみを含む領域を特定した場合、画像回路２８はユーザの領域を当該解剖学的ランドマークにマッピングしてよい。ユーザが２以上の解剖学的ランドマークを含む領域を特定した場合、画像回路２８はユーザの領域を、含まれている解剖学的ランドマーク全てにマッピングしてよい。
【0127】
ユーザが解剖学的ランドマークを直接的に含まない点または領域を特定した場合、画像回路２８はユーザの入力を最近傍の解剖学的ランドマークに、または、所定数の最近傍の解剖学的ランドマークにマッピングしてよい。画像回路２８は、特定された点または領域の、画像内の１つまたは複数の事前にコンピューティングされたランドマークへの近さを判断してよい。当該近さを距離として表現してよい。画像回路２８は、当該近さに基づいて１つまたは複数のランドマークを返してよい。
【0128】
いくつかの実施形態では、画像回路２８は、ユーザの入力から得られる位置を、例えばランドマーク周囲またはランドマーク間の領域などの１つまたは複数の所定の解剖学的領域にマッピングする。
【0129】
ステージ５２の最後で、画像回路２８は、１つまたは複数の解剖学的ランドマークまたは他の解剖学的領域を表すデータを返す。いくつかの実施形態では、画像回路２８は、選択された位置から複数の解剖学的ランドマークまたは他のランドマークそれぞれまでの距離の個別測定を返してよい。画像回路２８は、距離順に解剖学的ランドマークをランク付けてよい。画像回路２８は、例えばユーザが選択した位置から所定距離を超える解剖学的ランドマークを廃棄することで、距離に基づいて解剖学的ランドマークを絞り込んでよい。いくつかの実施形態では、ユーザが所定距離を選択してよい。
【0130】
画像回路２８は、返された解剖学的ランドマークまたは他の解剖学的領域それぞれの関連度を示す関連スコアを生成してよい。例えば、関連スコアは、ユーザ入力から得られる位置からの距離に依存してよい。いくつかの実施形態では、画像回路２８は、ユーザによる関心領域またはズームレベルまたは他の画像パラメータの選択を使用して、例えば異なる解剖学的ランドマークなどの異なる解剖学的領域の関連スコアを取得してよい。関連スコアを、解剖学的領域が役立つ程度に可視であるべきか否かに基づいて、増幅又は減衰してよい。いくつかの実施形態では、複数の抽象化レベルの解剖学的領域を返してよく、関連スコアは異なる抽象化における関連レベルを増幅又は減衰してよい。
【0131】
図３の実施形態では、画像回路２８は、ステージ５２に加えてステージ５４を行う。ステージ５４で、画像回路２８は、医用画像データをセグメンテーションして、１つまたは複数のセグメンテーションされた領域を得る。所与の生体構造の境界をマッピングするために、定義された概念のための任意のセグメンテーション法を用いてよい。他の実施形態では、画像回路２８が受け取った医用画像データはセグメンテーションデータを既に含み、画像回路２８はセグメンテーションを行わない。
【0132】
画像回路２８は、医用画像データにおいてセグメンテーションされた領域を使用して、ユーザの入力から得られるロケーションを１つまたは複数の解剖学的領域にマッピングする。例えば、画像回路２８は、ユーザが選択した領域に肺が含まれることを、肺のセグメンテーションに基づいて特定してよい。この場合、画像回路２８は、概念を特定するために、解剖学的領域を特定している。このため、この場合の画像回路２８は、第１特定部の一例である。いくつかの実施形態では、画像回路２８は、選択された位置から複数のセグメンテーションされた領域それぞれまでの距離の個別測定を返してよい。画像回路２８は、距離順にセグメンテーションされた領域をランク付けてよい。画像回路２８は、例えばユーザが選択した位置から所定距離を超えるセグメンテーションされた領域を廃棄することで、距離に基づいてセグメンテーションされた領域を絞り込んでよい。いくつかの実施形態では、ユーザが所定距離を選択してよい。画像回路２８は、返された解剖学的ランドマークまたは他の解剖学的領域それぞれの関連度を示す関連スコアを生成してよい。例えば、関連スコアは、ユーザ入力から得られる位置からの距離に依存してよい。
【0133】
ステージ５４の最後に、画像回路２８は、１つまたは複数の解剖学的領域を表すデータを出力する。
【0134】
他の実施形態では、ステージ５２またはステージ５４を省略してよい。例えば、ユーザにより与えられたロケーションを、解剖学的ランドマークのみを用いてマッピングしてよい、または、セグメンテーションのみを用いて解剖学的領域上にマッピングしてよい。更なる実施形態では、任意の好適な解剖学的点または領域を医用画像データにおいて特定してよく、ユーザが特定する位置を解剖学的概念上へマッピングするために任意の好適な方法を用いてよい。例えば、医用画像データにおける位置を、例えば画像位置合わせ方法を用いて、解剖学的アトラス上にマッピングしてよい。
【0135】
ステージ５６で、概念マッピング回路２６は、図２を参照して上述した双方向マッピング機能を使用して、ステージ５２および／または５４で得られた解剖学的領域を医療オントロジー上にマッピングする、例えば、解剖学的ランドマークを医療オントロジー上にマッピングする。図３の実施形態では、図２のステージ３２を参照して上述したように、医療オントロジーはＵＭＬＳからの情報を含むナレッジグラフである。他の実施形態では、概念とその関係に関する情報を記憶するために、例えば任意の好適なデータベース、ナレッジグラフ、またはオントロジーなどの任意の好適なナレッジベースを用いてよい。いくつかの実施形態では、異なる概念空間を用いてよい。異なる概念空間はＵＭＬＳでなくてもよい。
【0136】
図２のステージ３６を参照して上述したように、双方向マッピング機能は、解剖学的ランドマークまたは他の解剖学的領域を表すノードを含む更なるオントロジーを備え、当該更なるオントロジーのノードと、ＵＭＬＳからの情報を含む当該ナレッジグラフのノードとのマッピングを含む。他の実施形態では、任意の好適なマッピング機能を用いてよく、いくつかの実施形態においては、当該ナレッジグラフにおけるノードに対して追加となるノードを含まなくてよい。
【0137】
ナレッジグラフがステージ５２で得られた解剖学的ランドマークに直接的に対応するノードを含む場合は、双方向マッピング機能は当該ランドマークを当該ノードにマッピングしてよい。例えば、ユーザが特定したロケーションがステージ５２で松果腺ランドマークにマッピングされた場合、双方向マッピング機能は、松果腺ランドマークをナレッジグラフ内の松果腺の概念にマッピングする。
【0138】
状況次第で、双方向マッピング機能は、複数の解剖学的領域をナレッジグラフ内の同一概念上にマッピングしてよい。状況次第で、双方向マッピング機能は、１つの解剖学的領域をナレッジグラフ内の複数の概念上にマッピングしてよい。例えば、当該概念は異なる抽象化レベルまたは異なるカテゴリーであってよく、下位語または上位語を備えてよい。
【0139】
ステージ５６の最後に、概念マッピング回路２６は、ナレッジグラフの１つまたは複数の概念を出力する。この場合、概念マッピング回路２６は、概念を特定していると言える。このため、この場合の概念マッピング回路２６は、第１特定部の一例である。各概念は個別の概念固有識別子（ＣＵＩ）により特定される。
【0140】
概念マッピング回路２６は、自身が出力する概念それぞれの個別の関連スコアを生成、転写、または修正してよい。例えば、関連スコアはステージ５４で決定した距離に基づいてよく、または、それらの抽象化レベルを用いて概念をランク付けしてよい。
【0141】
ステージ５８で、ナレッジ回路２４はセマンティック検索機能を使用して、ステージ５６で得られた概念（複数可）を関連タームへ拡張する。また、セマンティック検索機能は当該概念（複数可）を関連ノードへ拡張してよい。セマンティック検索機能は、図２のステージ３４を参照して上述したものと類似してよい。
【0142】
セマンティック検索機能は、医療オントロジーに少なくとも部分的に基づいて関連タームを決定してよい。追加して、または、代替として、セマンティック検索機能は、レーベンシュタイン（Ｌｅｖｅｎｓｈｔｅｉｎ）編集距離などの編集距離を用いるファジーマッチング、例えばメタフォン（Ｍｅｔａｐｈｏｎｅ）などのマッチングアルゴリズムを用いる音声マッチング、ステミング、および／または、略語の辞書ルックアップ、のうちの少なくとも１つに少なくとも部分的に基づいて、関連タームを決定してよい。例えば米国特許出願番号１７／０１１，３６３に記載されるモデルなどの機械学習モデルを使って関連タームを決定してよい。米国特許出願番号１７／０１１，３６３は参照により本明細書に組み込まれる。
【0143】
セマンティック検索機能は、例えば図２を参照して上述したトラバーサル規則などの任意の好適なトラバーサル規則を用いて、ナレッジグラフをトラバースしてよい。セマンティック検索機能は、条件づけられた概念のリンク付けを用いて、ナレッジグラフをトラバースしてよい。セマンティック検索機能は、ナレッジグラフ内の距離を使用して、例えば距離を所定距離に制限することにより、概念をランク付けおよび／または絞り込んでよい。所定距離はいくつかの実施形態ではユーザにより選択されるものであってよい。
【0144】
いくつかの実施形態では、医用画像データに関連するテキストをナレッジグラフのトラバーサルに、または、図３の方法の任意の他の適切なステージに、用いてよい。例えば、医用画像データにおける検索結果に関するテキストを使用して、概念をランク付けおよび／または絞り込む、若しくは、概念ごとの個別の関連スコアを得てよい。更なる実施形態では、ユーザは、画像クエリに加えてテキストクエリを入力してよく、テキストクエリからの情報をナレッジグラフのトラバーサルに、または、図３の方法の任意の他の適切なステージに、用いてよい。
【0145】
ステージ５８の最後に、ナレッジ回路２４は関連タームのセットと概念のセットとを得た。概念のセットは、ステージ５６で特定されたいずれかの概念と、ステージ５８で特定されたいずれかの関連概念とを含む。ナレッジ回路２４は、関連タームおよび／または概念ごとの個別の関連スコアを生成、転写、または修正してよい。
【0146】
ステージ６０で、ナレッジ回路２４は、概念セットの概念ごとの表層形式の個別のセットを返す、逆エンティティリンキング・プロシージャを行う。表層形式は、テキスト文字列として返される。
【0147】
ステージ６２で、ナレッジ回路２４は、概念セットの表層形式を出力する。いくつかの実施形態では、ナレッジ回路２４は、表層形式のうちの１つまたは複数をユーザに表示してよい。
【0148】
ステージ６４で、ナレッジ回路２４は表層形式を使用して、例えば１つまたは複数のドキュメントなどのテキストのコーパス内で表層形式のインスタンスを求める文字列検索を行う。例えば、ドキュメントはステージ５０で得られる医用画像データとして同一患者に関する臨床ノートであってよい。ドキュメントはユーザが選択したドキュメントであってよい。ナレッジ回路２４は、ドキュメント（複数可）内のいずれかの表層形式のいずれかのインスタンスを特定する。いくつかの実施形態では、ナレッジ回路２４は、表層形式内に含まれない関連タームを検索してもよい。更なる実施形態では、ナレッジ回路２４は、例えばドキュメント、スプレッドシート、テスト結果、または、例えば医用画像を伴うメタデータテキストなどのメタデータテキスト、などの任意のテキストデータソース内で検索を行ってよい。
【0149】
ナレッジ回路２４は、ドキュメント（複数可）をユーザに例えばディスプレイスクリーン１６上に表示してよい。表層形式のうちの１つまたは複数を含むドキュメントの部分が表示されるように、それぞれ表示してよい。例えば、色、アウトライン化、または任意の他の好適な視覚効果などの、任意の好適な方法で、表層形式をドキュメント（複数可）内で強調してよい。
【0150】
他の実施形態では、例えば任意の好適な検索機能などの任意の好適な更なる機能に表層形式を与えてよい。いくつかの実施形態では、表層形式および／またはドキュメント内の表層形式のインスタンスは、ユーザに直接的に表示されなくてよい。いくつかの実施形態では、ステージ６４を省略してよい。
【0151】
一例では、ユーザは例えばマウス選択を用いて画像内のロケーションを与える。ロケーションは、左耳上端を表す解剖学的ランドマークの右側までと、左側脳室を表す解剖学的ランドマークの左側まで、である。概念マッピング回路２６は、左耳上端の右側までと、左側脳室の左側までとの領域を、「ｌｅｆｔ ｔｅｍｐｏｒａｌ ｌｏｂｅ（左側頭葉）」と「ｌｅｆｔ ｌｏｂｅ ｔｅｍｐｏｒａｌ（左側頭葉）」の表層形式を有するＵＭＬＳ概念Ｃ０２２８２３３にマッピングする。ナレッジ回路２４は、ドキュメント内で表層形式を検索し、テキスト「左側頭葉に異常…」を含むテキストデータを見つける。その後ナレッジ回路２４は、このテキストをユーザに強調してよい。ナレッジ回路２４は、テキストデータを特定しているため、第２特定部の一例である。
【0152】
いくつかの例では、マウスカーソルベースのツールのためのフレームワークが、クリックされた又はクリックアンドドラッグされた点に基づいて、医用画像と相互作用し、いくつかのアクションを行うことができる。これは、ズームレベルの制御、ウィンドゥ幅または表示濃度のウィンドゥレベルの変更、テキストまたはラインアノテーション、セグメンテーションの選択のためのヒットテストの実行、または任意の他の好適なアクションの実行であってよい。
【0153】
図３の方法はランドマークを使用して、画像空間内の入力を用いて関連レポートをユーザのために読み出してよい。ＵＭＬＳオントロジーのセマンティックリンクを用いて、関連テキスト情報を見つけ出してよい。
【0154】
図３の方法は、医用画像に関する入力に基づいてテキストを検索する方法を提供してよい。自動テキスト検索機能を提供してよい。
【0155】
図３の方法は、医用画像上で与えられる入力を用いて１つまたは複数のドキュメントを検索する単刀直入な方法をユーザに提供してよい。医用画像上の点または領域の特定はユーザにとって単純であってよい。その後セマンティック機能を使用して、ユーザの入力を、後で概念におよび当該概念の表層形式にマッピングされる生体構造へマッピングしてよい。その後、既知のテキスト方法を用いてテキストデータ内の表層形式を見つけてよい。
【0156】
図３の方法により、ユーザは状況次第で健康記録内の関連する参考文献を、手動でドキュメントを検索する必要なく、且つ、有用でありそうな検索タームを考える必要なく、見つけることができる。
【0157】
図２および／または図３の方法は、画像をノートに、または、ノートを前の画像に比較する処理の速度を上げることで、放射線学またはＰＡＣＳの経験を積んだユーザに利益をもたらし、ユーザ効率の増進につながり得る。
【0158】
図２および／または図３の方法は、医療スタッフを未見データでトレーニングする方法を提供してよい。既存のトレーニングは、関心のある且つ関連する医用画像の特徴を指摘するためにエキスパートアノテーションを必要とするだろう。概念から領域へのマッピングを使用することで、手動での準備なしに自動的に新たなスキャンで情報が利用可能となってよい。例えば、解剖学的ラベル付けを自動的に与えてよい、または、ユーザがクリックした解剖学的領域に関する情報を見つけるためにユーザが画像上でクリック可能であってよい。そのような情報を提供することで、より容易なトレーニングを可能にしてよい。画像読影またはレポートを読むことについて専門家ではないユーザにとっては、画像読影またはレポートを読むための手助けとなるかもしれない。画像内の何かをクリックにより、テキスト説明へ進んでよい。テキストを入力または選択により、画像の対応する部分へ進んでよい。
【0159】
上述したいくつかの実施形態では、距離は、例えば画像空間におけるまたはナレッジグラフの概念空間における距離は、関連リターンをランク付けまたは絞り込むために用いられる。他の実施形態では、任意の好適な空間（例えば、スライス空間、画像空間、単語埋め込み空間などの潜在的概念空間、またはナレッジグラフの概念空間）における距離を、結果をランク付けるおよび／または絞り込むために用いてよい。結果のランク付けるおよび／または絞り込むために距離を適切な空間において使用することで、それ自身は直接一致ではない複数の検索ヒットを有用に返せる。更なる実施形態では、上記の特定の実施形態に関連して説明した距離を、任意の好適な実施形態に適用してよい。例えば、図２の実施形態に関連して説明した距離を図３の実施形態に適用してよいし、その逆であってもよい。
【0160】
【0161】
上述した実施形態では、図２の方法と図３の方法との両方を、装置１０の同一の回路で実行する。他の実施形態では、図２の方法と図３の方法とを異なる装置または装置の任意の好適な組み合わせで実行してよい。図２および／または図３の方法の少なくとも一部を、クラウドベースのリソースを用いて行ってよい。
【0162】
上記したいくつかの実施形態では、情報は患者に関するＥＨＲから得られる。他の実施形態では、対応する方法を任意の人間または動物の被検体の任意の好適な医用データに対して行ってよい。更なる実施形態では、対応する方法を非医用テキストデータおよび画像データを用いて行ってよい。
【0163】
特定の回路が本明細書において説明されているが、代替の実施形態において、これらの回路の内の１つまたは複数の機能を、１つの処理リソースまたは他のコンポーネントによって提供することができ、または、１つの回路によって提供される機能を、２つまたはそれより多くの処理リソースまたは他のコンポーネントを組み合わせることによって提供することができる。１つの回路への言及は、当該回路の機能を提供する複数のコンポーネントを包含し、そのようなコンポーネントがお互いに隔たっているか否かにかかわらない。複数の回路への言及は、それらの回路の機能を提供する１つのコンポーネントを包含する。
【0164】
いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、実施形態同士の組み合わせを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【0165】
以上の実施形態に関し、発明の一側面および選択的な特徴として以下の付記を開示する。
【0166】
（付記１）
ナレッジグラフを記憶する記憶部と、医用画像データを取得する第１取得部と、医用画像データ上の位置に関する指定を受け付ける第１受付部と、指定された位置を含む概念をナレッジグラフ上で特定する第１特定部と、概念に含まれるターム有するテキストデータを特定する第２特定部と、を備える医用情報処理システム。
（付記２）
ナレッジグラフを記憶する記憶部と、医用画像データを取得する第１取得部と、テキストクエリを取得する第２取得部と、テキストクエリに対応するナレッジグラフ上のノードを特定する第３特定部と、特定されたノードに対応する概念を特定する第４特定部と、特定された概念に含まれる取得された前記医用画像データ上の位置を特定する第５特定部と、を備える医用情報処理システム。
（付記３）
手動でまたは自動で選択された画像内の点または領域として定義された画像クエリと、事前にコンピューティングされたランドマークへの当該画像内における近さの観点から当該画像クエリを説明するマッピングと、オントロジーにおいてランドマークを概念にリンク付けする更なるマッピングと、当該オントロジーの表層形式を用いた当該オントロジーの当該概念から関連テキストタームへのリンクと、を備えたコンピュータ方法であって、当該方法は当該所与のクエリに関する関連テキスト読み出し効果をもたらす。
（付記４）
当該方法は、（スライス空間、画像空間、潜在的概念空間、またはナレッジグラフエッジ距離）における距離を使用して、それ自身は直接一致ではない複数の検索ヒットを有用に返せるように、関連リターンをランク付けるおよび／または絞り込む方法を追加的に含んでよい。随意選択で、ユーザがこの距離パラメータを設定し、結果セットを変えてよい。
（付記５）
当該方法は、アイトラッキング、視線トラッキング、音声認識、ジェスチャーコントロール、ハンドトラッキングのうちの任意のものまたは複数を行い、当該画像クエリを選択してハンズオフ操作を可能にする装置を追加的に含んでよい。
（付記６）
当該方法は、当該オントロジーからのレベルがより高い概念をマッチングするためにランドマークを集約する方法を追加的に含んでよい。
（付記７）
当該方法は、テキストのコーパスに対して与えられる当該関連テキストタームをマッチングするシステム（すなわち、自動テキスト検索機能）を追加的に含んでよい。
（付記８）
当該方法は、ランドマークとして用いられる当該画像領域または点を生成するセグメンテーション方法を追加的に含んでよい。
（付記９）
当該方法は、当該画像に付加された検索結果をランドマークとして用いる領域として使用し、強調された検索結果に関するテキストタームの包括に影響を与える方法を追加的に含んでよい。
（付記１０）
当該方法は、ユーザインターフェイスのズームレベルを使用して、当該セクションが役立つ程度に可視であるべきであるか否かに基づいて、異なる抽象化の関連スコアを増幅または減衰する方法を追加的に含んでよい。
（付記１１）
手動でまたは自動で選択されたテキスト文字列として定義されたテキストクエリと、当該テキストクエリをオントロジー内の概念にリンク付けるマッピングと、ランドマーク空間におけるロケーションの抽象的定義への更なるマッピング概念と、ランドマーク概念に対する抽象タームにおいて定義されるロケーションから画像への、画像内の点または領域を表す抽出されたランドマークに基づくリンクと、を備えたコンピュータ方法であって、当該方法は当該所与のクエリに関する画像領域読み出し効果をもたらす。
（付記１２）
当該方法は、（スライス空間、画像空間、潜在的概念空間、またはナレッジグラフエッジ距離）における距離を使用して、それ自身は直接一致ではない複数の検索ヒットを有用に返せるように、関連リターンをランク付けるおよび／または絞り込む方法を追加的に含んでよい。随意選択で、ユーザがこの距離パラメータを設定し、結果セットを変えてよい。
（付記１３）
当該方法は、アイトラッキング、視線トラッキング、音声認識、ジェスチャーコントロール、ハンドトラッキングのうちの任意のものまたは複数を行い、当該テキストクエリを選択してハンズオフ操作を可能にする装置を追加的に含んでよい。
（付記１４）
当該方法は、当該オントロジーからのレベルがより高い概念をマッチングするためにランドマークを集約する方法を追加的に含んでよい。
（付記１５）
当該方法は、テキストのコーパスに対して与えられる当該関連テキストタームをマッチングするシステム（すなわち、自動テキスト検索機能）を追加的に含んでよい。
（付記１６）
当該方法は、ランドマークとして用いられる当該画像領域または点を生成するセグメンテーション方法を追加的に含んでよい。
（付記１７）
当該方法は、当該画像への最終連結における近傍の関心点を探すときに、当該画像に付加された検索結果を含める方法を追加的に含んでよい。
（付記１８）
当該方法は、ユーザインターフェイスのズームレベルを使用して、当該セクションが役立つ程度に可視であるべきであるか否かに基づいて、異なる抽象化の関連スコアを増幅または減衰する方法を追加的に含んでよい。
ナレッジグラフを記憶する記憶部と、医用画像データを取得する第１取得部と、医用画像データ上の位置に関する指定を受け付ける第１受付部と、指定された位置を含む概念をナレッジグラフ上で特定する第１特定部と、概念に含まれるターム有するテキストデータを特定する第２特定部と、を備える医用情報処理システム。
（付記２）
ナレッジグラフを記憶する記憶部と、医用画像データを取得する第１取得部と、テキストクエリを取得する第２取得部と、テキストクエリに対応するナレッジグラフ上のノードを特定する第３特定部と、特定されたノードに対応する概念を特定する第４特定部と、特定された概念に含まれる取得された前記医用画像データ上の位置を特定する第５特定部と、を備える医用情報処理システム。
（付記３）
手動でまたは自動で選択された画像内の点または領域として定義された画像クエリと、事前にコンピューティングされたランドマークへの当該画像内における近さの観点から当該画像クエリを説明するマッピングと、オントロジーにおいてランドマークを概念にリンク付けする更なるマッピングと、当該オントロジーの表層形式を用いた当該オントロジーの当該概念から関連テキストタームへのリンクと、を備えたコンピュータ方法であって、当該方法は当該所与のクエリに関する関連テキスト読み出し効果をもたらす。
（付記４）
当該方法は、（スライス空間、画像空間、潜在的概念空間、またはナレッジグラフエッジ距離）における距離を使用して、それ自身は直接一致ではない複数の検索ヒットを有用に返せるように、関連リターンをランク付けるおよび／または絞り込む方法を追加的に含んでよい。随意選択で、ユーザがこの距離パラメータを設定し、結果セットを変えてよい。
（付記５）
当該方法は、アイトラッキング、視線トラッキング、音声認識、ジェスチャーコントロール、ハンドトラッキングのうちの任意のものまたは複数を行い、当該画像クエリを選択してハンズオフ操作を可能にする装置を追加的に含んでよい。
（付記６）
当該方法は、当該オントロジーからのレベルがより高い概念をマッチングするためにランドマークを集約する方法を追加的に含んでよい。
（付記７）
当該方法は、テキストのコーパスに対して与えられる当該関連テキストタームをマッチングするシステム（すなわち、自動テキスト検索機能）を追加的に含んでよい。
（付記８）
当該方法は、ランドマークとして用いられる当該画像領域または点を生成するセグメンテーション方法を追加的に含んでよい。
（付記９）
当該方法は、当該画像に付加された検索結果をランドマークとして用いる領域として使用し、強調された検索結果に関するテキストタームの包括に影響を与える方法を追加的に含んでよい。
（付記１０）
当該方法は、ユーザインターフェイスのズームレベルを使用して、当該セクションが役立つ程度に可視であるべきであるか否かに基づいて、異なる抽象化の関連スコアを増幅または減衰する方法を追加的に含んでよい。
（付記１１）
手動でまたは自動で選択されたテキスト文字列として定義されたテキストクエリと、当該テキストクエリをオントロジー内の概念にリンク付けるマッピングと、ランドマーク空間におけるロケーションの抽象的定義への更なるマッピング概念と、ランドマーク概念に対する抽象タームにおいて定義されるロケーションから画像への、画像内の点または領域を表す抽出されたランドマークに基づくリンクと、を備えたコンピュータ方法であって、当該方法は当該所与のクエリに関する画像領域読み出し効果をもたらす。
（付記１２）
当該方法は、（スライス空間、画像空間、潜在的概念空間、またはナレッジグラフエッジ距離）における距離を使用して、それ自身は直接一致ではない複数の検索ヒットを有用に返せるように、関連リターンをランク付けるおよび／または絞り込む方法を追加的に含んでよい。随意選択で、ユーザがこの距離パラメータを設定し、結果セットを変えてよい。
（付記１３）
当該方法は、アイトラッキング、視線トラッキング、音声認識、ジェスチャーコントロール、ハンドトラッキングのうちの任意のものまたは複数を行い、当該テキストクエリを選択してハンズオフ操作を可能にする装置を追加的に含んでよい。
（付記１４）
当該方法は、当該オントロジーからのレベルがより高い概念をマッチングするためにランドマークを集約する方法を追加的に含んでよい。
（付記１５）
当該方法は、テキストのコーパスに対して与えられる当該関連テキストタームをマッチングするシステム（すなわち、自動テキスト検索機能）を追加的に含んでよい。
（付記１６）
当該方法は、ランドマークとして用いられる当該画像領域または点を生成するセグメンテーション方法を追加的に含んでよい。
（付記１７）
当該方法は、当該画像への最終連結における近傍の関心点を探すときに、当該画像に付加された検索結果を含める方法を追加的に含んでよい。
（付記１８）
当該方法は、ユーザインターフェイスのズームレベルを使用して、当該セクションが役立つ程度に可視であるべきであるか否かに基づいて、異なる抽象化の関連スコアを増幅または減衰する方法を追加的に含んでよい。
【符号の説明】
【0167】
１０ 装置
１２ コンピューティング装置
１６ ディスプレイスクリーン
１８ 入力装置
２０ データ記憶部
２２ 処理装置
２４ ナレッジ回路
２６ 概念マッピング回路
２８ 画像回路
１２ コンピューティング装置
１６ ディスプレイスクリーン
１８ 入力装置
２０ データ記憶部
２２ 処理装置
２４ ナレッジ回路
２６ 概念マッピング回路
２８ 画像回路
【図1】
【図2】
【図3】