特開 2024-172049 画像生成装置、画像の生成方法、プログラム、および画像

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024172049

(43)【公開日】2024-12-12

(54)【発明の名称】画像生成装置、画像の生成方法、プログラム、および画像

(51)【国際特許分類】

   G06T 19/00 20110101AFI20241205BHJP

   A61B 8/00 20060101ALI20241205BHJP

   A61B 1/00 20060101ALI20241205BHJP

【ＦＩ】

G06T19/00 600

A61B8/00

A61B1/00 V

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2023089474

(22)【出願日】2023-05-31

(71)【出願人】

【識別番号】522396366

【氏名又は名称】株式会社レーマン

(74)【代理人】

【識別番号】100114775

【弁理士】

【氏名又は名称】高岡 亮一

(74)【代理人】

【識別番号】100121511

【弁理士】

【氏名又は名称】小田 直

(74)【代理人】

【識別番号】100208580

【弁理士】

【氏名又は名称】三好 玲奈

(72)【発明者】

【氏名】永田 徳子

(72)【発明者】

【氏名】高柳 航

(72)【発明者】

【氏名】大桑 あずさ

(72)【発明者】

【氏名】櫻井 晃辰

【テーマコード（参考）】

4C161

4C601

5B050

【Ｆターム（参考）】

4C161JJ10

4C161SS21

4C601EE11

4C601KK21

5B050AA02

5B050BA09

5B050BA12

5B050CA07

5B050CA08

5B050DA04

5B050EA09

5B050EA19

5B050EA27

5B050FA08

5B050FA13

(57)【要約】

【課題】精度の高い医療用のイラストの作成に費やす労力を低減する技術を提供する。
【解決手段】３Ｄモデルを用いた医療用の画像を生成する画像生成装置１０である。画像生成装置１０は、ユーザからの指示に基づいてモードを選択する選択部１１と、ユーザからの３Ｄモデルの指定を受け付ける指定部１２と、指定された少なくとも一つの３Ｄモデルを、３Ｄモデル群が格納されたデータベース３０から取得する取得部１３と、選択されたモードに応じた、３Ｄモデルに対する状態の変更要求に基づいて、３Ｄモデルの状態を変更させる変更部１４と、変更された状態の３Ｄモデルを含む画像を表示画面に表示させる表示制御部１５と、を有する
【選択図】図１

【特許請求の範囲】

【請求項1】

３Ｄモデルを用いた医療用の画像を生成する画像生成装置であって、
ユーザからの指示に基づいてモードを選択する選択部と、
前記ユーザからの前記３Ｄモデルの指定を受け付ける指定部と、
指定された少なくとも一つの前記３Ｄモデルを、３Ｄモデル群が格納されたデータベースから取得する取得部と、
選択された前記モードに応じた、前記３Ｄモデルに対する状態の変更要求に基づいて、前記３Ｄモデルの状態を変更させる変更部と、
変更された状態の前記３Ｄモデルを含む画像を表示画面に表示させる表示制御部と、を有することを特徴とする画像生成装置。

【請求項2】

前記選択部において、第１のモードが選択された場合、
前記変更部は、前記３Ｄモデルの解剖学的構造に基づいて分割された部位毎の色、質感、および表示／非表示、前記３Ｄモデルの姿勢、前記３Ｄモデルに対する視点、前記３Ｄモデルの組み合わせ、前記３Ｄモデルの動作状態、並びに症状の発症状態の少なくとも一つを変更可能であることを特徴とする請求項１に記載の画像生成装置。

【請求項3】

前記選択部において、第２のモードが選択された場合、
指定された少なくとも一つの前記３Ｄモデルは、人体の３Ｄモデルを含み、
前記変更部は、前記３Ｄモデルを仮想空間内に配置可能であって、前記仮想空間内に配置された前記人体の３Ｄモデルが有する視点から見た前記仮想空間へ前記３Ｄモデルの状態を変更可能であり、
前記表示制御部は、前記視点から見た前記仮想空間の画像を前記表示画面に表示させることを特徴とする請求項１に記載の画像生成装置。

【請求項4】

前記選択部において、第３のモードが選択された場合、
指定された少なくとも一つの前記３Ｄモデルは、人体の少なくとも一部の３Ｄモデルを含み、
前記変更部は、人体の構造上の可動範囲内で、前記人体の少なくとも一部の３Ｄモデルの姿勢を変更可能であることを特徴とする請求項１に記載の画像生成装置。

【請求項5】

前記選択部において、第４のモードが選択された場合、
指定された少なくとも一つの前記３Ｄモデルは、人体の少なくとも一部の３Ｄモデルを含み、
前記変更部は、前記人体の少なくとも一部の３Ｄモデル上の仮想超音波プローブを当てる位置を変更可能であって、
前記表示制御部は、前記仮想超音波プローブの動きに応じた、仮想超音波画像を前記表示画面に表示させることを特徴とする請求項１に記載の画像生成装置。

【請求項6】

前記選択部において、第５のモードが選択された場合、
指定された少なくとも一つの前記３Ｄモデルは、人体の少なくとも一部の３Ｄモデルを含み、
前記変更部は、前記人体の少なくとも一部の３Ｄモデルに仮想内視鏡を挿入するように、前記３Ｄモデルの状態を変更可能であって、
前記表示制御部は、前記仮想内視鏡の動きに応じた、仮想内視鏡画像を前記表示画面に表示させることを特徴とする請求項１に記載の画像生成装置。

【請求項7】

前記データベース格納される前記３Ｄモデル群には、医学的モデル、獣医学的モデル、並びに医療機器および器具モデルが含まれることを特徴とする請求項１に記載の画像生成装置。

【請求項8】

前記表示画面に表示された前記３Ｄモデルを含む画像を取得するための情報または画像ファイルを生成して出力する出力部をさらに有することを特徴とする請求項１に記載の画像生成装置。

【請求項9】

３Ｄモデルを用いた医療用の画像の生成方法であって、
ユーザからの指示に基づいてモードを選択し、
前記ユーザからの前記３Ｄモデルの指定を受け付け、
指定された少なくとも一つの前記３Ｄモデルを、３Ｄモデル群が格納されたデータベースから取得し、
選択された前記モードに応じた、前記３Ｄモデルに対する状態の変更要求に基づいて、前記３Ｄモデルの状態を変更し、
変更された状態の前記３Ｄモデルを含む画像を表示画面に表示することを特徴とする画像の生成方法。

【請求項10】

プログラム
請求項９に記載の画像の生成方法をコンピュータに実行させることを特徴とするプログラム。

【請求項11】

請求項１に記載の画像生成装置を用いて生成された画像。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像生成装置、画像の生成方法、プログラム、および画像生成装置を用いて生成された画像に関する。

【背景技術】

【0002】

医学論文では、通常、記述内容をより明確にするために解剖図等の挿絵が用いられる。医学論文に用いられる挿絵は、解剖学に基づいた適切な知識の下に作成される必要があり、かつ、論文の著者からの細かな要望に則したものである必要がある。このため従来は、専門的な知識を有するイラストレーターが、論文の著者の細かな要望をくみ取るために時間をかけて打ち合わせを行い、要望に則した挿絵を作成している。

【発明の概要】

【発明が解決しようとする課題】

【0003】

つまり、医療用のイラストを作成するためには、膨大な労力を費やす必要があった。また、医学分野の教育の観点からも、医療用イラストのニーズは多い。

【0004】

本発明は、以上のような課題に鑑みてなされたものであり、精度の高い医療用のイラストの作成に費やす労力を低減する技術を提供すること例示的目的とする。

【課題を解決するための手段】

【0005】

上記目的を達成するために、本発明の一側面としての画像生成装置は、３Ｄモデルを用いた医療用の画像を生成する画像生成装置であって、ユーザからの指示に基づいてモードを選択する選択部と、前記ユーザからの前記３Ｄモデルの指定を受け付ける指定部と、指定された少なくとも一つの前記３Ｄモデルを、３Ｄモデル群が格納されたデータベースから取得する取得部と、選択された前記モードに応じた、前記３Ｄモデルに対する状態の変更要求に基づいて、前記３Ｄモデルの状態を変更させる変更部と、変更された状態の前記３Ｄモデルを含む画像を表示画面に表示させる表示制御部と、を有することを特徴とする。

【発明の効果】

【0006】

本発明の一態様によれば、精度の高い医療用のイラストの作成に費やす労力を低減する技術を提供することができる。

【図面の簡単な説明】

【0007】

【図1】本実施形態に係る画像生成システムの構成を示す構成図である。

【図2】画像生成装置のハードウェア構成を示すブロック図である。

【図3】モデル選択モードにおける画像生成処理を示すフロー図である。

【図4】モデル選択モードで生成される画像の第１の例を説明する図である。

【図5】モデル選択モードで生成される画像の第２の例を説明する図である。

【図6】モデル選択モードで生成される画像の第３の例を説明する図である。

【図7】モデル選択モードで生成される画像の第４の例を説明する図である。

【図8】モデル選択モードで生成される画像の第５の例を説明する図である。

【図9】モデル配置モードにおける画像生成処理を示すフロー図である。

【図10】モデル配置モードで生成される画像の例を説明する図である。

【図11】視線選択がされた場合に生成される画像の例を説明する図である。

【図12】ポーズ変更モードにおける画像生成処理を示すフロー図である。

【図13】ポーズ変更モードで生成される画像の例を説明する図である。

【図14】エコーモードにおける画像生成処理を示すフロー図である。

【図15】エコーモードで生成される画像の例を説明する図である。

【図16】内視鏡モードにおける画像生成処理を示すフロー図である。

【図17】内視鏡モードで生成される画像の例を説明する図である。

【発明を実施するための形態】

【0008】

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。更に、添付図面においては、同一もしくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0009】

＜システム構成＞
図１は、本実施形態に係る画像生成システム１の構成を示す構成図である。画像生成システム１は、画像生成装置１０と、クライアント装置２０と、データベース３０と、管理者装置４０と、を含む。画像生成システム１は、ユーザによる入力操作に基づいて３Ｄモデルを用いた医療用の画像を生成するシステムである。画像生成システム１では、３Ｄモデルをユーザが思い描く状態に自由に変更し、該状態の画像を取得することができる。画像生成装置１０とクライアント装置２０、画像生成装置１０とデータベース３０、画像生成装置１０と管理者装置４０はそれぞれ、ネットワーク５０を介して通信可能に接続されている。ネットワーク５０は、例えば、インターネットやＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷｉＦｉなどの無線基地局、プロバイダ装置、専用回線などを含む。なお、本実施形態では、画像生成装置１０とデータベース３０が別体の装置である例を説明するが、データベース３０が画像生成装置１０の機能を有していてもよい。また、画像生成装置１０が管理者装置４０の機能を有していてもよい。

【0010】

まず、クライアント装置２０について説明する。クライアント装置２０は、ユーザからの指示に基づいて、画像生成装置１０における画像生成処理を行うための操作画面、および画像生成装置１０によって生成された画像を表示するコンピュータ（情報処理装置）である。クライアント装置２０は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、タブレットＰＣ、スマートフォン等である。ユーザは、クライアント装置２０を用いて、画像生成装置１０による画像生成のための指令を入力する。クライアント装置２０は、ユーザからの操作入力を受け付けるタッチパネルやキーボード、マウス等の入力装置を含む。また、クライアント装置２０は、液晶ディスプレイパネル、プラズマディスプレイパネル、有機ＥＬディスプレイパネル等の表示装置も含む。表示装置は、画像生成装置１０における画像生成処理を行うための操作画面、および画像生成装置１０によって生成された画像を表示する。また、クライアント装置２０は、プログラム等を実行するための制御部としてのＣＰＵを含む。

【0011】

次に、画像生成装置１０について説明する。画像生成装置１０は、複数のモードを有し、クライアント装置２０を用いて入力されたユーザからの操作に基づいて、３Ｄモデルを用いた医療用の画像を生成するコンピュータであり、例えば、サーバ装置である。画像生成装置１０は、例えば、クラウドコンピューティング技術を利用したクラウドサーバによって実現されてもよい。画像生成装置１０は、選択部１１と、指定部１２と、取得部１３と、変更部１４と、表示制御部１５と、出力部１６と、を備える。

【0012】

画像生成装置１０は、モデル選択モード（第１のモード）、モデル配置モード（第２のモード）、ポーズ変更モード（第３のモード）、エコーモード（第４のモード）、内視鏡モード（第５のモード）等の複数のモードを有する。選択部１１は、ユーザがクライアント装置２０を介して入力した指示に基づいてモードを選択する。

【0013】

指定部１２は、ユーザがクライアント装置２０を介して入力した３Ｄモデルの指定を受け付ける。具体的には、指定部１２は、選択されたモードに応じて、選択可能な３Ｄモデルのカテゴリをクライアント装置２０に表示させる。ユーザは、表示されたカテゴリから所望のカテゴリを指定する。指定部１２は、指定されたカテゴリを受け付け、指定されたカテゴリに含まれる３Ｄモデルのアイテムをクライアント装置２０に表示させる。ユーザは、表示されたアイテムから画像を入手したい３Ｄモデルを指定する。言い換えると、ユーザは、表示されたアイテムから自分が思い描く状態の画像を作成するために必要な３Ｄモデルを指定する。そして、指定部１２は、その指定を受け付ける。

【0014】

取得部１３は、指定された少なくとも一つの３Ｄモデルを、複数の３Ｄモデル、即ち、３Ｄモデル群が格納されたデータベース３０から取得する。

【0015】

ここで、データベース３０について説明する。データベース３０には、人体、人体の各部位（血管、筋肉、および骨等を含む）、人体の臓器、および人体に発症する炎症や腫瘍等の疾患を含む医学的モデル、動物の身体、その各部位（血管、筋肉、および骨等を含む）、動物の臓器、および動物の身体に発症する炎症や腫瘍等の疾患を含む獣医学的モデル、並びに医療機器および器具のモデルの３Ｄモデル群が格納されている。さらに、データベース３０には、３Ｄモデルとイラストを組み合わせた特殊モデル、および人体または動物の身体等に動きをつけたアニメーションモデルも格納される。ここで、アニメーションモデルは、予め設定されたアニメーション機能を持った３Ｄモデルである。データベース３０に格納される３Ｄモデルは、解剖学に基づいた適切な知識の下に作成された３Ｄモデルであって、生理学、組織学、発生学、およびその他医学を学ぶために必要な３Ｄモデル全般である。

【0016】

変更部１４は、選択部１１において選択されたモードに応じた、３Ｄモデルに対する状態の変更要求に基づいて、３Ｄモデルの状態を変更させる。即ち、ユーザがクライアント装置２０を介して入力した３Ｄモデルの状態変更の要求に基づいて、３Ｄモデルの状態を変更させる。

【0017】

表示制御部１５は、変更された状態の３Ｄモデルをクライアント装置２０の表示画面に表示させる。

【0018】

出力部１６は、クライアント装置２０の表示画面に表示されている３Ｄモデルを含む画像を取得するための情報をクライアント装置２０に出力する。ここで、画像を取得するための情報とは、例えば、画像をダウンロードするためのＵＲＬおよびコードである。なお、画像自体を、ＪＰＥＧ、ＧＩＦ、ＴＩＦＦ、ＰＮＧ、ＢＭＰ、ＲＡＷ等のダウンロード可能な形式で画像ファイルとして出力してもよい。

【0019】

次に、管理者装置４０について説明する。管理者装置４０は、画像生成システム１を管理する管理者によって利用されるコンピュータである。管理者装置４０は、例えば、ＰＣ、タブレットＰＣ、スマートフォン等である。管理者装置４０は、例えば、後述するカスタムオーダーを受け付ける。なお、管理者装置４０は、データベース３０の３Ｄモデルの追加および変更等のデータベース３０のメンテナンスおよび画像生成装置１０のメンテナンスを行う機能を有していてもよい。

【0020】

次に、図２を用いて、画像生成システム１のハードウェア構成について説明する。図２は、画像生成装置１０のハードウェア構成を示すブロック図である。画像生成装置１０は、記憶部６１、ＲＡＭ６２、ＲＯＭ６３、ＣＰＵ６４、および通信部６５を備える。

【0021】

記憶部６１は、後述のＣＰＵ６４によって実行されるプログラム、および、かかるプログラムによって使用されるデータ等を格納する。また、記憶部６１は、処理に用いる各種データや、作成された予測モデル等を記憶しうる。

【0022】

ＣＰＵ６４は、ＲＯＭ６３又は記憶部６１に格納されたプログラムに基づいて動作し、画像生成装置１０の各部の制御を行う。ＲＯＭ６３は、画像生成装置１０の起動時にＣＰＵ６４によって実行されるブートプログラムや、画像生成装置１０のハードウェアに依存するプログラム等を格納する。ＣＰＵ６４は、例えば、ＲＡＭ６２上にロードされたプログラムを実行することにより、後述するフローを実現する。なお、ＣＰＵ６４が、これらのプログラムを他の装置から、例えば、ネットワークを介して取得して、実行してもよい。

【0023】

通信部６５は、例えば、ネットワークを介して他の機器等の外部からデータまたは指示を受信してＣＰＵ６４へ送り、ＣＰＵ６４が生成したデータや指示を他の機器へ送信しうる。なお、画像生成装置１０は、入力装置および表示装置と接続されていてもよい。

【0024】

クライアント装置２０、データベース３０および管理者装置４０の夫々も図２と同様の構成を備えているが詳細な説明は省略する。なお、クライアント装置２０および管理者装置４０は、図２の構成に加えて、入力装置および表示装置と接続されている。入力装置は、例えば、ユーザからの操作入力を受け付けるタッチパネルやキーボード、マウス等である。表示装置は、例えば、液晶ディスプレイパネル、プラズマディスプレイパネル、有機ＥＬディスプレイパネル等である。

【0025】

＜モデル選択モード＞
モデル選択モードについて説明する。モデル選択モードは、データベース３０に格納された３Ｄモデルを用いて、ユーザが思い描く画像を生成するモードである。図３は、モデル選択モードにおける画像生成処理を示すフロー図である。このフローチャートで示す各動作（ステップ）は、画像生成装置１０のＣＰＵ６４の制御によって実行されうる。

【0026】

Ｓ１０１では、ユーザがクライアント装置２０を用いて、モデル選択モードを選択する指示を入力する。すると、選択部１１は、モデル選択モードを選択し、モデル選択モードを起動させる。

【0027】

Ｓ１０２では、クライアント装置２０にモデル選択モードで使用可能な３Ｄモデルのカテゴリが表示される。このカテゴリは、ユーザに応じてカスタマイズすることができる。具体的には、例えば、ユーザが医師である場合、ユーザの専門分野に応じたカテゴリが上位に表示されるようにカスタマイズすることが可能である。また、例えば、機械学習を用いて、使用履歴に基づいたカテゴリを表示させるようにしてもよい。ユーザは、表示されたカテゴリから、入手したい画像が属するカテゴリを選択して指定する。そして、指定部１２は、その指定を受け付け、指定されたカテゴリに含まれる３Ｄモデルのアイテムをクライアント装置２０に表示させる。

【0028】

Ｓ１０３では、ユーザに指定されたカテゴリに含まれる３Ｄモデルのアイテムが表示される。ユーザは、表示されたアイテムから自分が思い描く状態の画像を作成するために必要な３Ｄモデルを指定する。そして、指定部１２は、その指定を受け付ける。なお、３Ｄモデルの指定方法は、これに限られず、ユーザが所望の３Ｄモデルを指定できる構成であれば良い。例えば、アイテム一覧から直接指定できるようにしても良いし、文字入力や音声入力により検索することで、アイテムを指定できるようにしてもよい。そして、取得部１３は、指定部１２において指定された３Ｄモデルをデータベース３０から取得し、クライアント装置２０に表示させる。

【0029】

Ｓ１０４では、指定部１２は、アイテムの指定および取得が完了したか判定する。ユーザが思い描く状態の画像に必要な全てのアイテムの指定および取得が完了した場合に、アイテムの指定および取得が完了したと判定される。具体的には、例えば、ユーザによってアイテムの指定が完了したことが入力された場合、または、ユーザによって次の処理へ進む操作がされた場合に、指定部１２はアイテムの指定および取得が完了したと判定する。ここで、完了したと判定された場合（Ｙeｓ）は、処理をＳ１０５に進める。一方、完了したと判定されない場合（Ｎｏ）は、Ｓ１０３を繰り返す。

【0030】

Ｓ１０５では、変更部１４は、ユーザがクライアント装置２０を介して入力した３Ｄモデルの状態変更の要求に基づいて、３Ｄモデルの状態を変更させる。そして、表示制御部１５は、変更された状態の３Ｄモデルをクライアント装置２０の表示画面に表示させる。

【0031】

Ｓ１０６では、出力部１６は、カスタムオーダーをするか否かを判定する。ここで、カスタムオーダーとは、クライアント装置２０の表示画面された状態の３Ｄモデルに基づいて、イラストレーターによるイラスト作成をオーダーすることである。クライアント装置２０において、カスタムオーダーの選択がされた場合に、カスタムオーダーをする（Ｙｅｓ）と判定され、処理をＳ１０７に進める。一方、クライアント装置２０において、出力が選択された場合に、カスタムオーダーしない（Ｎｏ）と判定され、処理をＳ１０８に進める。

【0032】

Ｓ１０７では、クライアント装置２０の表示画面に表示されている３Ｄモデルを含む画像、即ち、ユーザの変更要求に基づいて変更された状態の３Ｄモデルを含む画像を取得するための、例えばＵＲＬをクライアント装置２０に出力する。

【0033】

一方、Ｓ１０８では、出力部１６は、３Ｄモデル情報を管理者装置４０に送信する。ここで、３Ｄモデル情報は、いずれの３Ｄモデルが選択されたか、およびその３Ｄモデルの座標情報等を含む、ユーザの変更要求に基づいて変更された状態の３Ｄモデルを含む画像を管理者装置４０に表示させるための情報である。出力部１６が、３Ｄモデル情報を管理者装置４０に送信することにより、管理者装置４０においても、ユーザが思い描く状態の画像を確認することが可能となり、イラストレーターが個別にイラストを作成する場合においても、イラストを作成するために必要であった打ち合わせ時間を大幅に短縮することができる。

【0034】

次に、モデル選択モードで生成される画像の具体的な例について、図４～８を用いて説明する。図４は、モデル選択モードで生成される画像の第１の例を説明する図である。本図では、Ｓ１０３において、人体の脚１１１の３Ｄモデルと、創外固定具１１２の３Ｄモデルが指定された例を示す。図４（Ａ）は、人体の脚１１１の３Ｄモデルを示す図である。図４（Ｂ）は、創外固定具１１２の３Ｄモデルを示す図である。ユーザは、クライアント装置２０を用いて、脚１１１の３Ｄモデルに、創外固定具１１２の３Ｄモデルを組み合わせ、自身が思い描く状態に変更する。図４（Ｃ）は、ユーザによって、変更された状態の３Ｄモデルを示す図である。ユーザはクライアント装置２０を用いて、３Ｄモデルの組み合わせ、位置、姿勢、３Ｄモデルに対する視点、および色を変更することが可能である。即ち、変更部１４は、ユーザからの変更要求に基づいて、３Ｄモデルの組み合わせ、位置、姿勢、３Ｄモデルに対する視点、および色を変更することが可能である。なお、ここで、３Ｄモデルに対する視点とは、３Ｄモデルをいずれの方向から見るかを意味する。このように、ユーザは、例えば、自由に３Ｄモデルを組み合わせて自身思い描く状態を示す画像を簡単に入手することができる。

【0035】

図５は、モデル選択モードで生成される画像の第２の例を説明する図である。本図では、Ｓ１０３において、人体の断面を示す模型１２１の３Ｄモデルが指定された例を示す。なお、本図は、クライアント装置２０に表示されるユーザインタフェース画面の一例を含む。ユーザはクライアント装置２０を用いて、３Ｄモデルの位置、３Ｄモデル対する視点、並びに３Ｄモデルの色および質感を変更することが可能である。３Ｄモデルの色および質感の変更は、例えば、操作パネル１２４を操作することにより実行することができる。なお、ここで、色および質感の変更は、例えば、解剖学的構造に基づいて分割された部位毎に変更することが可能である。具体的には、例えば、第２頸椎のみの色を変更することができる。このように、ユーザは所望の部位のみを際立たせるために色を変更する等、自身思い描く状態を示す画像を簡単に入手することができる。また、３Ｄモデル対する視点は、例えば、視点変更部１２５を操作することにより実行することができる。また、画面に表示されている「Ｅｘｐｏｒｔ」のアイコン１２２をクリックすることで、表示画面に表示されている３Ｄモデルを含む画像を取得するための、例えば、ＵＲＬを取得することができる。一方、画面に表示されている「Ｃｕｓｔｏｍ Ｏｒｄｅｒ」のアイコン１２３をクリックすることで、カスタムオーダーをすることができる。

【0036】

図６は、モデル選択モードで生成される画像の第３の例を説明する図である。本図では、Ｓ１０３において、内部構造が露出された状態の脚１３１の３Ｄモデルが指定された例を示す。ユーザはクライアント装置２０を用いて、３Ｄモデルの位置、姿勢、３Ｄモデル対する視点、色、及び各部位の表示／非表示を変更することが可能である。なお、ここで、各部位の表示／非表示の変更は、解剖学的構造に基づいて分割された部位毎に変更することが可能である。具体的には、本図に示すように、例えば、下腿三頭筋１３２、前脛骨筋１３３、長腓骨筋１３６および長趾伸筋１３７を非表示とし、脛骨１３４と腓骨１３５を表示させるように変更することができる。このように、所望の部位の表示／非表示を簡単に切り替えることができ、ユーザは自身思い描く状態を示す画像を簡単に入手することができる。

【0037】

図７は、モデル選択モードで生成される画像の第４の例を説明する図である。本図では、Ｓ１０３において、浮腫を含む人体の脚１４１の３Ｄモデルが指定された例を示す。ユーザはクライアント装置２０の表示画面に表示されたスライダー１４２を用いて、脚１４１の浮腫の発症状態を変更することができる。本図の向かって左側に表示された脚１４１は、浮腫が比較的軽症（無症状）の状態を示している。一方、本図の向かって右側に表示された脚１４１は、浮腫が比較的重症の状態を示している。このように、ユーザは自身が思い描く症状の状態を示す画像を簡単に入手することができる。なお、発症状態を変更する方法は、これに限られず、例えば、数値を入力する等他の方法によって変更が可能であってもよい。

【0038】

図８は、モデル選択モードで生成される画像の第５の例を説明する図である。本図では、Ｓ１０３において、医療器具の一種である開創器１５１の３Ｄモデルが指定された例を示す。本図は、クライアント装置２０に表示されるユーザインタフェース画面の一例を含む。ユーザはクライアント装置２０の表示画面に表示された開創器１５１を、例えば、ドラッグすることで、開創器１５１の開き角度、即ち、開創器１５１の動作状態を変更することができる。本図において、開創器１５１の開き角度が大きくなるように変更し、開創器１５１が開いた状態を破線で示している。なお、３Ｄモデルの動作状態を変更する方法は、これに限られず、例えば数値を入力することで変更が可能であってもよい。このように、ユーザは３Ｄモデルの動作状態を自由に変更することで自身思い描く状態を示す画像を簡単に入手することができる。

【0039】

なお、画像生成装置１０によって生成される画像は、静止画像だけではなく、アニメーション画像であってもよい。具体的には、Ｓ１０３において、アニメーション機能を持つアニメーションモデルが指定された場合、該アニメーションを含むアニメーション画像が生成される。

【0040】

また、ユーザが思い描く画像を説明する文書を入力し、機械学習を用いてその画像を自動で生成するようにしてもよい。

【0041】

以上述べたように、モデル選択モードによれば、ユーザは自身思い描く状態を示す画像を簡単に入手することができる。

【0042】

＜モデル配置モード＞
モデル配置モードについて説明する。モデル配置モードは、仮想手術室等の仮想空間内に３Ｄモデルを配置して、ユーザが思い描く画像を生成するモードである。図９は、モデル配置モードにおける画像生成処理を示すフロー図である。このフローチャートで示す各動作（ステップ）は、画像生成装置１０のＣＰＵ６４の制御によって実行されうる。なお、本図において図３と同様のステップについては同じ番号を付して説明を省略し、差異についてのみ詳細に説明する。

【0043】

Ｓ２０１では、ユーザがクライアント装置２０を用いて、モデル配置モードを選択する指示を入力する。すると、選択部１１は、モデル配置モードを選択し、モデル配置モードを起動させる。

【0044】

Ｓ１０２の後、Ｓ２０２では、ユーザに指定されたカテゴリに含まれる３Ｄモデルのアイテムがクライアント装置２０の表示画面に表示される。ユーザは、表示されたアイテムから自分が思い描く状態の画像を作成するために必要な３Ｄモデルを指定する。なお、モデル配置モードでは、仮想空間内に３Ｄモデルを配置するため、Ｓ２０２において少なくとも一つの仮想空間が指定される。また、モデル配置モードにおいて、後述する視線選択を行う場合には、Ｓ２０２において少なくとも一つの人体の３Ｄモデルが指定される。そして、指定部１２は、その指定を受け付ける。そして、取得部１３は、指定部１２において指定された３Ｄモデルをデータベース３０から取得し、クライアント装置２０に表示させる。

【0045】

Ｓ２０３では、変更部１４は、ユーザがクライアント装置２０を介して入力した３Ｄモデルの状態変更の要求に基づいて、３Ｄモデルの状態を変更させる。具体的には、モデル配置モードでは、変更部１４は指定された３Ｄモデルを指定された仮想空間内に配置する。そして、表示制御部１５は、仮想空間内に配置された状態の３Ｄモデルをクライアント装置２０の表示画面に表示させる。

【0046】

Ｓ２０４では、変更部１４は、アイテムの配置が完了したか判定する。ここでは、ユーザが思い描く状態の画像に必要な全てのアイテムの仮想空間内への配置が完了した場合に、アイテムの配置が完了したと判定される。具体的には、例えば、ユーザによってアイテムの配置が完了したことが入力された場合、または、ユーザによって次の処理へ進む操作がされた場合に、変更部１４はアイテムの配置が完了したと判定する。ここで、完了したと判定された場合（Ｙeｓ）は、処理をＳ２０５に進める。一方、完了したと判定されない場合（Ｎｏ）は、Ｓ２０２～２０３を繰り返す。

【0047】

Ｓ２０５では、変更部１４は、視線選択をするか否かを判定する。ここで、視線選択とは、仮想空間内に配置された少なくとも一つの人体の３Ｄモデルの視点から見た仮想空間を表示画面に表示させるものである。例えば、クライアント装置２０において、仮想空間内に配置された人体の３Ｄモデルのうちのいずれか一つが選択された場合に、変更部１４は視線選択をする（Ｙｅｓ）と判定し、処理をＳ２０６に進める。一方、視線選択をしない（Ｎｏ）と判定された場合は、処理をＳ１０６に進める。

【0048】

Ｓ２０６では、変更部１４は選択された人体の３Ｄモデルの視線へと変更し、表示制御部１５は、選択された人体の３Ｄモデルの視点から見た仮想空間を表示画面に表示させる。

【0049】

次に、モデル配置モードで生成される画像の具体的な例について、図１０および１１を用いて説明する。図１０は、モデル配置モードで生成される画像の例を説明する図である。本図では、Ｓ２０２において、仮想空間として仮想手術室２１１が指定され、手術台２１２の３Ｄモデル、医師２１３の３Ｄモデル、および患者２１４の３Ｄモデルが指定された例を示す。ユーザは、クライアント装置２０を用いて、仮想手術室２１１内に、指定した手術台２１２、医師２１３、および患者２１４の３Ｄモデルを配置し、自身が思い描く状態へと変更する。これにより、ユーザは自身思い描く空間を示す画像を簡単に入手することができる。

【0050】

図１１は、視線選択がされた場合に生成される画像の例を説明する図である。具体的には、図１１は、図１０において、医師２１３の視線に変更することが選択された場合に生成される画像の一例である。ここでは、医師２１３の視線が選択されているため、表示画面上に医師２１３は表示されておらず、手術台２１２および患者２１４の３Ｄモデルのみが表示されている。なお、ここで、選択された視線の方向を自由に変更できるようにしてもよい。このような画像が生成できることにより、医師がどのような目線で施術を行っているのかを、第三者（例えば、研修医）に容易に示すことが可能となる。また、患者２１４の視線を選択した場合には、患者がどのような視界で施術を受けているのかを理解することが可能となる。

【0051】

＜ポーズ変更モード＞
ポーズ変更モードについて説明する。ポーズ変更モードは、人体の３Ｄモデルの姿勢を、人体の構造上の可動範囲内で変更し、ユーザの思い描く姿勢をとった人体の画像を生成するモードである。具体的には、例えば、複数のアニメーションモデルを組み合わせることで、モデル選択モードと比較して、より複雑なポージングが可能となる。図１２は、ポーズ変更モードにおける画像生成処理を示すフロー図である。このフローチャートで示す各動作（ステップ）は、画像生成装置１０のＣＰＵ６４の制御によって実行されうる。なお、本図において図３と同様のステップについては同じ番号を付して説明を省略し、差異についてのみ詳細に説明する。

【0052】

Ｓ３０１では、ユーザがクライアント装置２０を用いて、ポーズ変更モードを選択する指示を入力する。すると、選択部１１は、ポーズ変更モードを選択し、ポーズ変更モードを起動させる。

【0053】

Ｓ１０２の後、Ｓ３０２では、ユーザに指定されたカテゴリに含まれる３Ｄモデルのアイテムが表示される。ユーザは、表示されたアイテムから自分が思い描く状態の画像を作成するために必要な３Ｄモデルを指定する。なお、ポーズ変更モードでは、人体の３Ｄモデルの姿勢を、人体の構造上の可動範囲内で自由に変更させた画像を生成するため、少なくとも一つの人体の３Ｄモデルが指定される。そして、指定部１２は、その指定を受け付ける。取得部１３は、指定部１２において指定された３Ｄモデルをデータベース３０から取得し、クライアント装置２０に表示させる。

【0054】

Ｓ１０４の後、Ｓ３０３では、変更部１４は、ユーザがクライアント装置２０を介して入力した３Ｄモデルの状態変更の要求に基づいて、３Ｄモデルの状態を変更させる。ここでは、人体の構造上の可動範囲内で、人体の３Ｄモデルの姿勢を自由に変更することが可能である。そして、表示制御部１５は、変更された状態の３Ｄモデルをクライアント装置２０の表示画面に表示させる。

【0055】

次に、ポーズ変更モードで生成される画像の具体的な例について、図１３を用いて説明する。図１３は、ポーズ変更モードで生成される画像の例を説明する図である。ポーズ変更モードでは、少なくとも一つの人体３１１の３Ｄモデルが指定される。そして、ユーザは、クライアント装置２０を用いて３Ｄモデル対する視点、および、人体の構造上の可動範囲内で、人体の３Ｄモデルの姿勢を変更することが可能である。なお、人体ではなく、動物の身体の３Ｄモデルが指定されてもよい。

【0056】

以上述べたように、ポーズ変更モードによれば、ユーザは自身が思い描く姿勢をとった人体の画像を簡単に入手することができる。

【0057】

＜エコーモード＞
エコーモードについて説明する。エコーモードは、操作画面上で、仮想超音波プローブ（以下、単に仮想プローブという）の位置を変更することにより画像を生成するモードである。図１４は、エコーモードにおける画像生成処理を示すフロー図である。このフローチャートで示す各動作（ステップ）は、画像生成装置１０のＣＰＵ６４の制御によって実行されうる。なお、本図において図３と同様のステップについては同じ番号を付して説明を省略し、差異についてのみ詳細に説明する。

【0058】

Ｓ４０１では、ユーザがクライアント装置２０を用いて、エコーモードを選択する指示を入力する。すると、選択部１１は、エコーモードを選択し、エコーモードを起動させる。

【0059】

Ｓ１０２の後、Ｓ４０２では、ユーザに指定されたカテゴリに含まれる３Ｄモデルのアイテムが表示される。ユーザは、表示されたアイテムから自分が思い描く状態の画像を作成するために必要な３Ｄモデルを指定する。なお、エコーモードでは、仮想プローブ位置を変更することにより仮想超音波画像を生成するため、少なくとも人体の一部を含む３Ｄモデルが指定される。また、一般的に超音波プローブの種類によって、撮像範囲や見え方等が異なるため、ここで超音波プローブの種類または機種を指定してもよい。そして、指定部１２は、その指定を受け付ける。そして、取得部１３は、指定部１２において指定された３Ｄモデルをデータベース３０から取得し、クライアント装置２０に表示させる。

【0060】

Ｓ１０４の後、Ｓ４０３では、変更部１４は、ユーザがクライアント装置２０を介して入力した３Ｄモデルの状態変更の要求に基づいて、３Ｄモデルの状態を変更させ、画像を生成する。具体的には、エコーモードでは、仮想プローブ位置、即ち、仮想プローブを当てる位置を変更することにより、その位置にプローブを当接または接近させた場合に撮像されるであろう画像を、変更部１４が仮想超音波画像として生成する。そして、表示制御部１５は、生成された仮想超音波画像、即ち、仮想プローブの動きに応じた、仮想超音波画像をクライアント装置２０の表示画面に表示させる。

【0061】

次に、エコーモードで生成される画像の具体的な例について、図１５を用いて説明する。図１５は、エコーモードで生成される画像の例を説明する図である。図１５（Ａ）は、仮想プローブ位置を説明する図である。エコーモードでは、少なくとも人体の一部（ここでは、人体の手４１１）の３Ｄモデルが指定される。なお、本図では簡易化のために、人体の手４１１の筋肉や皮膚の表示を省略し、骨のみを表示させている。ユーザはクライアント装置２０を用いて、人体の手４１１上の仮想プローブ位置４１２を所望の位置へ変更する。すると、仮想プローブ位置４１２において、撮像されるであろう画像が、仮想超音波画像として、生成される。また、このとき、仮想プローブ位置４１２における仮想撮像範囲４１３を画面上に表示させることも可能である。図１５（Ｂ）は、仮想プローブの仮想撮像範囲４１３を示す図である。

【0062】

なお、仮想プローブ位置４１２の変更等の仮想プローブの動作に合わせたアニメーション画像を仮想超音波画像として生成してもよい。

【0063】

以上述べたように、エコーモードによれば、仮想超音波プローブを用いて、自身思い描く位置に超音波プローブを当てた場合に撮像されるであろう超音波画像を簡単に入手することができる。

【0064】

＜内視鏡モード＞
内視鏡モードについて説明する。内視鏡モードは、操作画面上で、仮想内視鏡を操作することにより画像を生成するモードである。内視鏡モードでは、人体の少なくとも一部の３Ｄモデルに仮想内視鏡を挿入するように、３Ｄモデルの状態を変更可能である。図１６は、内視鏡モードにおける画像生成処理を示すフロー図である。このフローチャートで示す各動作（ステップ）は、画像生成装置１０のＣＰＵ６４の制御によって実行されうる。なお、本図において図３と同様のステップについては同じ番号を付して説明を省略し、差異についてのみ詳細に説明する。

【0065】

Ｓ５０１では、ユーザがクライアント装置２０を用いて、内視鏡モードを選択する指示を入力する。すると、選択部１１は、内視鏡モードを選択し、内視鏡モードを起動させる。

【0066】

Ｓ１０２の後、Ｓ５０２では、ユーザに指定されたカテゴリに含まれる３Ｄモデルのアイテムが表示される。ユーザは、表示されたアイテムから自分が思い描く状態の画像を作成するために必要な３Ｄモデルを指定する。なお、内視鏡モードでは、クライアント装置２０を介して仮想内視鏡を操作することにより仮想内視鏡画像を生成するため、少なくとも人体の一部を含む３Ｄモデルが指定される。また、一般的に内視鏡の種類によって、撮像範囲、撮像対象となる人体の部位、および見え方等が異なるため、ここで内視鏡の種類や機種を指定してもよい。そして、指定部１２は、その指定を受け付ける。そして、取得部１３は、指定部１２において指定された３Ｄモデルをデータベース３０から取得し、クライアント装置２０に表示させる。

【0067】

Ｓ１０４の後、変更部１４は、ユーザがクライアント装置２０を介して入力した３Ｄモデルの状態変更の要求に基づいて、３Ｄモデルの状態を変更させ、画像を生成する。内視鏡モードでは、まず、Ｓ５０３において、変更部１４は仮想内視鏡の挿入位置を決定する。具体的には、ユーザがクライアント装置２０を介して、人体の３Ｄモデル上において、仮想内視鏡を挿入する位置を選択する。変更部１４は、選択された位置を仮想内視鏡の挿入位置とする。

【0068】

Ｓ５０４では、変更部１４は仮想内視鏡の位置を変更する。具体的には、人体の３Ｄモデル内に挿入された仮想内視鏡の位置を、ユーザがクライアント装置２０を介して変更する操作を行う。変更部１４は、該操作に応じて仮想内視鏡の位置を変更し、その位置において内視鏡が撮像するであろう画像を仮想内視鏡画像として生成する。そして、表示制御部１５は、生成された仮想内視鏡画像をクライアント装置２０の表示画面に表示させる。

【0069】

次に、内視鏡モードで生成される画像の具体的な例について、図１７を用いて説明する。図１７は、内視鏡モードで生成される画像の例を説明する図である。内視鏡モードでは、少なくとも人体の一部（ここでは、人体５１１）の３Ｄモデルが指定される。そして、ユーザはクライアント装置２０を用いて、仮想内視鏡５１２の挿入位置５１５を選択する。そして、ユーザは、スライダー５１４を用いて仮想内視鏡５１２の位置を変更、即ち、移動させる。すると、変更された位置において、仮想内視鏡５１２によって撮像されるであろう画像が、仮想内視鏡画像５１３として生成される。

【0070】

なお、仮想内視鏡５１２の位置の変更等の仮想内視鏡５１２の動作に合わせたアニメーション画像を仮想内視鏡画像として生成してもよい。

【0071】

以上述べたように、内視鏡モードによれば、仮想内視鏡を用いて、自身思い描く位置に内視鏡を挿入した場合に撮像されるであろう内視鏡画像を簡単に入手することができる。
＜その他の実施形態＞
以上、本願の実施形態をいくつかの図面に基づいて詳細に説明したが、上記実施形態は、本発明を説明するための例示であり、本発明をこれらの実施形態にのみ限定する趣旨ではない。本発明は、その要旨の範囲内で種々の変形および変更が可能である。

【0072】

画像生成装置１０における処理をコンピュータによって実現する場合、これらの装置の各部が有すべき機能の処理内容はプログラムに基づいて実行される。上述の処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。また、各部の処理は、コンピュータ上で所定のプログラムを実行させることにより構成することにしてもよい。つまり、画像生成装置１０の機能を実行させるためのプログラムをクライアント装置２０にインストールすることで、クライアント装置２０が画像生成装置１０の機能を実行するようにしてもよい。

【符号の説明】

【0073】

１ 画像生成システム
１０ 画像生成装置
１１ 選択部
１２ 指定部
１３ 取得部
１４ 変更部
１５ 表示制御部
１６ 出力部
２０ クライアント装置
３０ データベース
４０ 管理者装置
５０ ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】