特許 5769295 画質改善画像生成装置、画像の画質改善方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5769295

(24)【登録日】2015年7月3日

(45)【発行日】2015年8月26日

(54)【発明の名称】画質改善画像生成装置、画像の画質改善方法、及びプログラム

(51)【国際特許分類】

   G06T 5/00 20060101AFI20150806BHJP

   G06T 3/00 20060101ALI20150806BHJP

   H04N 1/409 20060101ALI20150806BHJP

【ＦＩ】

   G06T5/00 710

   G06T3/00 780

   H04N1/40 101D

【請求項の数】9

【全頁数】34

(21)【出願番号】特願2011-70587(P2011-70587)

(22)【出願日】2011年3月28日

(65)【公開番号】特開2012-203847(P2012-203847A)

(43)【公開日】2012年10月22日

【審査請求日】2014年3月14日

(73)【特許権者】

【識別番号】000125370

【氏名又は名称】学校法人東京理科大学

(74)【代理人】

【識別番号】110000176

【氏名又は名称】一色国際特許業務法人

(72)【発明者】

【氏名】小島 尚人

(72)【発明者】

【氏名】二宮 建

(72)【発明者】

【氏名】広田 健一

(72)【発明者】

【氏名】金子 和弘

【審査官】 鹿野 博嗣

(56)【参考文献】

【文献】 特開２０１０−１３４７６８（ＪＰ，Ａ）

【文献】 特開２００４−１９３７２５（ＪＰ，Ａ）

【文献】 特開２００７−０４１８３４（ＪＰ，Ａ）

【文献】 特開２０１０−１２４４７２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ５／００

Ｇ０６Ｔ ３／００

Ｈ０４Ｎ １／４０９

(57)【特許請求の範囲】

【請求項1】

合成元画像に応じた画像である合成対象画像に対して第１の強調処理を施す第１強調処理部と、
前記合成対象画像に対して前記第１の強調処理とは異なる第２の強調処理を施す第２強調処理部と、
前記第１の強調処理が施された前記合成対象画像に対して複数方向のエッジのそれぞれを強調する第１のエッジ強調処理を施して、複数の第１のエッジ強調画像を生成する第１エッジ強調画像生成部と、
前記第２の強調処理が施された前記合成対象画像に対して複数方向のエッジのそれぞれを強調する第２のエッジ強調処理を施して、複数の第２のエッジ強調画像を生成する第２エッジ強調画像生成部と、
前記複数の第１のエッジ強調画像と、前記複数の第２のエッジ強調画像と、前記合成元画像と、をそれぞれ合成した複数の合成画像を生成する合成画像生成部と、
前記複数の合成画像が連続的に切り替えて表示される合成動画を生成する合成動画生成部と、
を備えたことを特徴とする画質改善画像生成装置。

【請求項2】

請求項１に記載の画質改善画像生成装置であって、
前記第１及び第２のエッジ強調処理は、同一の処理であること、
を特徴とする画質改善画像生成装置。

【請求項3】

請求項２に記載の画質改善画像生成装置であって、
前記第１及び第２のエッジ強調処理は、エンボス処理であること、
を特徴とする画質改善画像生成装置。

【請求項4】

請求項１〜請求項３の何れか一項に記載の画質改善画像生成装置であって、
前記第１及び第２の強調処理のそれぞれは、エッジ強調処理またはテクスチャ強調処理であること、
を特徴とする画質改善画像生成装置。

【請求項5】

請求項１〜請求項４の何れか一項に記載の画質改善画像生成装置であって、
前記合成対象画像は、前記合成元画像から得られる単バンドの画像であること、
を特徴とする画質改善画像生成装置。

【請求項6】

請求項１〜請求項４の何れか一項に記載の画質改善画像生成装置であって、
前記合成対象画像は、前記合成元画像と同一の画像であること、
を特徴とする画質改善画像生成装置。

【請求項7】

請求項１〜請求項６の何れか一項に記載の画質改善画像生成装置であって、
前記合成元画像は、赤色画像、緑色画像、青色画像を含んで構成されること、
を特徴とする画質改善画像生成装置。

【請求項8】

合成元画像に応じた画像である合成対象画像に対して第１の強調処理を施し、
前記合成対象画像に対して前記第１の強調処理とは異なる第２の強調処理を施し、
前記第１の強調処理が施された前記合成対象画像に対して複数方向のエッジのそれぞれを強調する第１のエッジ強調処理を施して、複数の第１のエッジ強調画像を生成し、
前記第２の強調処理が施された前記合成対象画像に対して複数方向のエッジのそれぞれを強調する第２のエッジ強調処理を施して、複数の第２のエッジ強調画像を生成し、
前記複数の第１のエッジ強調画像と、前記複数の第２のエッジ強調画像と、前記合成元画像と、をそれぞれ合成した複数の合成画像を生成し、
前記複数の合成画像が連続的に切り替えて表示される合成動画を生成する、
ことを特徴とする画像の画質改善方法。

【請求項9】

コンピュータに、
合成元画像に応じた画像である合成対象画像に対して第１の強調処理を施す手順と、
前記合成対象画像に対して前記第１の強調処理とは異なる第２の強調処理を施す手順と、
前記第１の強調処理が施された前記合成対象画像に対して複数方向のエッジのそれぞれを強調する第１のエッジ強調処理を施して、複数の第１のエッジ強調画像を生成する手順と、
前記第２の強調処理が施された前記合成対象画像に対して複数方向のエッジのそれぞれを強調する第２のエッジ強調処理を施して、複数の第２のエッジ強調画像を生成する手順と、
前記複数の第１のエッジ強調画像と、前記複数の第２のエッジ強調画像と、前記合成元画像と、をそれぞれ合成した複数の合成画像を生成する手順と、
前記複数の合成画像が連続的に切り替えて表示される合成動画を生成する手順と、
を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画質改善画像生成装置、画像の画質改善方法、及びプログラムに関する。

【背景技術】

【0002】

例えば土木分野や医療分野においては、判読対象となる画像に対してテクスチャ強調処理やエッジ強調処理等を施して、画像の特徴を強調することが一般に行われている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００５−２３４６０３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、テクスチャやエッジ等の強調処理が施されると、画像の特徴は強調される一方、画像の画質は低下するという問題があった。つまり、これらの特徴強調処理は、画像における特定の特徴の強調を目的としその画質を犠牲にしてきたため、例えば、特徴強調処理が施された画像と、同処理を施す前の元画像との関係を判読するのが困難であった。

【0005】

本発明は上記課題を鑑みてなされたものであり、画像の画質を維持しつつ同画像の特徴を強調可能な画質改善画像生成装置、画像の画質改善方法、及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するため本発明の一つの側面に係る画質改善画像生成装置は、合成元画像に応じた画像である合成対象画像に対して第１の強調処理を施す第１強調処理部と、前記合成対象画像に対して前記第１の強調処理とは異なる第２の強調処理を施す第２強調処理部と、前記第１の強調処理が施された前記合成対象画像に対して複数方向のエッジのそれぞれを強調する第１のエッジ強調処理を施して、複数の第１のエッジ強調画像を生成する第１エッジ強調画像生成部と、前記第２の強調処理が施された前記合成対象画像に対して複数方向のエッジのそれぞれを強調する第２のエッジ強調処理を施して、複数の第２のエッジ強調画像を生成する第２エッジ強調画像生成部と、前記複数の第１のエッジ強調画像と、前記複数の第２のエッジ強調画像と、前記合成元画像と、をそれぞれ合成した複数の合成画像を生成する合成画像生成部と、前記複数の合成画像が連続的に切り替えて表示される合成動画を生成する合成動画生成部と、を備える。

【発明の効果】

【0007】

本発明によれば、画像の画質を維持しつつ同画像の特徴を強調可能な画質改善画像生成装置、画像の画質改善方法、及びプログラムを提供することができる。

【図面の簡単な説明】

【0008】

【図1】本発明の一実施形態である画質改善画像生成システムの構成例を示す図である。

【図2】クライアント１０のハードウェア構成例を示す図である。

【図3】画質改善画像生成装置２０のハードウェア構成例を示す図である。

【図4】画質改善画像生成装置２０ａの機能ブロックの構成例を示す図である。

【図5】エンボス処理における仮想光の照射方向の一例を示す図である。

【図6】エンボス処理におけるフィルタ係数の一例を示す図である。

【図7】エンボス処理の一例を示す図である。

【図8】画質改善画像生成装置２０ａが用いられる際の動画生成画面の一例を示す図である。

【図9】画質改善画像生成装置２０ａが用いられる際の動画表示画面の一例を示す図である。

【図10】画質改善画像生成装置２０ａが用いられる際の画質改善画像生成システムの処理手順の一例を示すフローチャートである。

【図11】画質改善画像生成装置２０ａの処理手順の一例を示すフローチャートである。

【図12】画質改善画像生成装置２０ａで実行される異種画像特徴合成動画生成処理のイメージ図である。

【図13】合成元画像及び単バンド画像の一例を示す図である。

【図14】エネルギーの特徴量が強調された特徴強調画像及びデータレンジの特徴量が強調された特徴強調画像の一例を示す図である。

【図15】エネルギーの特徴量が強調された特徴強調画像のエンボス画像の一例を示す図である。

【図16】データレンジの特徴量が強調された特徴強調画像のエンボス画像の一例を示す図である。

【図17】異種画像特徴合成画像の合成について説明するための図である。

【図18】異種画像特徴合成画像の一例を示す図である。

【図19】合成元画像及び異種画像特徴合成動画（エネルギー及びデータレンジ）の一例を示す図を示す図である。

【図20】画像特徴合成動画（エネルギー）及び画像特徴合成動画（データレンジ）の一例を示す図を示す図である。

【図21】コントラストの特徴量が強調された特徴強調画像及び異種画像特徴合成動画（エネルギー、データレンジ、及びコントラスト）の一例を示す図を示す図である。

【図22】画質改善画像生成装置２０ｂの機能ブロックの構成例を示す図である。

【図23】画質改善画像生成装置２０ｂが用いられる際の動画生成画面の一例を示す図である。

【図24】画質改善画像生成装置２０ｂが用いられる際の動画表示画面の一例を示す図である。

【図25】画質改善画像生成装置２０ｂが用いられる際の画質改善画像生成システムの処理手順の一例を示すフローチャートである。

【図26】画質改善画像生成装置２０ｂの処理手順の一例を示すフローチャートである。

【図27】画質改善画像生成装置２０ｂで実行される異種画像特徴合成動画生成処理のイメージ図である。

【図28】元動画及び画質改善画像生成装置２０ｂで生成された異種画像特徴合成動画の一例である。

【発明を実施するための形態】

【0009】

本明細書および添付図面の記載により、少なくとも以下の事項が明らかとなる。

【0010】

＝＝＝システム構成＝＝＝
本発明の一実施形態である画質改善画像生成システムの構成例について説明する。
図１に示すように、画質改善画像生成システムは、クライアント１０及び画質改善画像生成装置２０を含んで構成されている。そして、クライアント１０及び画質改善画像生成装置２０は、ネットワーク３０を介して通信可能に接続されている。

【0011】

クライアント１０は、例えば、パーソナルコンピュータや携帯情報端末、携帯電話機等の情報処理装置である。クライアント１０は、例えば判読対象となる画像（合成元画像及び合成対象画像）を、ネットワーク３０を介して画質改善画像生成装置２０に送信する。そして、クライアント１０は、画質改善画像生成装置２０で生成され、ネットワーク３０を介して送信されてくる動画（異種画像特徴合成動画）を表示する。

【0012】

画質改善画像生成装置２０は、例えば、ＰＣサーバやワークステーション等の情報処理装置である。画質改善画像生成装置２０は、クライアント１０から送信されてくる画像の特徴を強調表示するための動画を生成し、ネットワーク３０を介してクライアント１０に動画を送信する。

【0013】

ネットワーク３０は、例えば、インターネットやＬＡＮ（Local Area Network）等であり、クライアント１０と画質改善画像生成装置２０とを通信可能に接続する。なお、ネットワーク３０は、有線とすることもできるし、無線とすることもできる。

【0014】

＜＜＜クライアントの構成＞＞＞
クライアント１０の構成について説明する。図２に示すように、クライアント１０は、ＣＰＵ（Central Processing Unit）４０、メモリ４１、記憶装置４２、表示インタフェース（Ｉ／Ｆ）４３、入力インタフェース（Ｉ／Ｆ）４４、通信インタフェース（Ｉ／Ｆ）４５、及び記録媒体読取装置４６を含んで構成されている。

【0015】

ＣＰＵ４０は、メモリ４１に格納されたプログラムを実行することにより、クライアント１０を統括制御し、クライアント１０における様々な機能を実現する。メモリ４１は、例えばＲＡＭ（Random Access Memory）等であり、プログラムやデータ等の一時的な記憶領域として用いられる。記憶装置４２は、例えばハードディスク等の記憶領域であり、プログラムや様々なデータ等が格納される。表示インタフェース４３は、ディスプレイ等の表示装置５０に画像を表示させるためのビデオカード等のインタフェース装置である。

【0016】

入力インタフェース４４は、キーボードやマウス、各種デジタル機器等の入力装置５１からデータを入力するためのＵＳＢ（Universal Serial Bus）やＰＳ／２（Personal System/2）等のインタフェース装置である。通信インタフェース４５は、ネットワーク３０を介してデータの送受信を行うためのネットワークカード等のインタフェース装置である。記録媒体読取装置４６は、ＣＤ−ＲＯＭやメモリカード等の記録媒体５２に格納されたプログラムや各種データを読み取るためのＣＤ−ＲＯＭドライブやメモリカードインタフェース等のインタフェース装置である。

【0017】

なお、クライアント１０は、例えば、ＣＣＤ（Charge Coupled Device）カメラやデジタルカメラ等の入力装置５１を介して画像を取得し、記憶装置４２に格納する。また、クライアント１０は、判読対象となる画像を、例えば、記録媒体５２から読み取り、記憶装置４２に格納することができる。また、クライアント１０は、例えば、ネットワーク３０を介して他の情報処理装置（不図示）から画像を取得することもできる。

【0018】

＜＜＜画質改善画像生成装置の構成＞＞＞
次に、画質改善画像生成装置２０の構成について説明する。図３に、画質改善画像生成装置２０のハードウェア構成例を示す。画質改善画像生成装置２０は、ＣＰＵ６０、メモリ６１、記憶装置６２、通信インタフェース６３、及び記録媒体読取装置６４を含んで構成されている。

【0019】

ＣＰＵ６０は、メモリ６１に格納されたプログラムを実行することにより、画質改善画像生成装置２０を統括制御し、画質改善画像生成装置２０における様々な機能を実現する。メモリ６１は、例えばＲＡＭ等であり、プログラムやデータ等の一時的な記憶領域として用いられる。記憶装置６２は、例えばハードディスク等の記憶領域であり、プログラムや様々なデータ等が格納される。通信インタフェース６３は、ネットワーク３０を介してデータの送受信を行うためのネットワークカード等のインタフェース装置である。記録媒体読取装置６４は、ＣＤ−ＲＯＭやメモリカード等の記録媒体５３に格納されたプログラムや各種データを読み取るためのＣＤ−ＲＯＭドライブやメモリカードインタフェース等のインタフェース装置である。

【0020】

＜＜＜画質改善画像生成装置２０の第１の実施形態＞＞＞
図４に示すように、画質改善画像生成装置２０の第１の実施形態である画質改善画像生成装置２０ａは、特徴強調処理部７０、エンボス画像生成部７１、エッジ強調画像生成部７２、異種画像特徴合成画像生成部７３、及び異種画像特徴合成動画生成部７４を含んで構成されている。特徴強調処理部７０等の機能ブロックは、ＣＰＵ６０がメモリ６１に格納されたプログラムを実行することにより実現される。

【0021】

特徴強調処理部７０（第１及び第２強調処理部）は、メモリ６１に格納された画像のうち、合成対象画像を読み出し、合成対象画像に対してテクスチャ強調処理やエッジ強調処理等の強調処理を施す。ここで、合成対象画像とは、例えばＣＣＤカメラ等の入力装置５１から得られる合成元画像の合成相手であり、前述した特徴強調処理が施される前の画像である。また、テクスチャ強調処理では、画像に対し、相関、分散、コントラスト、エントロピー等のフィルタが適用され、エッジ強調処理では、画像に対し、１次微分・差分型のPrewittフィルタや、１次微分・テンプレート型のRobinsonフィルタ等が適用される。ここで、特徴強調処理部７０は、合成対象画像に対して少なくとも２種類以上の特徴強調処理を施す。このため、特徴強調処理部７０では、異なる種類の特徴が強調された複数の特徴強調画像が生成される。そして、特徴強調処理部７０は、特徴強調処理が施された複数の特徴強調画像をメモリ６１に格納する。

【0022】

エンボス画像生成部７１（第１及び第２エッジ強調画像生成部）は、メモリ６１から特徴強調処理が施された複数の特徴強調画像を読み出す。そして、エンボス画像生成部７１は、複数の特徴強調画像のそれぞれに対して複数方向を光源とみなす複数のエンボス画像を生成する。なお、生成された複数のエンボス画像はメモリ６１に格納される。

【0023】

エンボス画像生成部７１は、図５に例示されるように、特徴強調画像の北側を０度として右回りで４５度ずつ角度をずらした８方向を照射方向として、８つのエンボス画像を生成することができる。この場合、各照射方向におけるエンボス処理に用いられるフィルタ係数は、例えば、図６（ａ）〜（ｈ）に示した３×３の行列とすることができる。なお、図６（ａ）〜（ｈ）に示したフィルタ係数は一例であり、行列内の数値（重み）や行列のサイズを変更することも可能である。

【0024】

エンボス画像生成部７１におけるエンボス処理の一例を示す。本実施の形態では、合成対象画像の各画素の画像濃度値は、例えば８ビット（０〜２５５）であるとする。図７に例示されるように、エンボス処理前の特徴強調画像の一部を示す３×３の画素の中心の値が“１８”、左上の値が“５”、右下の値が“１３５”であるとする。このとき、図６（ｄ）に示したフィルタ係数を用いてエンボス処理を行うと、３×３の中心画素のエンボス処理後の値は、（−５＋１３５）＋１２８＝２５８となる。ただし、エンボス画像生成部７１は、エンボス処理後の値が“２５５”を越えている場合は、画像濃度値が２５５以下となるように調整する。このようにして、特徴強調画像の各画素に対してエンボス処理が行われる。なお、エンボス処理では複数の画素の差が求められるため、特徴強調画像に対してエンボス処理が施されると、特徴強調画像のエッジが強調されることになる。

【0025】

エッジ強調画像生成部７２（第１及び第２エッジ強調画像生成部）は、メモリ６１から特徴強調処理が施された複数の特徴強調画像を読み出す。そして、エッジ強調画像生成部７２は、エンボス画像生成部７１と同様に、複数の特徴強調画像のそれぞれに対して複数方向のエッジのそれぞれを強調するエッジ強調処理を施して、複数のエッジ強調画像を生成する。なお、生成された複数のエッジ強調画像はメモリ６１に格納される。

【0026】

異種画像特徴合成画像生成部７３（合成画像生成部）は、例えば、メモリ６１から複数のエンボス画像を読み出し、これら複数のエンボス画像のそれぞれに対し、メモリ６１から読み出された合成元画像を合成して、複数の異種画像特徴合成画像を生成する。なお、合成元画像は、いわゆる判読対象となる元画像であり、前述のように、ＣＣＤカメラ等の入力装置５１から得られる。また、異種画像特徴合成画像生成部７３は、例えば、メモリ６１から複数のエッジ強調画像を読み出し、これら複数のエッジ強調画像のそれぞれに対し、メモリ６１から読み出された合成元画像を合成して、複数の異種画像特徴合成画像を生成する。そして、異種画像特徴合成画像生成部７３は、生成した複数の異種画像特徴合成画像をメモリ６１に格納する。

【0027】

異種画像特徴合成動画生成部７４（合成動画生成部）は、例えば、メモリ６１に格納された複数の異種画像特徴合成画像を読み出し、これらの複数の異種画像特徴合成画像が連続的に切り替えて表示される異種画像特徴合成動画を生成する。そして、生成された画像特徴合成動画は、メモリ６１に格納される。

【0028】

＝＝＝画面説明＝＝＝
次に、クライアント１０に表示される画面について説明する。図８に例示されるように、異種画像特徴合成動画を生成する際の条件等を入力するための動画生成画面１００は、合成元画像入力エリア１１０、合成対象画像入力エリア１１１、動画生成条件選択エリア１１２、及び動画表示画面生成ボタン１１３を含んでいる。なお、クライアント１０の利用者は、例えば、マウス（入力装置５１）を通じて画面上の各エリア１１０、１１１、１１２及びボタン１１３にカーソルを合わせた後、マウス及びキーボード（入力装置５１）を通じて所定の入力をするようになっている。

【0029】

動画生成画面１００は、例えば、クライアント１０がＷｅｂブラウザ等から画質改善画像生成装置２０ａの所定のＵＲＬ（Uniform Resource Locator）を参照することによって画質改善画像生成装置２０ａから送信されてくるＨＴＭＬ（Hyper Markup Text Language）等により実現される。なお、画質改善画像生成装置２０ａにアクセスせずに、クライアント１０内部のプログラムによって動画生成画面が起動されることとしてもよい。

【0030】

合成元画像入力エリア１１０では、合成元画像（いわゆる元画像）の格納先（ファイルパス名等）が入力される。また、合成元画像入力エリア１１０では、入力された合成元画像が、ＲＧＢ画像（Ｒ画像（赤色画像）、Ｇ画像（緑色画像）、及びＢ画像（青色画像））であるか、単バンド画像であるかが選択されるようになっている。

【0031】

合成対象画像入力エリア１１１では、合成対象画像が合成元画像であるか否かが選択される。そして、合成対象画像入力エリア１１１では、合成対象画像が合成元画像以外の画像である（“その他”）と選択された場合、合成対象画像の格納先が入力されるようになっている。

【0032】

動画生成条件選択エリア１１２は、方向選択エリア１１２ａ、フィルタ選択エリア１１２ｂ、表示順序選択エリア１１２ｃ、及び表示速度選択エリア１１２ｄに分かれている。

【0033】

方向選択エリア１１２ａでは、特徴強調処理が施された複数の特徴強調画像に対し、エンボス処理、またはエッジ強調処理を施す際の方向が選択されるようになっている。本実形態では、４方向、８方向、及び１６方向の何れかが選択されるようになっている。

【0034】

フィルタ選択エリア１１２ｂでは、複数のエンボス画像が生成される際に用いられるエンボス処理の種類、または複数のエッジ強調画像が生成される際に用いられるエッジ強調処理の種類が選択されるようになっている。ここで、パターンＡ〜Ｃは、エンボス処理のための異なるフィルタ係数（行列のサイズや重み等）を表わしている。また、複数のエッジ強調画像が生成される際には、Perwittフィルタ、Robinsonフィルタ、及びLaplacianフィルタの何れかが選択できる。

【0035】

表示順序選択エリア１１２ｃでは、異種画像特徴合成動画に含まれる複数の異種画像特徴合成画像の表示順序が選択されるようになっている。本実施形態では、右回り、左回り、ランダム、一方向、たすきがけの何れかが選択されるようになっている。

【0036】

表示速度選択エリア１１２ｄでは、異種画像特徴合成動画における異種画像特徴合成画像の切り替わる速度が選択されるようになっている。本実施形態では、４ｆｐｓ（flame per second）、８ｆｐｓ、１６ｆｐｓの何れかが選択されるようになっている。

【0037】

動画表示画面生成ボタン１１３は、クライアント１０に、例えば図９に示すような動画表示画面１３０を表示させるためのものである。

【0038】

動画表示画面１３０は、例えば、動画生成画面１００の動画表示画生成ボタン１１３が押下された後に、クライアント１０がＷｅｂブラウザ等から画質改善画像生成装置２０ａの所定のＵＲＬを参照することによって画質改善画像生成装置２０ａから送信されてくるＨＴＭＬ等により実現される。

【0039】

動画表示画面１３０は、特徴強調処理選択エリア１３５、合成元画像表示領域１３６、及び異種画像特徴合成動画表示領域１３７を含んでいる。

【0040】

特徴強調処理選択エリア１３５は、バンド選択エリア１３５ａ、及びフィルタ選択エリア１３５ｂに分かれている。

【0041】

バンド選択エリア１３５ａは、動画生成画面１００で選択された合成対象画像がＲＧＢ画像である場合、特徴強調処理が施される画像がＲＧＢ画像のうち、どのバンドの画像であるかが選択されるようになっている。

【0042】

フィルタ選択エリア１３５ｂでは、選択されたバンドの合成対象画像（単バンドの合成対象画像）に対し施される強調処理の種類が複数選択されるようになっている。ただし、ここで、“元画像”は、強調処理を施さないことを意味する。また、“分散”、“エネルギー”〜“鮮鋭化ラプラシアン”等は、単バンドの合成対象画像に対し、テクスチャ強調処理やエッジ強調処理を施すためのフィルタの種類である。また、“元画像”と表示された領域には、Ｒバンド、Ｇバンド、Ｂバンドのうち選択された単バンドの合成元画像が表示され、“分散”、“エネルギー”等の各領域には、単バンドの合成元画像に対し、それぞれの強調処理が施された画像が表示される。したがって、利用者は、フィルタ選択エリア１３５ｂに表示された画像を確認しながら、使用するフィルタを選択できる。なお、図９の例では、“エネルギー”及び“データレンジ”の２つのフィルタが選択されている。また、本実施形態では、フィルタ選択エリア１３５ｂで少なくとも一つの領域が選択されると、各エリア１１０〜１１２，１３５で選択または入力された情報が画質改善画像生成装置２０ａに送信される。

【0043】

合成元画像表示領域１３６には、合成元画像入力エリア１１０で指定された合成元画像が表示される。

【0044】

異種画像特徴合成動画表示領域１３７には、画質改善画像生成装置２０ａから送信されてくる動画が表示される。異種画像特徴合成動画表示領域１３７に表示される動画は、例えば、Ｍａｃｒｏｍｅｄｉａ Ｆｌａｓｈ（登録商標）等により実現される。

【0045】

＝＝＝処理説明＝＝＝
次に、画質改善画像生成装置２０ａを用いた画質改善画像生成システムにおける処理の流れについて説明する。

【0046】

図１０に例示されるように、まず、クライアント１０では、合成元画像及び合成対象画像が選択される（Ｓ１００１）。具体的には、動画生成画面１００における、合成元画像入力エリア１１０及び合成対象画像入力エリア１１１において、合成元画像及び合成対象画像の格納先がそれぞれ入力される。

【0047】

また、クライアント１０では、異種画像特徴合成動画を生成するための動画生成条件が選択される（Ｓ１００２）。具体的には、動画生成画面１００における動画生成条件選択エリア１１２において、方向、フィルタ（エンボス・エッジ強調）、表示順序、及び表示速度が選択される。

【0048】

そして、動画生成画面１００の動画表示画面生成ボタン１１３が押下されると、クライアント１０には指定された合成元画像を含む動画表示画面１３０が表示され、単バンドの合成対象画像に対する特徴強調処理が選択される（Ｓ１００３）。具体的には、特徴強調処理選択エリア１３５において、特徴強調処理が施される合成対象画像のバンド、及び、特徴強調処理を施すフィルタが選択される。

【0049】

特徴強調処理を施すフィルタが選択されると、クライアント１０は、入力または選択された画像、動画生成条件、及び特徴強調処理を画質改善画像生成装置２０ａに送信する（Ｓ１００４）。

【0050】

画質改善画像生成装置２０ａは、クライアント１０から送信されてくる画像、動画生成条件、及び特徴強調処理を受信し（Ｓ１００５）、メモリ６１に格納する。
画質改善画像生成装置２０ａは、メモリ６１から画像、動画生成条件、及び特徴強調処理を読み出し、異種画像特徴合成動画の生成処理を実行し（Ｓ１００６）、メモリ６１に格納する。
画質改善画像生成装置２０ａは、メモリ６１から異種画像特徴合成動画を読み出してクライアント１０に送信する（Ｓ１００７）。

【0051】

クライアント１０は、画質改善画像生成装置２０ａから送信されてくる異種画像特徴合成動画を受信し（Ｓ１００８）、画像表示画面１３０の異種画像特徴合成動画表示領域１３７に動画を表示する（Ｓ１００９）。

【0052】

＜＜＜異種画像特徴合成動画生成の処理について＞＞＞
ここで、異種画像特徴合成動画生成処理（Ｓ１００６）について、図１１に例示するフローチャート及び図１２の処理イメージ図を用いて詳細に説明する。

【0053】

特徴強調処理部７０は、メモリ６１に格納された合成対象画像を読み出し、合成対象画像が、カラー画像（ＲＧＢ画像）であるか単バンド画像であるかを判定する（Ｓ１１０１）。合成対象画像がカラー画像の場合（Ｓ１１０１:カラー）、特徴強調処理部７０は、指定されたバンドの合成対象画像を生成する（Ｓ１１０２）。一方、合成対象画像が単バンドである場合（Ｓ１１０１：単バンド）、または、処理Ｓ１１０２にて単バンドの合成対象画像が生成された場合、特徴強調処理部７０は、単バンドの合成対象画像に対し、指定された特徴強調処理を施す（Ｓ１１０３）。図１２の例では、指定された特徴強調処理の数“ｎ”が、例えば“５”であるとしているため、異なる特徴が強調された５枚の特徴強調画像１５１〜１５５が生成され、メモリ６１に格納される。

【0054】

エンボス画像生成部７１は、メモリ６１に格納された特徴強調画像１５１〜１５５に対し、エンボス処理を施すことが選択されている場合（Ｓ１１０４：エンボス）、特徴強調画像１５１〜１５５及び動画生成条件を読み出す。そして、エンボス画像生成部７１は、特徴強調画像１５１〜１５５のそれぞれに対して、指定された照射方向及びエンボスパターンに従ったエンボス処理を施して複数のエンボス画像を生成する（Ｓ１１０５）。図１２の例では、特徴強調画像１５１に対し、照射方向を４５度刻みとする８つのエンボス処理が施されることにより、８枚のエンボス画像１６０ａ〜１６０ｈが生成される。また、特徴強調画像１５２に対し、照射方向を４５度刻みとする８つのエンボス処理が施されることにより、８枚のエンボス画像１６１ａ〜１６１ｈが生成される。なお、特徴強調画像１５３〜１５５も、特徴強調画像１５１と同様の処理が施される。このため、本実施形態では４０枚（４０＝５×８）のエンボス画像が生成され、メモリ６１に格納される。

【0055】

エッジ強調画像生成部７２は、メモリ６１に格納された特徴強調画像１５１〜１５５に対し、エッジ強調処理を施すことが選択されている場合（Ｓ１１０４：エッジ）、特徴強調画像１５１〜１５５及び動画生成条件を読み出す。そして、エッジ強調画像生成部７２は、特徴強調画像１５１〜１５５のそれぞれに対して、指定された方向及びフィルタの種類に従ったエッジ強調処理を施して複数のエッジ強調画像を生成する（Ｓ１１０６）。図１２の例では、特徴強調画像１５１に対し、４５度刻みの８つのエッジ強調処理が施されることにより、８枚のエッジ強調画像１６０ａ〜１６０ｈが生成される。なお、特徴強調画像１５２〜１５５も、特徴強調画像１５１と同様の処理が施される。このため、本実施形態では４０枚（４０＝５×８）のエッジ強調画像が生成され、メモリ６１に格納される。

【0056】

異種画像特徴合成画像生成部７３は、エンボス画像生成部７１もしくはエッジ強調画像生成部７２で生成された画像と、合成元画像とをメモリ６１から読み出して合成し、異種画像特徴合成画像を生成する（Ｓ１１０７）。ここで、図１２において、例えば４０枚のエンボス画像が生成され、合成元画像がカラー画像１７０である場合について説明する。異種画像特徴合成画像生成部７３は、照射方向が“０”度の５枚のエンボス画像１６０ａ〜１６４ａと、カラー画像１７０とを合成し、異種画像特徴合成画像１８０ａを生成する。また、異種画像特徴合成画像生成部７３は、照射方向が“４５”度の５枚のエンボス画像１６０ｂ〜１６４ｂと、カラー画像１７０とを合成し、異種画像特徴合成画像１８０ｂを生成する。このように、異種画像特徴合成画像生成部７３は、方向が等しい複数のエンボス画像と、カラー画像１７０とを合成し、８枚の異種画像特徴合成画像１８０ａ〜１８０ｈを生成する。そして、生成された異種画像特徴合成画像１８０ａ〜１８０ｈは、メモリ６１に格納される。なお、ここでは、エンボス画像及び合成元画像が合成される例を説明したが、エッジ強調画像及び合成元画像が合成される場合も同様である。また、合成元画像が、単バンド画像１７１である場合も、カラー画像１７０の場合と同様である。

【0057】

異種画像特徴合成動画生成部７４は、メモリ６１に格納された８枚の異種画像特徴合成画像１８０ａ〜１８０ｈを読み出し、指定された表示順序及び表示速度に従って、異種画像特徴合成動画１９０を生成する（Ｓ１１０８）。なお、この画像特徴合成動画１９０は、メモリ６１に格納される。

【0058】

なお、処理Ｓ１１０７で実行される異種画像特徴合成画像は、例えば、以下の式（１）、（２）を用いて求めることができる。具体的には、異種画像特徴合成画像１８０の各画素の画素値をＱ（ｉ）とし、カラー画像１７０の各画素の画素値をＰとし、エッジ強調画像１６０〜１６４の画素の画素値の和をＥ（ｉ）とし、ｉをエッジ強調処理の方向を示す１〜８の自然数とすると、画素値Ｑ（ｉ）は、例えば、画素値Ｅ（ｉ）が１２８以上の場合には次式（１）によって求めることができ、画素値Ｅ（ｉ）が１２８未満の場合には次式（２）によって求めることができる。
Ｑ（ｉ）＝２×（Ｐ＋Ｅ（ｉ）−Ｐ×Ｅ（ｉ）／２５５）−２５５・・・（１）
Ｑ（ｉ）＝Ｐ×Ｅ（ｉ）×２／２５５・・・（２）

【0059】

＝＝＝動画生成例＝＝＝
画質改善画像生成装置２０ａを用いた場合の異種画像特徴合成動画の生成例について説明する。なお、生成例では、特徴強調処理を施すフィルタとして、“エネルギー”及び“データレンジ”の特徴量を強調するフィルタが選択されていることとする。さらに、生成例では、特徴強調画像に対し、照射方向を４５度刻みの８方向のエンボス処理が施されることが選択され、異種画像特徴合成画像の表示される順序を右回りとしている。

【0060】

図１３（ａ）に示された画像は、合成元画像及び合成対象画像となる内視鏡画像（カラー）である。このため、図１３（ａ）に示した画像が、例えば図１２に示す合成元のカラー画像１７０となる。また、図１３（ｂ）に示された画像は、合成対象画像の単バンド画像（Ｇ画像）であり、単バンド画像１５０に相当する。

【0061】

また、図１４（ａ）に示された画像は、単バンド画像１５０における“エネルギー”の特徴量が強調された特徴強調画像１５１であり、図１４（ｂ）に示された画像は、単バンド画像１５０における“データレンジ”の特徴量が強調された特徴強調画像１５２である。本例では、図１４から明らかなように、特徴強調画像１５１では強調されていない箇所が、特徴強調画像１５２で強調される。

【0062】

そして、本実施形態では、特徴強調画像１５１に対して８方向のエンボス処理が施され、図１５に示すように、８枚のエンボス画像１６０ａ〜１６０ｈが生成される。この結果、エンボス画像１６０ａ〜１６０ｈでは、単バンド画像１５０の“エネルギー”の特徴量がより強調されることになる。

【0063】

また、特徴強調画像１５２に対しても８方向のエンボス処理が施され、図１６に示すように、８枚のエンボス画像１６１ａ〜１６１ｈが生成される。この結果、エンボス画像１６１ａ〜１６１ｈでは、単バンド画像１５０の“データレンジ”の特徴量がより強調されることになる。

【0064】

次に、異種画像特徴合成画像の例を示す。図１７に例示されるように合成元画像であるカラー画像１７０に、エネルギーの特徴量が強調されたエンボス画像１６０ａ〜１６０ｈの夫々と、データレンジの特徴量が強調されたエンボス画像１６１ａ〜１６１ｈの夫々とを合成することにより、異種画像特徴合成画像１８０ａ〜１８０ｈが生成されている。

【0065】

そして、図１８に示すように、異種画像特徴合成動画１９０は、異種画像特徴合成画像１８０ａ〜１８０ｈが、指定された表示速度で右回りに繰り返し表示されるものとなっている。図１９（ａ）に示された画像は、クライアント１０の動画表示画面１３０における合成元画像表示領域１３６に表示される合成元画像（カラー画像１７０）である。また、図１９（ｂ）に示された画像は、異種画像特徴合成動画表示領域１３７に表示される異種画像特徴合成動画１９０を便宜上静止画として例示した画像である。なお、図１９の異種画像特徴合成動画１９０における静止画は、実際の動的陰影変化を把握する上での単に一つの目安を与えるものである。図１９（ｂ）に示す異種画像特徴合成動画１９０における静止画は、単バンド画像１５０の異なる２つの特徴量が強調されており、カラー画像１７０の画質を反映していることがわかる。つまり、異種画像特徴合成動画１９０では、カラー画像１７０の画質が維持されつつ、カラー画像１７０の特徴が強調されている。

【0066】

以上、本発明の実施形態について説明した。前述したように、本実施形態では、単バンド画像１５０（合成対象画像）に対して２種類の強調処理が施されて、２枚の特徴強調画像１５１，１５２が生成される。そして、特徴強調画像１５１，１５２のそれぞれに対し、複数方向のエッジのそれぞれを強調する処理（例えば、エンボス処理）が施されるため、特徴強調画像１５１，１５２のそれぞれの特徴がさらに強調される。この結果、異種画像特徴合成動画１９０（合成動画）においては、カラー画像１７０（合成元画像）の画質が維持されつつ、擬似回転錯視の誘発によって特徴強調画像１５１，１５２のそれぞれの特徴が強調・鮮鋭化される。なお、本実施形態における複数の強調処理の内容は異なっているため、ある強調処理で強調できない特徴量は、他の強調処理で強調されることにより補完される。このため、本実施形態で生成された動画は、例えば、一種類の特徴強調画像のみに基づいて生成された動画よりも鮮鋭化される。具体的には、図２０（ａ）に示す画像は、“エネルギー”の特徴量のみが強調された特徴強調画像１５１に対してエンボス処理が施され、生成された合成動画を便宜上静止画として例示した画像である。また、図２０（ｂ）に示す画像は、“データレンジ”の特徴量のみが強調された特徴強調画像１５２に対してエンボス処理が施され、生成された合成動画を便宜上静止画として例示した画像である。図２０に示された２枚の画像と、本実施形態で生成された図１９（ｂ）の画像とを比較すると、本実施形態で生成された画像は、カラー画像１７０（合成元画像）の特徴がより強調・鮮鋭化されていることがわかる。

【0067】

さらに、図２１（ａ）に示された画像は、単バンド画像１５０における“コントラスト”の特徴量が強調された特徴強調画像１５３である。特徴強調画像１５３と、図１４に示した、“エネルギー”の特徴量が強調された特徴強調画像１５１、“データレンジ”の特徴量が強調された特徴強調画像１５２を比較すると、特徴強調画像１５１，１５２では強調されていない箇所が、特徴強調画像１５３で強調されている。そして、図２１（ｂ）に示された画像は、３つの異なる特徴量が強調された特徴強調画像１５１〜１５３に基づいて生成された異種画像特徴合成動画１９０を便宜上静止画として例示した画像である。なお、図２１（ｂ）の異種画像特徴合成動画１９０における静止画は、実際の動的陰影変化を把握する上での単に一つの目安を与えるものである。図２１（ｂ）に示す異種画像特徴合成動画１９０における静止画は、単バンド画像１５０の異なる３つの特徴量が強調されているため、カラー画像１７０の画質が維持されつつ、カラー画像１７０の特徴がより強調されている。

【0068】

また、例えば、特徴強調画像１５１，１５２のそれぞれに対しては、同一（例えば、８方向、Prewittフィルタ）のエッジ強調処理が施されている。したがって、特徴強調画像１５１，１５２のそれぞれで強調された特徴量に対し、同様の錯視を誘発させることが可能となる。

【0069】

また、特徴強調画像１５１，１５２のそれぞれに対して同一（同パターン）のエンボス処理を施すことによっても、特徴強調画像１５１，１５２のそれぞれで強調された特徴量に対し、同様の錯視を誘発させることが可能となる。

【0070】

また、本実施形態では、単バンド画像１５０（合成対象画像）に対し、複数の異なるエッジ強調処理またはテクスチャ強調処理を施すことにより、合成対象画像の様々な特徴量を強調することができる。

【0071】

また、合成対象画像は、合成元画像とは異なる画像であることとしてもよい。これにより、例えば、合成対象画像の特徴をより際立たせることができる。

【0072】

また、合成対象画像は、合成元画像と同一の画像であることとしてもよい。これにより、例えば、合成対象画像の特徴を判読し易くすることができる。

【0073】

また、合成元画像は、Ｒ画像，Ｇ画像，Ｂ画像を含むカラー画像１７０であるため、合成元画像が単バンド画像である場合と比較すると、異種画像特徴合成動画１９０（合成動画）の画質の維持及び特徴の強調をより向上させることができる。

【0074】

以上述べたように、本実施形態では、様々な特徴が強調された異種画像特徴合成動画１９０を生成することができる。したがって、画質改善画像生成装置２０ａは、例えば、医療画像分析、土地被覆変化解析（環境変化分析）、鉱物探査（リニアメント解析）、防災（被災領域の分析把握）、検査計測画像分析等に利用することができる。また、図１９に示された画像は２種類の特徴強調処理が施された結果であるが、図２１（ｂ）に例示したように、３種類以上の強調処理が施された場合も、本実施例と同様に、合成元画像の画質を改善することができる。

【0075】

＜＜＜画質改善画像生成装置の第２の実施形態＞＞＞
図２２に示すように、画質改善画像生成装置２０の第２の実施形態である画質改善画像生成装置２０ｂは、フレーム画像抽出部８０、特徴強調処理部８１、エンボス画像生成部８２、異種画像特徴合成画像生成部８３、及び異種画像特徴合成動画生成部８４を含んで構成されている。フレーム画像抽出部８０等の機能ブロックは、ＣＰＵ６０がメモリ６１に格納されたプログラムを実行することにより実現される。なお、画質改善画像生成装置２０ｂに実現される機能ブロックのうち、画質改善画像生成装置２０ａで実現される機能ブロックと同じ名称の機能ブロックは、画質改善画像生成装置２０ａで実現される機能ブロックと同様である。このため、これらの機能ブロックに関しては、簡単に説明する。

【0076】

フレーム画像抽出部８０は、動画（カラー）に含まれる全てのフレーム画像を抽出し、最初のフレーム画像から順番にメモリ６１に格納する。

【0077】

特徴強調処理部８１（第１及び第２強調処理部）は、メモリ６１に格納されるフレーム画像を最初のフレーム画像から順番に読み出す。また、特徴強調処理部８１は、読み出したフレーム画像の単バンド画像（例えば、Ｇ画像）を合成対象画像としてテクスチャ強調処理やエッジ強調処理等の強調処理を施す。そして、特徴強調処理部８１は、特徴強調処理が施された複数の特徴強調画像をメモリ６１に格納する。

【0078】

エンボス画像生成部８２（第１及び第２エッジ強調画像生成部）は、メモリ６１から特徴強調処理が施された複数の特徴強調画像を読み出す。そして、エンボス画像生成部８２は、複数の特徴強調画像のそれぞれに対して複数方向を光源とみなす複数のエンボス画像を生成する。なお、生成された複数のエンボス画像はメモリ６１に格納される。

【0079】

異種画像特徴合成画像生成部８３（合成画像生成部）は、例えば、メモリ６１から複数のエンボス画像を読み出し、これら複数のエンボス画像のそれぞれに対し、メモリ６１から読み出された合成元画像を合成して、複数の異種画像特徴合成画像を生成する。そして、異種画像特徴合成画像生成部７３は、生成した複数の異種画像特徴合成画像をメモリ６１に格納する。

【0080】

異種画像特徴合成動画生成部８４（合成動画生成部）は、例えば、メモリ６１に格納された複数の異種画像特徴合成画像を読み出し、これらの複数の異種画像特徴合成画像が連続的に切り替えて表示される異種画像特徴合成動画を生成する。そして、生成された画像特徴合成動画は、メモリ６１に格納される。

【0081】

＝＝＝画面説明＝＝＝
次に、クライアント１０に表示される画面について説明する。図２３に例示されるように、異種画像特徴合成動画を生成する際の条件等を入力するための動画生成画面２００は、動画入力エリア２１０、動画生成条件選択エリア２１１、及び動画表示画面生成ボタン２１２を含んでいる。

【0082】

動画入力エリア２１０では、判読対象となる動画（いわゆる元動画）の格納先（ファイルパス名等）が入力される。

【0083】

動画生成条件選択エリア１１２は、特徴強調エリア２１１ａ、方向選択エリア２１１ｂ、エンボスフィルタ選択エリア２１１ｃ、表示順序選択エリア２１１ｄ、及び表示速度選択エリア２１１ｅに分かれている。

【0084】

特徴強調エリア２１１ａでは、合成対象画像に対し施される強調処理の種類が複数選択されるようになっている。なお、ここで、“分散，エネルギー”〜“鮮鋭化ラプラシアン”等は、合成対象画像に対し、テクスチャ強調処理やエッジ強調処理を施すためのフィルタの種類である。

【0085】

方向選択エリア２１１ｂでは、特徴強調処理が施された複数の特徴強調画像に対し、エンボス処理を施す際の方向が選択されるようになっている。本実形態では、４方向、８方向、及び１６方向の何れかが選択されるようになっている。

【0086】

エンボスフィルタ選択エリア２１１ｃでは、複数のエンボス画像が生成される際に用いられるエンボス処理の種類が選択されるようになっている。ここで、パターンＡ〜Ｃは、エンボス処理のための異なるフィルタ係数（行列のサイズや重み等）を表わしている。

【0087】

表示順序選択エリア２１１ｄでは、異種画像特徴合成動画に含まれる複数の異種画像特徴合成画像の表示順序が選択されるようになっている。本実施形態では、右回り、左回り、ランダム、一方向、たすきがけの何れかが選択されるようになっている。

【0088】

表示速度選択エリア２１１ｅでは、異種画像特徴合成動画における異種画像特徴合成画像の切り替わる速度が選択されるようになっている。本実施形態では、４ｆｐｓ（flame per second）、８ｆｐｓ、１６ｆｐｓの何れかが選択されるようになっている。

【0089】

動画表示画面生成ボタン２１２は、前述したエリア２１０，２１１で選択または入力された情報を画質改善画像生成装置２０ｂに送信するためのものである。また、動画表示画面生成ボタン２１２は、クライアント１０には、例えば図２４に示すような動画表示画面２３０を表示させるためのボタンである。

【0090】

動画表示画面２３０は、元動画表示領域２３５、異種画像特徴合成動画表示領域２３６、及び操作領域２３７を含んでいる。
元動画表示領域２３５には、動画入力エリア２１０で指定された動画が表示される。
異種画像特徴合成動画表示領域２３６には、画質改善画像生成装置２０ｂから送信されてくる動画が表示される。
操作領域２３７には、元動画、及び異種画像特徴合成動画を一括して、再生、巻戻し等をさせるためのボタンが含まれている。なお、詳細は後述するが、動画表示画面２３０に表示される元動画、および異種画像特徴合成動画は同期して再生される。

【0091】

＝＝＝処理説明＝＝＝
次に、画質改善画像生成装置２０ｂを用いた画質改善画像生成システムにおける処理の流れについて説明する。

【0092】

図２５に例示されるように、まず、クライアント１０では、判読対象となる動画（元動画）が選択される（Ｓ２００１）。具体的には、動画生成画面２００における、動画入力エリア２１０において、動画の格納先が入力される。

【0093】

また、クライアント１０では、異種画像特徴合成動画を生成するための動画生成条件が選択される（Ｓ２００２）。具体的には、動画生成画面２００における動画生成条件選択エリア２１１において、特徴強調、方向、エンボスフィルタの種類、表示順序、及び表示速度が選択される。

【0094】

そして、動画生成画面２００の動画表示画面生成ボタン２１２が押下されると、クライアント１０は、入力または選択された動画及び動画生成条件を画質改善画像生成装置２０ｂに送信する（Ｓ２００３）。

【0095】

画質改善画像生成装置２０ｂは、クライアント１０から送信されてくる動画、動画生成条件を受信し（Ｓ２００４）、メモリ６１に格納する。
画質改善画像生成装置２０ｂは、メモリ６１から動画、及び動画生成条件を読み出し、異種画像特徴合成動画の生成処理を実行し（Ｓ２００５）、メモリ６１に格納する。
画質改善画像生成装置２０ｂは、メモリ６１から異種画像特徴合成動画を読み出してクライアント１０に送信する（Ｓ２００６）。

【0096】

クライアント１０は、画質改善画像生成装置２０ｂから送信されてくる異種画像特徴合成動画を受信し（Ｓ２００７）、動画表示画面２３０における元動画表示領域２３５に指定された動画（元動画）を表示し、異種画像特徴合成動画表示領域２３６に異種画像特徴合成動画を表示する（Ｓ２００８）。

【0097】

＜＜＜異種画像特徴合成動画生成の処理について＞＞＞
ここで、異種画像特徴合成動画生成処理（Ｓ２００５）について、図２６に例示するフローチャート、及び図２７の処理イメージ図を用いて詳細に説明する。

【0098】

フレーム画像抽出部８０は、動画に含まれる全てのフレーム画像を抽出し、最初のフレーム画像から順番にメモリ６１に格納する（Ｓ２１０１）。図２７の例では、指定された動画には例えば１０００枚のフレーム画像Ａ１〜Ａ１０００が含まれることとする。このため、動画の最初（１番目）のフレーム画像であるフレーム画像Ａ１から、最後（１０００番目）のフレーム画像であるフレーム画像Ａ１０００まで順番にメモリ６１に格納される。

【0099】

特徴強調処理部８１は、処理対象のフレーム画像の番号を“１”だけインクリメントし、該当する番号のフレーム画像をメモリ６１から取得する（Ｓ２１０２）。なお、本実施形態では、初期状態においては処理対象のフレーム画像の番号は“０”であることとする。このため、処理Ｓ２１０２が初めて実行されると、フレーム画像Ａ１が取得されることになる。そして、特徴強調処理部８１は、処理対象として取得したフレーム画像から単バンドの合成対象画像を生成する（Ｓ２１０３）。図２７の例では、単バンド画像３００が生成され、メモリ６１に格納される。

【0100】

そして、特徴強調処理部８１は、単バンドの合成対象画像に対し、指定された特徴強調処理を施す（Ｓ２１０４）。図１２の例では、指定された特徴強調処理が、例えば“エネルギー”及び“データレンジ”の２つであるとしているため、“エネルギー”の特徴量が強調された特徴強調画像３１０と、“データレンジ”の特徴量が強調された特徴強調画像３１１とが生成され、メモリ６１に格納される。

【0101】

エンボス画像生成部８２は、メモリ６１に格納された特徴強調画像３１０，３１１のそれぞれに対し、指定された照射方向及びエンボスパターンに従ったエンボス処理を施して複数のエンボス画像を生成する（Ｓ２１０５）。図２７の例では、特徴強調画像３１０に対し、照射方向を４５度刻みとする８つのエンボス処理が施されることにより、８枚のエンボス画像３２０ａ〜３２０ｈが生成される。また、特徴強調画像３１１に対し、照射方向を４５度刻みとする８つのエンボス処理が施されることにより、８枚のエンボス画像３２１ａ〜３２１ｈが生成される。このため、本実施形態では１６枚（１６＝２×８）のエンボス画像が生成され、メモリ６１に格納される。

【0102】

異種画像特徴合成画像生成部８３は、生成されたエンボス画像と、合成元画像である処理対象のフレーム画像とをメモリ６１から読み出して合成し、異種画像特徴合成画像を生成する（Ｓ２１０６）。ここで、図２７の例では、異種画像特徴合成画像生成部８３は、照射方向が“０”度の２枚のエンボス画像３２０ａ，３２１ａと、処理対象のフレーム画像とを合成し、異種画像特徴合成画像３５０ａを生成する。また、異種画像特徴合成画像生成部８３は、照射方向が“４５”度の２枚のエンボス画像３２０ｂ，３２１ｂと、処理対象のフレーム画像とを合成し、異種画像特徴合成画像３５０ｂを生成する。このように、異種画像特徴合成画像生成部８３は、方向が等しい複数のエンボス画像と、処理対象のフレーム画像とを合成し、８枚の異種画像特徴合成画像３５０ａ〜３５０ｈを生成する。そして、生成された異種画像特徴合成画像３５０ａ〜３５０ｈは、順次メモリ６１に格納される。つまり、異種画像特徴合成画像生成部８３は、処理対象のフレーム画像に対し、８枚の異種画像特徴合成画像を生成して、メモリ６１に格納する。なお、図２７の例では、１番目（最初）のフレーム画像Ａ１に対して生成された８枚の異種画像特徴合成画像は、異種画像特徴合成画像Ｂ１〜Ｂ８としてメモリ６１に格納され、２番目のフレーム画像Ａ２に対して生成された８枚の異種画像特徴合成画像は、異種画像特徴合成画像Ｂ９〜Ｂ１６としてメモリ６１に格納される。なお、３番目〜１０００番目までのフレーム画像Ａ３〜Ａ１０００に対して生成された画像も、前述した場合と同様である。

【0103】

そして、異種画像特徴合成画像生成部８３は、処理対処のフレーム画像が最後のフレーム画像であるか否かを判定する（Ｓ２１０７）。処理対象のフレーム画像が、最後のフレーム画像でない場合（Ｓ２１０７：ＮＯ）、処理Ｓ２１０２が再び実行される。一方、処理対象のフレーム画像が、最後のフレーム画像である場合（Ｓ２１０７：ＹＥＳ）、異種画像特徴合成動画生成部８４は、メモリ６１に格納された異種画像特徴合成画像を順次読み出し、指定された表示順序及び表示速度に従って、異種画像特徴合成動画を生成する（Ｓ２１０８）。図２７の例では、メモリ６１に格納された８０００枚の異種画像特徴合成画像Ｂ１〜Ｂ８０００を順次読み出され、異種画像特徴合成動画４００が生成される。なお、この画像特徴合成動画４００は、メモリ６１に格納される。また、動画表示画面２３０には、フレーム画像Ａ１が再生される際には、フレーム画像Ａ１に基づいて生成された８枚の異種画像特徴合成画像Ｂ１〜Ｂ８が再生され、フレーム画像Ａ２が再生される際には、フレーム画像Ａ２に基づいて生成された８枚の異種画像特徴合成画像Ｂ９〜Ｂ１６が再生される。このように、動画表示画面２３０に表示される元動画、および異種画像特徴合成動画は同期して再生される。

【0104】

＝＝＝動画生成例＝＝＝
画質改善画像生成装置２０ｂを用いた場合の異種画像特徴合成動画の生成例について説明する。なお、生成例では、特徴強調処理を施すフィルタとして、“エネルギー”及び“データレンジ”の特徴量を強調するフィルタが選択されていることとする。さらに、生成例では、特徴強調画像に対し、照射方向を４５度刻みの８方向のエンボス処理が施されることが選択され、異種画像特徴合成画像の表示される順序を右回りとしている。

【0105】

図２８（ａ）には、判読対象となる内視鏡動画（元動画）を例示し、図２８（ｂ）には、元動画に基づいて生成された異種画像特徴合成動画４００を例示している。なお、図２８の画像は、元動画、及び異種画像特徴合成動画４００を便宜上静止画として例示するものであり、実際の動的陰影変化を把握する上での単に一つの目安を与えるものである。また、元動画は、クライアント１０の動画表示画面２３０の元動画表示領域２３５に表示され、異種画像特徴合成動画４００は、異種画像特徴合成動画表示領域２３６に表示される。

【0106】

図２８の元動画と、異種画像特徴合成動画４００とを比較すると、異種画像特徴合成動画４００では、元動画における“ぼけ”（例えば手振れ等に起因するボケ）が改善されるとともに、元動画の画質を維持しつつ、画像特徴が鮮鋭化されている。

【0107】

例えば癌の診断においては、淡い発赤域、退色域といった周囲の粘膜と比べてわずかな変化や、極軽微な凹凸をとらえることが重要である。従来の内視鏡では、図２８（ａ）に示すように、色調の変化や、軽微な凹凸までも浮き彫りにするような画像を得ることはできなかった。しかしながら、図２８（ａ）の内視鏡動画（元動画）に対し、異種画像特徴合成処理を施した場合、図２８（ｂ）の異種画像特徴合成動画４００に示すように、色調の変化や、軽微な凹凸までも浮き彫りにすることが可能となる。したがって、医療用内視鏡で取得された画像の異種画像特徴合成動画を生成すると、周囲の粘膜から鮮明に癌の境界を認識することができ、早期癌の発見率を向上させることも可能となる。

【0108】

また、内視鏡画像が撮影される際、内視鏡カメラの位置、及び観測対象物の位置は時々刻々と変化し続ける。つまり、内視鏡カメラの視点、及び観測対象物の位置（視準点）はともに移動（変化）する。通常、視点及び視準点が変化する場合には、いわゆる“ぶれ”が生じるため、図２８（ａ）の内視鏡動画（元動画）には“ぼけ”が発生する。しかしながら、元画像に対して異種画像特徴合成処理を施すことにより、図２８（ｂ）に示すように、画質が改善（例えば“ぼけ”が改善）された画像（異種画像特徴合成動画４００）を得ることができる。

【0109】

“ぼけ”の改善は、“擬似回転錯視”が誘発された際の“残像錯視効果”によるものである。元動画の１枚のフレーム画像に対して生成された８枚の異種画像特徴合成画像Ｂ１〜Ｂ８（エンボス画像）を見ると、凹凸についての錯視が光の照射方向によって異なっている。このため、異種画像特徴合成画像Ｂ１〜Ｂ８を、連続表示させることにより“擬似回転錯視”が誘発され“残像錯視効果”が発生する。

【0110】

このように、“撮像としての動画”そのものに擬似回転錯視効果、残像錯視効果が反映されたことにより、従来の画像（図２８（ａ））では得られなかった鮮鋭化された画像（図２８（ｂ））を初めて得ることが可能となった。なお、図２８（ｂ）に示す異種画像特徴合成動画４００では、元画像（図２８（ａ））の画質そのものを維持しつつ、画像全体にわたる鮮鋭化と画像特徴強調効果が得られている。

【0111】

なお、例えば、１秒間に撮影するフレーム画像の数が極めて多いハイスピードカメラを用いた場合であっても、視点及び視準点が変化した際に発生する“ぼけ”を防止することはできない。しかしながら、ハイスピードカメラで撮影された動画に対し、本実施形態の異種画像特徴合成処理を施すことにより、視点及び視準点が変化した際に発生する“ぼけ”を防止することが可能である。

【0112】

また、図２８の内視鏡画像は、カメラ等の視点及び観測対象物の位置（視準点）がともに移動する場合の一例であるが、視点及び視準点の何れか一方が移動する場合や、両方が不動の場合であっても、異種画像特徴合成処理を施すことにより元画像の画質を改善することができる。なお、視点及び視準点が“不動”の際に取得される画像としては、例えば、ＣＴ（Computerized Tomography）スキャンやコンクリート圧縮強度試験において取得される画像が該当する。また、視点が“不動”かつ視準点が“移動”の際に取得される画像としては、例えば、橋げた調査の際に取得される画像が該当する。さらに、視点が“移動”かつ視準点が“不動”の際に取得される画像としては、例えば、コンクリート壁面調査の際に取得される画像が該当する。したがって、ＣＴスキャンの画像や、コンクリート壁面調査の際に取得される画像等に対して、本実施形態の処理を施すことにより、元画像の鮮鋭化が可能となる。

【0113】

本実施形態では、“動画”及び“静止画”ともに、複数の画像特徴を任意に合成して、画像特徴複数合成動画（例えば、異種画像特徴合成動画１９０，４００）を生成することができる。そして、複数の画像特徴を合成するパターン（組み合わせ）の数は非常に多い。このため、判読対象となる画像（“動画”及び“静止画”）がどのような画像であっても、
複数の画像特徴を合成するパターンを変化させることにより、判読対象となる画像に適した画像特徴複数合成動画を生成することができる。つまり、画像を判読する際に、発見的画像判読支援が展開できることになる。

【0114】

前述した実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく変更、改良されるとともに、本発明にはその等価物も含まれる。

【0115】

例えば、前述した実施の形態においては、クライアント１０を用いた構成としたが、クライアント１０を用いず、画質改善画像生成装置２０において、画像の選択、動画生成条件の入力、動画の表示等が行われることとしてもよい。

【0116】

また、例えば、本実施形態では異種画像特徴合成動画４００を生成する際には、単バンド画像３００に対し２種類の特徴を強調した特徴強調画像３１０，３１１を生成したが、１種の特徴を強調した特徴強調画像３１０のみに基づいて異種画像特徴合成動画４００を生成しても良い。このような場合であっても、元画像より画質が改善された画像（異種画像特徴合成動画４００）を得ることができる。ただし、本実施形態の様に、２種類の特徴を強調した特徴強調画像３１０，３１１を用いるほうが、１種類のみの特徴強調画像を用いるよりも、元画像の画質をより改善することができる。

【符号の説明】

【0117】

１０ クライアント
２０ 画質改善画像生成装置
３０ ネットワーク
４０ ＣＰＵ
４１ メモリ
４２ 記憶装置
４３ 表示インタフェース
４４ 入力インタフェース
４５ 通信インタフェース
４６ 記録媒体読取装置
５０ 表示装置
５１ 入力装置
５２ 記録媒体
５３ 記録媒体
６０ ＣＰＵ
６１ メモリ
６２ 記憶装置
６３ 通信インタフェース
６４ 記録媒体読取装置
７０，８１ 特徴強調処理部
７１，８２ エンボス画像生成部
７２ エッジ強調画像生成部
７３，８３ 異種画像特徴合成画像生成部
７４，８４ 異種画像特徴合成動画生成部
８０ フレーム画像抽出部

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図1】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図28】