特開 2022-52495 画像加工装置、画像加工方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022052495

(43)【公開日】2022-04-04

(54)【発明の名称】画像加工装置、画像加工方法及びプログラム

(51)【国際特許分類】

   G06T 1/00 20060101AFI20220328BHJP

   G06T 7/90 20170101ALI20220328BHJP

【ＦＩ】

G06T1/00 510

G06T7/90 C

【審査請求】有

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2020158920

(22)【出願日】2020-09-23

(11)【特許番号】

(45)【特許公報発行日】2022-01-12

(71)【出願人】

【識別番号】501435901

【氏名又は名称】エヌ・ティ・ティ・ビズリンク株式会社

(74)【代理人】

【識別番号】100141139

【弁理士】

【氏名又は名称】及川 周

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(72)【発明者】

【氏名】矢部 幸保

(72)【発明者】

【氏名】今井 敏明

(72)【発明者】

【氏名】浅野 崇

(72)【発明者】

【氏名】松本 拓也

【テーマコード（参考）】

5B057

5L096

【Ｆターム（参考）】

5B057AA07

5B057CA01

5B057CA08

5B057CA12

5B057CA16

5B057CB01

5B057CB08

5B057CB12

5B057CB16

5B057CE08

5B057CE09

5B057CE17

5B057DB02

5B057DB06

5B057DB09

5B057DC25

5L096BA06

5L096BA13

5L096FA15

5L096GA38

(57)【要約】      （修正有）

【課題】動画像において特定情報が撮影されているフレームを表示しないように、特定情報が撮影されているフレームであることを短時間で識別して画像加工する画像加工装置を提供する。
【解決手段】画像加工装置において、加工処理装置は、被写体画像領域を動画像のフレームから切り出す画像切出部１３１と、被写体画像領域の色の表現形式を、色相及び彩度で表される色空間における色の表現形式に変換する形式変換部１３２と、色空間における色であって固有色以外の色を被写体画像領域において検出する色検出部１３３と、固有色以外の色を有する一定面積以上の領域を、表現形式の変換後の被写体画像領域から抽出する処理を実行する領域抽出部１３４と、領域が抽出されたか否かを判定する判定部１３５と、固有色以外の色を有する領域が抽出されたと判定された場合、加工された被写体の画像を被写体画像領域に含むフレームを生成する加工処理部１３６と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

被写体の画像を含む領域である被写体画像領域を動画像のフレームから切り出す画像切出部と、
前記被写体画像領域の色の表現形式を、少なくとも色相及び彩度で表される色空間における色の表現形式に変換する形式変換部と、
撮影対象として予め定められた前記被写体の１以上の固有色の情報を取得し、前記色空間における色であって前記固有色以外の色を前記被写体画像領域において検出する色検出部と、
前記固有色以外の色を有する一定面積以上の領域を、色の表現形式の変換後の前記被写体画像領域から抽出する処理を実行する領域抽出部と、
前記固有色以外の色を有する一定面積以上の領域が抽出されたか否かを判定する判定部と、
前記固有色以外の色を有する一定面積以上の領域が抽出されたと判定された場合、前記被写体の画像を加工し、加工された前記被写体の画像を前記被写体画像領域に含む前記フレームを生成する加工処理部と
を備える画像加工装置。

【請求項2】

前記加工処理部は、前記固有色以外の色を有する一定面積以上の領域が抽出されたと判定された場合、前記被写体の画像を所定の色で覆い隠す、請求項１に記載の画像加工装置。

【請求項3】

前記固有色は、前記被写体の画像における前記色相のヒストグラムと、前記被写体の画像における前記彩度のヒストグラムとに基づいて予め定められる、請求項１又は請求項２に記載の画像加工装置。

【請求項4】

前記被写体の一部に吸収され易い予め定められた波長の光が前記被写体に照射され、
前記固有色は、前記波長の光が照射された前記被写体の画像における前記色相のヒストグラムと、前記波長の光が照射された前記被写体の画像における前記彩度のヒストグラムとに基づいて予め定められる、請求項１から請求項３のいずれか一項に記載の画像加工装置。

【請求項5】

予め定められた波長の光を吸収する着色料が前記被写体に塗布され、
前記固有色は、前記波長の光が照射された前記被写体の画像における前記色相のヒストグラムと、前記波長の光が照射された前記被写体の画像における前記彩度のヒストグラムとに基づいて予め定められる、請求項１から請求項３のいずれか一項に記載の画像加工装置。

【請求項6】

前記被写体は、内臓であり、
前記動画像は、内視鏡によって撮影された前記内臓の画像である、請求項１から請求項３のいずれか一項に記載の画像加工装置。

【請求項7】

画像加工装置が実行する画像加工方法であって、
被写体の画像を含む領域である被写体画像領域を動画像のフレームから切り出す画像切出ステップと、
前記被写体画像領域の色の表現形式を、少なくとも色相及び彩度で表される色空間における色の表現形式に変換する形式変換ステップと、
撮影対象として予め定められた前記被写体の１以上の固有色の情報を取得し、前記色空間における色であって前記固有色以外の色を前記被写体画像領域において検出する色検出ステップと、
前記固有色以外の色を有する一定面積以上の領域を、色の表現形式の変換後の前記被写体画像領域から抽出する処理を実行する領域抽出ステップと、
前記固有色以外の色を有する一定面積以上の領域が抽出されたか否かを判定する判定ステップと、
前記固有色以外の色を有する一定面積以上の領域が抽出されたと判定された場合、前記被写体の画像を加工し、加工された前記被写体の画像を前記被写体画像領域に含む前記フレームを生成する加工処理ステップと
を含む画像加工方法。

【請求項8】

請求項１から請求項６のいずれか一項に記載の画像加工装置としてコンピュータを機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像加工装置、画像加工方法及びプログラムに関する。

【背景技術】

【0002】

医療情報を含む動画像のフレームには、特定の個人を識別することが可能な情報（以下「特定情報」という。）が撮影されている場合がある。例えば、内視鏡を用いた大腸検査の際に内視鏡で撮影された動画像のフレームには、被験者を識別するための診察券が撮影されている場合がある。また例えば、内視鏡が大腸に挿入される前又は大腸から抜かれた後では、個人を識別可能な程度に被験者の顔が動画像のフレームに撮影されている場合がある。このような場合、医療情報の匿名化のため、特定情報が撮影されているフレームを表示しないように又は特定情報が識別され難いように、動画像の複数のフレームのうちの特定情報が撮影されているフレームを画像加工する必要がある。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００７－２０７１８１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特定情報が撮影されているフレームが表示されないようにするため、それらのフレームを画像加工するには、画像加工の要否をフレームごとに判定する等の高速な処理の実行が必要である。しかしながら従来では、動画像に対する画像加工には、１フレームの再生時間（例えば、フレームレートが６０ｆｐｓである場合には、０．０１６秒）よりも非常に長い処理時間が必要であった。このように従来では、動画像において特定情報が撮影されているフレームを表示しないように又は特定情報が識別され難いように、特定情報が撮影されているフレームであることを短時間で識別して画像加工することができなかった。

【0005】

上記事情に鑑み、本発明は、動画像において特定情報が撮影されているフレームを表示しないように又は特定情報が識別され難いように、特定情報が撮影されているフレームであることを短時間で識別して画像加工することが可能である画像加工装置、画像加工方法及びプログラムを提供することを目的としている。

【課題を解決するための手段】

【0006】

本発明の一態様は、被写体の画像を含む領域である被写体画像領域を動画像のフレームから切り出す画像切出部と、前記被写体画像領域の色の表現形式を、少なくとも色相及び彩度で表される色空間における色の表現形式に変換する形式変換部と、撮影対象として予め定められた前記被写体の１以上の固有色の情報を取得し、前記色空間における色であって前記固有色以外の色を前記被写体画像領域において検出する色検出部と、前記固有色以外の色を有する一定面積以上の領域を、色の表現形式の変換後の前記被写体画像領域から抽出する処理を実行する領域抽出部と、前記固有色以外の色を有する一定面積以上の領域が抽出されたか否かを判定する判定部と、前記固有色以外の色を有する一定面積以上の領域が抽出されたと判定された場合、前記被写体の画像を加工し、加工された前記被写体の画像を前記被写体画像領域に含む前記フレームを生成する加工処理部とを備える画像加工装置である。

【0007】

本発明の一態様は、上記の画像加工装置であって、前記加工処理部は、前記固有色以外の色を有する一定面積以上の領域が抽出されたと判定された場合、前記被写体の画像を所定の色で覆い隠す。

【0008】

本発明の一態様は、上記の画像加工装置であって、前記固有色は、前記被写体の画像における前記色相のヒストグラムと、前記被写体の画像における前記彩度のヒストグラムとに基づいて予め定められる。

【0009】

本発明の一態様は、上記の画像加工装置であって、前記被写体の一部に吸収され易い予め定められた波長の光が前記被写体に照射され、前記固有色は、前記波長の光が照射された前記被写体の画像における前記色相のヒストグラムと、前記波長の光が照射された前記被写体の画像における前記彩度のヒストグラムとに基づいて予め定められる。

【0010】

本発明の一態様は、上記の画像加工装置であって、予め定められた波長の光を吸収する着色料が前記被写体に塗布され、前記固有色は、前記波長の光が照射された前記被写体の画像における前記色相のヒストグラムと、前記波長の光が照射された前記被写体の画像における前記彩度のヒストグラムとに基づいて予め定められる。

【0011】

本発明の一態様は、上記の画像加工装置であって、前記被写体は、内臓であり、前記動画像は、内視鏡によって撮影された前記内臓の画像である。

【0012】

本発明の一態様は、画像加工装置が実行する画像加工方法であって、被写体の画像を含む領域である被写体画像領域を動画像のフレームから切り出す画像切出ステップと、前記被写体画像領域の色の表現形式を、少なくとも色相及び彩度で表される色空間における色の表現形式に変換する形式変換ステップと、撮影対象として予め定められた前記被写体の１以上の固有色の情報を取得し、前記色空間における色であって前記固有色以外の色を前記被写体画像領域において検出する色検出ステップと、前記固有色以外の色を有する一定面積以上の領域を、色の表現形式の変換後の前記被写体画像領域から抽出する処理を実行する領域抽出ステップと、前記固有色以外の色を有する一定面積以上の領域が抽出されたか否かを判定する判定ステップと、前記固有色以外の色を有する一定面積以上の領域が抽出されたと判定された場合、前記被写体の画像を加工し、加工された前記被写体の画像を前記被写体画像領域に含む前記フレームを生成する加工処理ステップとを含む画像加工方法である。

【0013】

本発明の一態様は、上記の画像加工装置としてコンピュータを機能させるためのプログラムである。

【発明の効果】

【0014】

本発明により、動画像において特定情報が撮影されているフレームを表示しないように又は特定情報が識別され難いように、特定情報が撮影されているフレームであることを短時間で識別して画像加工することが可能である。

【図面の簡単な説明】

【0015】

【図1】実施形態における、画像加工装置の構成例を示す図である。

【図2】実施形態における、内視鏡による動画像の撮影パターンの例を示す図である。

【図3】実施形態における、体内以外が撮影されているフレームの例を示す図である。

【図4】実施形態における、体内が撮影されているフレームの例を示す図である。

【図5】実施形態における、ＨＳＶ色空間の例を示す図である。

【図6】実施形態における、色相ヒストグラム及び彩度ヒストグラムの例を示す図である。

【図7】実施形態における、着色料として使われているインジゴカルミンの吸光度の例を示す図である。

【図8】実施形態における、被写体の固有色の例を示す図である。

【図9】実施形態における、抽出された領域の例を示す図である。

【図10】実施形態における、被写体の画像が加工されたフレームの例を示す図である。

【図11】実施形態における、被写体の画像が加工されていないフレームの例を示す図である。

【図12】実施形態における、画像加工装置の動作例を示すフローチャートである。

【図13】実施形態における、画像加工装置の処理時間の例を示すタイムチャートである。

【発明を実施するための形態】

【0016】

本発明の実施形態について、図面を参照して詳細に説明する。
図１は、画像加工装置１の構成例を示す図である。画像加工装置１は、動画像の所定のフレームに対して画像加工を実行する装置である。外部装置２は、動画像の複数のフレームを、画像加工装置１に出力する。この動画像は、例えば、内視鏡を用いた消化器官検査（内臓検査）等の医療情報を含む画像である。外部装置２は、内視鏡を備えてもよい。動画像のフレームレートは、例えば６０ｆｐｓである。フレームの空間解像度は、例えば、３８４０×２１６０である。画像加工装置１に外部装置２から出力された動画像は、予め圧縮（符号化）されている。動画像の符号化規格は、例えば、ＩＴＵ－Ｔ（International Telecommunication Union-Telecommunication Standardization sector）とＩＳＯ／ＩＥＣ（International Organization for Standardization/International Electrotechnical Commission）とによる、Ｈ.２６４／ＭＰＥＧ４ＡＶＣ規格、Ｈ.２６５／ＭＰＥＧ－Ｈ ＨＥＶＣ）規格である。

【0017】

画像加工装置１は、動画像の複数のフレームを、外部装置２から取得する。これらのフレームのうちの所定のフレームには、特定情報が撮影されている場合がある。すなわち、被写体（例えば、被験者の消化器官）が撮影されているフレームと、特定情報（例えば、消化器官検査の被験者を特定可能な診察券、又は、被験者の顔）が撮影されているフレームとが、動画像に含まれている場合がある。以下では、被写体は一例として大腸である。

【0018】

画像加工装置１は、取得されたフレームを順次復号する。画像加工装置１は、特定情報が撮影されているフレームであるか否かを、復号されたフレームごとに判定する。画像加工装置１は、予め定められた被写体の固有色（知覚色）等に基づいて、特定情報が撮影されているフレームであるか否かを判定する。白色光が大腸に照射された場合、波長４９０～５００ｎｍの緑色の光を大腸が吸収し、波長６００ｎｍ以下の光を大腸が反射するので、大腸の固有色（知覚色）は、単色又は複数色であり、例えばピンク色（緑色の補色）の色調となる。

【0019】

特定情報が撮影されているフレームが動画像に含まれていると判定された場合、画像加工装置１は、特定情報が撮影されていると判定されたフレームに対して、マスキング処理等の画像加工を実行する。画像加工装置１は、特定情報が表示されないように加工されたフレームを含む動画像を、外部装置２に出力する。動画像のフレーム数は変更されていないので、外部装置２に出力された動画像のフレームの数は、外部装置２から取得された動画像のフレームの数と同じである。なお、外部装置２に画像加工装置１から出力される動画像の圧縮サイズは、動画像ごとに異なっていてもよい。

【0020】

画像加工装置１は、インタフェース１０と、記憶装置１１と、復号装置１２と、加工処理装置１３と、符号化装置１４と、表示装置１５とを備える。加工処理装置１３は、記憶部１３０と、画像切出部１３１と、形式変換部１３２と、色検出部１３３と、領域抽出部１３４と、判定部１３５と、加工処理部１３６とを備える。

【0021】

画像加工装置１の少なくとも一部は、ＧＰＧＰＵ（General Purpose Graphics Processing Unit、ＧＰＵと呼ばれることが多い）、ＣＰＵ（Central Processing Unit）等のプロセッサが、例えば記憶装置１１及び記憶部１３０に記憶されたプログラムを実行することにより実現される。記憶装置１１及び記憶部１３０は、例えばフラッシュメモリ、ＨＤＤ（Hard Disk Drive）などの不揮発性の記録媒体（非一時的な記録媒体）が好ましい。記憶部１３０は、ＲＡＭ（Random Access Memory）などの揮発性の記録媒体を備えてもよい。画像加工装置１の少なくとも一部は、例えば、ＬＳＩ（Large Scale Integrated circuit）やＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェア（電子回路）を用いて実現されてもよい。

【0022】

インタフェース１０は、入出力デバイスである。インタフェース１０は、予め圧縮（符号化）された動画像を、外部装置２から取得する。予め圧縮された動画像のファイルサイズは、例えば２ＧＢである。インタフェース１０は、画像加工装置１によって圧縮された動画像を、外部装置２に出力する。画像加工装置１によって圧縮された動画像のファイルサイズは、例えば単一色でマスキング処理されたフレームを含む動画像となった場合には、例えば２ＧＢ未満となってもよい。

【0023】

記憶装置１１は、インタフェース１０によって外部装置２から取得された動画像を記憶する。記憶装置１１は、符号化装置１４によって圧縮（符号化）された動画像を記憶する。復号装置１２は、外部装置２から取得された動画像を、記憶装置１１から取得する。復号装置１２は、外部装置２から取得された動画像を復号する。復号装置１２は、復号された動画像の複数のフレームを、加工処理装置１３に出力する。

【0024】

加工処理装置１３は、特定情報が撮影されているフレームが動画像に含まれていると判定された場合、特定情報が撮影されていると判定されたフレームに対して、マスキング処理等の画像加工を実行する。加工処理装置１３は、特定情報が表示されないように加工されたフレームを含む動画像を、符号化装置１４及び表示装置１５に出力する。特定情報が撮影されているフレームが動画像に含まれていると判定されなかった場合には、加工処理装置１３は、加工されていない動画像を符号化装置１４及び表示装置１５に出力する。なお、加工されたフレームは、符号化装置１４及び表示装置１５に出力される動画像に含まれていなくてもよい。

【0025】

符号化装置１４は、動画像のフレームを加工処理装置１３から取得する。符号化装置１４は、取得された動画像のフレームを符号化する。符号化装置１４は、符号化された動画像のフレームを記憶装置１１に記録する。表示装置１５は、表示デバイスを備える装置である。表示装置１５は、加工処理装置１３から出力された動画像のフレームを、所定のフレームレート（例えば、６０ｆｐｓ）で表示する。

【0026】

次に、画像加工装置１に外部装置２から出力される動画像のフレームの例について説明する。
図２は、内視鏡による動画像の撮影パターンの例を示す図である。横軸は、内視鏡を用いた大腸検査の作業が行われている時間を示す。撮影の第１パターンでは、内視鏡が大腸に挿入される前（内視鏡のカメラが体内以外を撮影している時）に撮影が開始となり、内視鏡が大腸から抜かれた後（内視鏡のカメラが体内以外を撮影している時）に撮影が終了となっている。

【0027】

撮影の第２パターンでは、内視鏡が大腸に挿入された後（内視鏡のカメラが体内を撮影している時）に撮影が開始となり、内視鏡が大腸から抜かれる前（内視鏡のカメラが体内を撮影している時）に撮影が終了となっている。

【0028】

撮影の第３パターンでは、内視鏡が大腸に挿入される前（内視鏡のカメラが体内以外を撮影している時）に撮影が開始となり、内視鏡が大腸から一旦抜かれてから大腸に再び挿入され、内視鏡が大腸から再度抜かれた後（内視鏡のカメラが体内以外を撮影している時）に撮影が終了となっている。

【0029】

なお、内視鏡が大腸に挿入される直前又は大腸から抜かれた後において白色光（４００～８００ｎｍ）が、内視鏡が大腸に挿入された後において青色の光（波長３９０～４４５ｎｍ）と緑色の光（波長５３０～５５０ｎｍ）とが、内視鏡の撮像デバイスに入射する場合がある。

【0030】

図３は、体内以外が撮影されているフレームの例を示す図である。画像加工装置１に外部装置２から出力された動画像のフレーム１００には、一例として、特定情報領域１０１と、日付情報領域１０２と、機器情報領域１０３と、サムネイル画像領域１０４と、被写体画像領域１０５とが定められている。

【0031】

特定情報領域１０１は、特定情報が表示される領域である。日付情報領域１０２は、検査が実施された日付の情報が表示される領域である。機器情報領域１０３は、動画像を撮影した医療機器（内視鏡）の情報が表示される領域である。機器情報領域１０３には、任意のコメントが表示されてもよい。サムネイル画像領域１０４は、撮影された動画像から生成された静止画像がサムネイル画像として表示される領域である。被写体画像領域１０５は、医療機器（内視鏡）によって撮影された被写体の動画像が表示される領域である。

【0032】

内視鏡が体内以外を撮影している時、動画像のフレームには特定情報が撮影される場合がある。特定情報は、例えば、医療関係者の名札、被験者の診察券又は顔である。例えば、被験者の診察券には、被験者の登録番号、氏名、性別、年齢及び生年月日等と医療機関名との各特定情報が記載されていることがある。被験者の診察券には、医療機関の場所を示す情報が記載されている場合がある。図３の被写体画像領域１０５には、特定情報としての診察券の表示例が示されている。

【0033】

図４は、体内が撮影されているフレームの例を示す図である。図４に例示された被写体画像領域１０５には、予め定められた被写体として、被験者の大腸の内部が撮影されている。図４に例示されたサムネイル画像領域１０４には、一例として大腸に内視鏡が挿入される前に撮影された診察券のサムネイル画像（静止画像）が表示されている。

【0034】

次に、加工処理装置１３の詳細を説明する。
図１に示された記憶部１３０は、予め定められた被写体である大腸の固有色の情報と、プログラムとを記憶する。画像切出部１３１は、動画像のフレームを復号装置１２から取得する。画像切出部１３１は、被写体の画像を含む領域である被写体画像領域を、取得された動画像のフレームから切り出す。例えば、画像切出部１３１は、「ｉｍｓｅｇｇｅｏｄｅｓｉｃ関数」を用いて、測地線距離ベースの色区分を実行する。

【0035】

形式変換部１３２は、被写体画像領域１０５の色の表現形式（例えば、赤成分（Ｒ）と緑成分（Ｇ）と青成分（Ｂ）とで表されるＲＧＢ色空間の色の表現形式）を、例えば、色相（Ｈ）及び彩度（Ｓ）で表される色空間における色の表現形式に変換する。形式変換部１３２は、被写体画像領域１０５の色の表現形式を、例えば、色相（Ｈ）と彩度（Ｓ）と明度（Ｖ）とで表されるＨＳＶ色空間における色の表現形式に変換してもよい。

【0036】

図５は、ＨＳＶ色空間の例を示す図である。図１に示された色検出部１３３は、撮影対象として予め定められた被写体（例えば、大腸）の固有色の情報を、記憶部１３０から取得する。色検出部１３３は、色相（Ｈ）及び彩度（Ｓ）で表される色空間における色であって固有色を、被写体画像領域１０５において検出する。動画像のフレームにおいてハレーションが生じた場合（被写体の一部の明度（Ｖ）が高くなった場合）に備えて、色検出部１３３は、固有色以外の色を、被写体画像領域１０５において検出してもよい。すなわち、ハレーションが発生した場合には本来のＨＳＶ値を取得することが難しくなるので、色検出部１３３は、固有色以外の色（固有色に近い色）を被写体画像領域１０５において検出してもよい。これによって、ハレーションが発生した場合でも、加工処理装置１３は、マスキング処理が未処理である被写体画像を出力することが可能である。なお、被写体の固有色は、例えば、検査前に撮影された被写体の動画像のフレームにおける色相ヒストグラム及び彩度ヒストグラムに基づいて、予め定められる。

【0037】

図６は、色相ヒストグラム及び彩度ヒストグラムの例を示す図である。図６の上段は、体内で白色光を用いて大腸が撮影されている場合について、大腸が撮影されているフレームと、色相ヒストグラムと、彩度ヒストグラムとを表す。図６の下段は、体内以外で白色光を用いて診察券が撮影されている場合について、診察券が撮影されているフレームと、色相ヒストグラムと、彩度ヒストグラムとを表す。色相ヒストグラムにおける頻度と彩度ヒストグラムにおける頻度とに基づいて、発生頻度の多い１以上の固有色が、被写体の１以上の固有色として予め定められる。色相ヒストグラムにおける頻度と彩度ヒストグラムにおける頻度と明度とに基づいて、発生頻度の多い１以上の固有色が、被写体の１以上の固有色として予め定められてもよい。被写体の１以上の固有色は、被写体に塗布される着色料の吸光度に基づいて、予め定められてもよい。ヒストグラムにおいて発生頻度の多い領域における発生頻度の平均値と、ヒストグラムの特定区間における発生頻度の総和とのうちの少なくとも一方に基づいて、１以上の固有色が、被写体の１以上の固有色として予め定められてもよい。

【0038】

図７は、着色料として使われているインジゴカルミンの吸光度の例を示す図である。波長３８０ｎｍ～５１０ｎｍの帯域で、インジゴカルミンの吸光度は低い。したがって、インジゴカルミンの固有色は、青色と予め定められる。インジゴカルミンは、内視鏡によって大腸に塗布される場合がある。

【0039】

図８は、被写体の固有色の例を示す図である。図６の上段に示された色相ヒストグラムにおける色相値「９」と色相値「１５」とは、色相ヒストグラムにおける頻度が高い。彩度ヒストグラムにおける彩度値「５７」と彩度値「５８」と彩度値「５９」とは、彩度ヒストグラムにおける頻度が高い。ハレーションが生じた場合、彩度ヒストグラムにおける頻度が高くなる。動画像のフレームにおいてハレーションが生じた場合、被写体の一部の明度（Ｖ）は、「７６」又は「７７」になる場合がある。これらのことから、体内で白色光を用いて大腸が撮影されている場合について、被写体の固有色は、一例として、ＨＳＶ（９，５９，７７）と、ＨＳＶ（９，５８，７７）と、ＨＳＶ（１５，５７，７６）と定められる。

【0040】

同様に、体内で狭帯域光観察（Narrow Band Imaging : NBI）を用いて大腸が撮影されている場合について、被写体の固有色は、一例として、ＨＳＶ（５７，３８，７１）と、ＨＳＶ（５７，４５，６５）と定められる。狭帯域光観察では、被写体の一部に吸収され易い予め定められた波長の光が、被写体に内視鏡から照射される。狭帯域光観察において用いられる青色の光の一部は、大腸の粘膜表層で反射される。青色の光の残りは、大腸の血管内のヘモグロビンに吸収されて、内視鏡に戻らない。狭帯域光観察において用いられる緑色の光の一部は、大腸の表層血管のヘモグロビンによって吸収される。緑色の光の残りは、粘膜深部の血管によって反射され、緑色の光として内視鏡に戻る。これらの結果、狭帯域光観察による動画像のフレームでは、大腸の表層血管が茶色で描き出され、大腸の深部血管が緑色で描き出される。

【0041】

また同様に、体内で白色光を用いてインジゴカルミン及び大腸が撮影されている場合について、被写体の固有色は、一例として、ＨＳＶ（２００，６８，５１）と、ＨＳＶ（１９８，２６，８６）と、ＨＳＶ（２２２，９４，３８）と定められる。

【0042】

図１に示された領域抽出部１３４は、ＨＳＶ色空間における色のうちで、大腸の１以上の固有色以外の色を有する一定面積以上の領域２００を、色の表現形式の変換後の被写体画像領域１０５から抽出する処理を実行する。大腸の１以上の固有色以外の色は、例えば、ヒストグラムにおいて発生頻度の多い領域における発生頻度の平均値と、ヒストグラムの特定区間における発生頻度の総和とのうちの少なくとも一方に基づいて定められる。

【0043】

図９は、抽出された領域の例を示す図である。図９では、ＨＳＶ（９，５９，７７）とＨＳＶ（９，５８，７７）とＨＳＶ（１５，５７，７６）とが大腸の主な固有色であるが、これらの固有色以外の１以上の色を有する一定面積以上の領域２００が、ＨＳＶ色空間の色の表現形式で表された被写体画像領域１０５から抽出されている。領域２００は、図３に示された被写体画像領域１０５において被験者の診察券が撮影されている領域に対応している。

【0044】

図１に示された判定部１３５は、大腸の１以上の固有色以外の色を有する一定面積以上の領域２００が抽出されたか否かを判定する。加工処理部１３６は、大腸の１以上の固有色以外の色を有する一定面積以上の領域２００を含むフレーム１００を、特定情報が撮影されているフレームであると識別する。加工処理部１３６は、１以上の固有色以外の色を有する一定面積以上の領域２００が抽出されたと判定された場合、大腸ではない被写体の画像を加工する。例えば、加工処理部１３６は、被写体画像領域１０５に対して、単一色のマスキング処理を実行する。すなわち、加工処理部１３６は、被写体画像領域１０５を所定の色（例えば、黒色）で覆い隠すことで、大腸ではない被写体の画像をその所定の色で覆い隠す。加工処理部１３６は、加工された大腸の画像を被写体画像領域１０５に含むフレーム１００を生成する。

【0045】

図１０は、被写体の画像が加工されたフレームの例を示す図である。図３に示された特定情報領域１０１と日付情報領域１０２とサムネイル画像領域１０４と被写体画像領域１０５とに対して、図１０に示されたフレーム１００では、単一色のマスキング処理が実行されている。

【0046】

図１１は、被写体の画像が加工されていないフレームの例を示す図である。図４に示された特定情報領域１０１と日付情報領域１０２とサムネイル画像領域１０４とに対して、図１０に示されたフレーム１００では、単一色のマスキング処理が実行されている。被写体画像領域１０５とに対して、図１０に示されたフレーム１００ではマスキング処理が実行されていない。

【0047】

次に、画像加工装置１の動作例を説明する。
図１２は、画像加工装置１の動作例を示すフローチャートである。画像切出部１３１は、動画像のフレームを復号装置１２から取得する（ステップＳ１０１）。画像切出部１３１は、被写体の画像を含む領域である被写体画像領域を、取得された動画像のフレームから切り出す（ステップＳ１０２）。

【0048】

形式変換部１３２は、被写体画像領域１０５の色の表現形式を、ＨＳＶ色空間における色の表現形式に変換する。形式変換部１３２は、被写体画像領域１０５の色の表現形式を、色相と彩度と明度とのうちの色相及び彩度で表される色空間における色の表現形式に変換してもよい（ステップＳ１０３）。

【0049】

色検出部１３３は、撮影対象として予め定められた被写体（例えば、大腸）の固有色の情報を、記憶部１３０から取得する（ステップＳ１０４）。色検出部１３３は、少なくとも色相及び彩度で表される色空間における色であって固有色以外の色を、被写体画像領域１０５において検出する（ステップＳ１０５）。領域抽出部１３４は、固有色以外の色を有する一定面積以上の領域２００を、色の表現形式の変換後の被写体画像領域１０５から抽出する処理を実行する（ステップＳ１０６）。

【0050】

判定部１３５は、固有色以外の色を有する一定面積以上の領域２００が抽出されたか否かを判定する（ステップＳ１０７）。固有色以外の色を有する一定面積以上の領域２００が抽出されていないと判定された場合（ステップＳ１０７：ＮＯ）、判定部１３５は、ステップＳ１１０に処理を進める。

【0051】

固有色以外の色を有する一定面積以上の領域２００が抽出されたと判定された場合（ステップＳ１０７：ＹＥＳ）、加工処理部１３６は、被写体の画像を加工する。例えば、加工処理部１３６は、被写体画像領域１０５に対してマスキング処理を実行する（ステップＳ１０８）。加工処理部１３６は、加工された被写体の画像を被写体画像領域１０５に含むフレーム１００を生成する（ステップＳ１０９）。加工処理部１３６は、取得された動画像を構成する全てのフレームについて処理が実行されたか否かを判定する（ステップＳ１１０）。

【0052】

取得された動画像を構成する全てのフレームを順次処理する中で、処理が実行できないフレームが発生した場合（ステップＳ１１０：ＮＯ）、加工処理部１３６は、ステップＳ１０１に処理を戻す。取得された動画像を構成する全てのフレームについて処理が実行された場合（ステップＳ１１０：ＹＥＳ）、加工処理部１３６は、図１２に示された処理を終了する。

【0053】

次に、画像加工装置１による復号と加工処理と符号化との処理時間長について説明する。
図１３は、画像加工装置１の処理時間の例を示すタイムチャートである。動画像に対する復号と加工処理と符号化とは、動画像処理を実行するＧＰＧＰＵ（General-purpose computing on graphics processing units）とＣＰＵとによって実行される。復号と加工処理と符号化とがほぼ並列に実行される期間の長さは、図１２に示された処理を画像加工装置１が実行することで、動画像の再生時間長よりも短くなる。

【0054】

以上のように、画像切出部１３１は、被写体の画像を含む領域である被写体画像領域１０５を動画像のフレーム１００から切り出す。形式変換部１３２は、被写体画像領域１０５の色の表現形式を、色相と彩度と明度とのうちの色相及び彩度で表される色空間における色の表現形式に変換する。形式変換部１３２は、被写体画像領域１０５の色の表現形式を、色相と彩度と明度とで表される色空間（ＨＳＶ色空間）における色の表現形式に変換してもよい。色検出部１３３は、撮影対象として予め定められた被写体（例えば、大腸）の１以上の固有色の情報を、記憶部１３０から取得する。色検出部１３３は、少なくとも色相及び彩度で表される色空間における色であって固有色以外の色を、被写体画像領域１０５において検出する。領域抽出部１３４は、固有色以外の色を有する一定面積以上の領域２００を、色の表現形式の変換後の被写体画像領域１０５から抽出する処理を実行する。判定部１３５は、固有色以外の色を有する一定面積以上の領域２００が抽出されたか否かを判定する。加工処理部１３６は、固有色以外の色を有する一定面積以上の領域２００が抽出されたと判定された場合、被写体の画像を加工する。加工処理部１３６は、加工された被写体の画像を被写体画像領域１０５に含むフレーム１００を生成する。

【0055】

このように、判定部１３５は、被写体の１以上の固有色以外の色を有する一定面積以上の領域２００が抽出されたか否かを判定する。判定部１３５は、領域２００が抽出されたか否かを高速に判定することができる。加工処理部１３６は、被写体の固有色以外の色を有する一定面積以上の領域２００が抽出されたと判定された場合、被写体の画像を加工する。これによって、動画像において特定情報が撮影されているフレームを表示しないように又は特定情報が識別され難いように、特定情報が撮影されているフレームであることを短時間で識別して画像加工することが可能である。この短時間とは、例えば、１フレームの再生時間（例えば、フレームレートが６０ｆｐｓである場合には、０．０１６秒）以内である。加工処理部１３６は、法に基づいた医療情報の匿名化に適合するように、動画像のフレームを画像加工することができる。加工処理部１３６は、動画像ファイルの匿名化作業を大幅に省力化することができる。

【0056】

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

【符号の説明】

【0057】

１…画像加工装置、２…外部装置、１０…インタフェース、１１…記憶装置、１２…復号装置、１３…加工処理装置、１４…符号化装置、１５…表示装置、１００…フレーム、１０１…特定情報領域、１０２…日付情報領域、１０３…機器情報領域、１０４…サムネイル画像領域、１０５…被写体画像領域、１３０…記憶部、１３１…画像切出部、１３２…形式変換部、１３３…色検出部、１３４…領域抽出部、１３５…判定部、１３６…加工処理部、２００…領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】