(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-08
(45)【発行日】2022-12-16
(54)【発明の名称】画像内の対象者の顔の特徴の不明瞭化
(51)【国際特許分類】
G06T 7/00 20170101AFI20221209BHJP
G06T 1/00 20060101ALI20221209BHJP
A61B 5/107 20060101ALI20221209BHJP
【FI】
G06T7/00 250
G06T1/00 340A
G06T7/00 612
G06T7/00 660A
A61B5/107 110
(21)【出願番号】P 2019571681
(86)(22)【出願日】2018-06-28
(86)【国際出願番号】 EP2018067508
(87)【国際公開番号】W WO2019002521
(87)【国際公開日】2019-01-03
【審査請求日】2021-06-24
(32)【優先日】2017-06-29
(33)【優先権主張国・地域又は機関】EP
【早期審査対象出願】
(73)【特許権者】
【識別番号】590000248
【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ
【氏名又は名称原語表記】Koninklijke Philips N.V.
【住所又は居所原語表記】High Tech Campus 52, 5656 AG Eindhoven,Netherlands
(74)【代理人】
【識別番号】110001690
【氏名又は名称】弁理士法人M&Sパートナーズ
(72)【発明者】
【氏名】マイソール シドゥ ディネシュ
(72)【発明者】
【氏名】パラニサミー クリシュナモールティ
(72)【発明者】
【氏名】チョードリ スディプタ
(72)【発明者】
【氏名】ジャイン アンシュル
(72)【発明者】
【氏名】パーヴェル プラヴィン
(72)【発明者】
【氏名】ブッサ ナガラジュ
【審査官】笠田 和宏
(56)【参考文献】
【文献】特開2009-278325(JP,A)
【文献】特開2007-044239(JP,A)
【文献】特開2005-236800(JP,A)
【文献】特開2001-094711(JP,A)
【文献】タンスリヤボン スリヨン,千葉 正広,花木 真一,状況映像における顔認識を用いた選択的人物隠蔽,映像情報メディア学会誌,日本,一般社団法人映像情報メディア学会,2002年12月01日,Vol.56,No.12,pp.1980-pp.1988
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00
G06T 1/00
A61B 5/107
(57)【特許請求の範囲】
【請求項1】
画像内の対象者の2以上の顔の特徴を不明瞭にするためのコンピュータ実装の方法であって、前記方法は、
前記画像内の前記対象者の頭部を検出するステップと、
前記画像内の前記対象者の前記2以上の顔の特徴の位置を特定するステップと、
前記2以上の顔の特徴の前記位置に基づき、且つ、少なくとも2つの顔の特徴の位置間の距離に所定の比率の値を乗じた結果に基づき、前記2以上の顔の特徴が位置する頭部の部分を含む修正すべき画像の領域を決定するステップと、
前記2以上の顔の特徴を不明瞭にするように、決定された前記領域内の画像を修正するステップとを含む、方法において、
前記特定するステップは、
前記画像内の前記対象者の頭部の凸包を決定するステップと、
前記凸包の表面上の1つ又は複数の点について、前記画像内の前記対象者の頭部の中心に向かって内向きに経路をトレースするステップと、
前記画像の背景レベルより大きい値を有する画像のコンポーネントが検出される前記対象者の頭部の皮膚表面を検出するステップと
により、前記画像内の前記対象者の頭部の皮膚表面を検出するステップと、
前記画像内の前記対象者の頭部の検出された前記皮膚表面上の前記2以上の顔の特徴の位置を特定するステップとを含む、方法。
【請求項2】
前記所定の比率は、前記少なくとも2つの顔の特徴の位置と少なくとも1つの他の特徴の位置との間の距離に対する前記少なくとも2つの顔の特徴の位置間の距離の関係を定める、請求項1に記載の方法。
【請求項3】
前記画像内の前記対象者の頭部の傾きに基づき、前記画像の前記修正すべき領域を調整するステップを更に含む、請求項1に記載の方法。
【請求項4】
前記2以上の顔の特徴を不明瞭にするために、前記画像の前記決定された領域内の頭部の部分から複数の突起を外向きに延ばすことにより、前記画像が修正される、請求項1に記載の方法。
【請求項5】
外向きに延びる複数の突起のうちの1つ又は複数を異なるグレースケール値に設定することによって、前記画像が更に修正される、請求項4に記載の方法。
【請求項6】
画像内の対象者の1つ又は複数の顔の特徴を不明瞭にするためのコンピュータ実装の方法であって、前記方法は、
前記画像内の前記対象者の頭部を検出するステップと、
前記画像内の前記対象者の前記1つ又は複数の顔の特徴の位置を特定するステップと、
前記1つ又は複数の顔の特徴の前記位置に基づき、前記1つ又は複数の顔の特徴が位置する頭部の部分を含む修正すべき画像の領域を決定するステップと、
前記1つ又は複数の顔の特徴を不明瞭にするように、決定された前記領域内の画像を修正するステップと、
前記対象者の個人情報に関連するテキストのための前記画像の1つ又は複数の候補領域を特定するステップと、
前記画像の特定された前記1つ又は複数の候補領域内の前記画像の少なくとも1つの特徴を決定するステップと、
前記画像の特定された前記1つ又は複数の候補領域内の前記画像の決定された前記少なくとも1つの特徴に基づき、前記1つ又は複数の候補領域から、前記対象者の前記個人情報に関連するテキストを含む領域を選択するステップと、
前記対象者の前記個人情報に関連するテキストを不明瞭にするように、選択された当該領域内の前記画像を修正するステップとを含む、方法において、
前記1つ又は複数の顔の特徴の位置を特定するステップは、
前記画像内の前記対象者の頭部の凸包を決定するステップと、
前記凸包の表面上の1つ又は複数の点について、前記画像内の前記対象者の頭部の中心に向かって内向きに経路をトレースするステップと、
前記画像の背景レベルより大きい値を有する画像のコンポーネントが検出される前記対象者の頭部の皮膚表面を検出するステップと
により、前記画像内の前記対象者の頭部の皮膚表面を検出するステップと、
前記画像内の前記対象者の頭部の検出された前記皮膚表面上の前記2以上の顔の特徴の位置を特定するステップとを含む、
方法。
【請求項7】
前記少なくとも1つの特徴は、
前記画像の前記1つ又は複数の特定された候補領域内のコンポーネント集合の凸包、
画像全体のコンポーネントの数に対する、テキストを含む前記1つ又は複数の特定された候補領域内のコンポーネントの数との比率、
前記1つ又は複数の特定された候補領域内の前記画像の幾何学的離心率、
前記1つ又は複数の特定された候補領域内の前記画像内の前記コンポーネントのソリディティ、及び
前記1つ又は複数の特定された候補領域内の前記画像の強度
のうちのいずれか1つ又は複数を含む、請求項6に記載の方法。
【請求項8】
前記1つ又は複数の候補領域を特定するステップは、
同じ値を持つ複数の連結したコンポーネントを含む前記画像内の1つ又は複数の領域を検出するステップと、
所定のサイズより大きいサイズを有する領域を背景領域として特定し、残りの領域を、前記対象者の前記個人情報に関連するテキストの候補領域として特定するステップとを含む、請求項6に記載の方法。
【請求項9】
前記選択するステップは、
少なくとも1つの決定された特徴を、前記個人情報に関連するテキストを含む領域を示す1つ又は複数の保存された特徴と比較するステップと、
前記比較に基づき、前記候補領域から、前記対象者の前記個人情報に関連するテキストを含む領域を選択するステップとを含む、請求項6に記載の方法。
【請求項10】
前記方法は、選択された前記領域内の前記対象者の前記個人情報に関連するテキストの位置を特定するように、前記選択された領域内でテキスト認識を実行するステップを含み、
前記画像を修正するステップは、前記対象者の前記個人情報に関連するテキストを不明瞭にするために、特定された位置における前記選択された領域内の前記画像を修正するステップを含む、請求項6に記載の方法。
【請求項11】
非一時的コンピュータ可読媒体中に具現されたコンピュータ可読コードを有し、前記コンピュータ可読コードは、適切なコンピュータ又はプロセッサによる実行時に、前記コンピュータ又はプロセッサに請求項1に記載の方法を実行させる、非一時的コンピュータ可読媒体。
【請求項12】
プロセッサを備える装置であって、前記プロセッサは、請求項1に記載の方法を実行する、装置。
【請求項13】
画像内の対象者の頭部を検出することと、
前記画像内の前記対象者の2以上の顔の特徴の位置を特定することと、
前記2以上の顔の特徴の前記位置に基づき、且つ、少なくとも2つの顔の特徴の位置間の距離に所定の比率の値を乗じた結果に基づき、前記2以上の顔の特徴が位置する頭部の部分を含む修正すべき画像の領域を決定することと、
前記2以上の顔の特徴を不明瞭にするように、決定された前記領域内の画像を修正することと
により、前記画像内の前記対象者の前記2以上の顔の特徴を不明瞭にするようにプログラムされた少なくとも1つのプロセッサを備える、コンピュータ実装の装置において、
前記特定することは、
前記画像内の前記対象者の頭部の凸包を決定することと、
前記凸包の表面上の1つ又は複数の点について、前記画像内の前記対象者の頭部の中心に向かって内向きに経路をトレースすることと、
前記画像の背景レベルより大きい値を有する画像のコンポーネントが検出される前記対象者の頭部の皮膚表面を検出することと
により、前記画像内の前記対象者の頭部の前記皮膚表面を検出すること、及び
前記画像内の前記対象者の頭部の検出された前記皮膚表面上の前記2以上の顔の特徴の位置を特定することを含む、装置。
【請求項14】
前記プロセッサは、更に、
前記対象者の個人情報に関連するテキストのための前記画像の1つ又は複数の候補領域を特定することと、
前記画像の特定された前記1つ又は複数の候補領域内の前記画像の少なくとも1つの特徴を決定することと、
前記画像の特定された前記1つ又は複数の候補領域内の前記画像の決定された前記少なくとも1つの特徴に基づき、前記1つ又は複数の候補領域から、前記対象者の前記個人情報に関連するテキストを含む領域を選択することと、
前記対象者の前記個人情報に関連するテキストを不明瞭にするように、選択された当該領域内の前記画像を修正することと
により、前記画像内の前記対象者の前記2以上の顔の特徴を不明瞭にするようにプログラムされる、請求項13に記載の装置。
【請求項15】
前記少なくとも1つの特徴は、
前記画像の前記1つ又は複数の特定された候補領域内のコンポーネント集合の凸包、
画像全体のコンポーネントの数に対する、テキストを含む前記1つ又は複数の特定された候補領域内のコンポーネントの数との比率、
前記1つ又は複数の特定された候補領域内の前記画像の幾何学的離心率、
前記1つ又は複数の特定された候補領域内の前記画像内の前記コンポーネントのソリディティ、及び
前記1つ又は複数の特定された候補領域内の前記画像の強度
のうちのいずれか1つ又は複数を含む、請求項14に記載の装置。
【請求項16】
前記1つ又は複数の候補領域を特定することは、
同じ値を持つ複数の連結したコンポーネントを含む前記画像内の1つ又は複数の領域を検出することと、
所定のサイズより大きいサイズを有する領域を背景領域として特定し、残りの領域を、前記対象者の前記個人情報に関連するテキストの候補領域として特定することとを含む、請求項14に記載の装置。
【請求項17】
前記選択することは、
少なくとも1つの決定された特徴を、前記個人情報に関連するテキストを含む領域を示す1つ又は複数の保存された特徴と比較することと、
前記比較に基づき、前記候補領域から、前記対象者の前記個人情報に関連するテキストを含む領域を選択することとを含む、請求項14に記載の装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は画像処理の分野に関し、特に、画像内の対象者の顔の特徴を不明瞭にするための方法及び装置に関する。
【背景技術】
【0002】
研究コミュニティ全体で医療撮像データを共有することは、領域横断的研究や科学的妥当性の確保のために重要である。データの共有は奨励されているものの、医療データの配布にはプライバシー侵害の可能性が伴うため、広く普及していない。HIPAA(Health Insurance Portability and Accountability Act privacy)などの規制は、共有される医療データからのPHI(Protected Health Information)の非特定化に関する厳格なガイドラインを指定し、保護されるべき個人の健康情報の要素を指定する。しかし、画像などの臨床データオブジェクトを非特定化する方法として一般的に受け入れられているものは存在しない。そのため、多くの機関はデータ共有に関して保守的なリスク回避的立場を取っている。
【0003】
医療撮像情報を保存、表示、及び送信するために、DICOM(Digital Imaging and Communication in Medicine)規格が一般的に使用されてきた。DICOM規格に従って画像が暗号化された撮像トライアルでは、データオブジェクトの複雑さ及びDICOM規格のフレキシビリティに起因して、プライバシー保護の目的を満たすことが特に困難であった。DICOMファイルは2つの主要部分、すなわち、様々なデータ要素(すなわち、データフィールド)を有するヘッダーと、全てのピクセルデータを保持する表示可能画像とを含む。ピクセルデータは、JPEG、ロスレスJPEG、JPEG2000、及びRLE(run-length encoding)などの様々な規格を使用して圧縮され得る。画像には、医療的注釈や患者情報などの埋め込み(embedded(burnt-in))テキストが含まれる場合がある。また、画像には二次キャプチャ、スクリーンショット(例えば、分析結果画面)、又はスキャンされたドキュメント(リクエスト又はレポート)が含まれる場合があり、これらも患者に関する個人情報を露見させるおそれがある。さらに、DICOMボリューム内の複数の画像を(例えば、被験者の顔の)3次元画像に再構成することにより、患者が推測され得る。
【0004】
ヘッダータグの非特定化の分野は十分に成熟した分野であり、多くのサードパーティツールがDICOMタグの匿名化をサポートしている。しかし、これらのツールのほとんどは、DICOM画像に埋め込まれたPHIテキスト情報(例えば、埋め込みテキスト(例えば、装置のディスプレイのスクリーンショットの一部を形成するテキストなど、ピクセルデータの一部であるテキスト))や、被験者を特定するために使用され得る顔の特徴を非特定化する機能を有さない。表面又はボリュームレンダリングコンピュータ断層撮影(CT)及び磁気共鳴(MR)画像から顔認識を実行する技術が存在し、これらの技術は適度な成功を達成することができる。したがって、対象者の身元を保護するために、研究やその他の目的でDICOM画像を配布する前に、DICOM画像内の顔の特徴を不明瞭化する必要がある。
【0005】
US2006/0124949は、皮膚組織を表すボクセルを識別するために、閾値処理及び空気からの距離、並びに患者の身体の周知の基準点からの距離の組み合わせを使用する改ざん(defacing)アルゴリズムを開示する。局所化されたボクセル群の強度を平均化して同じ領域に適用することによって、又は、皮膚組織を表す滑らかな輪郭を形成する代わりに、結合された一連の直線を使用して皮膚組織を表すことによって、defacingが達成される。しかし、このdefacingアルゴリズムを使用することによって患者特定可能情報を保護することができるが、このアルゴリズムは皮膚以外の組織の臨床データしか保持しないため、皮膚を含む画像の部分を臨床的に分析することができない。
【0006】
したがって、画像内の対象者の顔の特徴及び埋め込みテキストを不明瞭にするための改善された方法及び装置へのニーズが存在する。
【発明の概要】
【0007】
上記のように、研究、アーカイブ、又はその他の目的で医療画像を共有する前に、医療画像内の顔の特徴及び/又は埋め込みテキストなどのPHIを取り除く必要がある。現在のアプローチは、DICOMヘッダーから患者特定可能情報を効果的に削除するが、顔の特徴及び/又は埋め込みテキストを不明瞭にする効果的な方法はあまり進んでいない。特に、信頼できる画像分析を実行するために有用又は重要であり得る情報を失うリスクを伴わずに、患者特定可能情報を保護することができない。したがって、既存の問題を克服する、画像内の対象者の顔の特徴を不明瞭にするための改良された装置を提供することが望ましい。
【0008】
したがって、第1の態様によれば、画像内の対象の1つ又は複数の顔の特徴を不明瞭にするためのコンピュータ実装方法が提供される。方法は、画像内の対象者の頭部を検出するステップと、画像内の対象者の1つ又は複数の顔の特徴の位置を特定するステップと、1つ又は複数の顔の特徴の位置に基づき、修正すべき画像の領域を決定するステップとを含む。決定された領域は、1つ又は複数の顔の特徴が位置する頭部の部分を含む。方法はさらに、決定された領域内の画像を修正して、1つ又は複数の顔の特徴を不明瞭にするステップを含む。
【0009】
一部の実施形態では、特定するステップは、画像内の対象者の頭部の皮膚表面を検出し、画像内の対象者の頭部の検出された皮膚表面上の1つ又は複数の顔の特徴の位置を特定するステップを含み得る。一部の実施形態では、画像内の対象者の頭部の皮膚表面を検出するステップは、画像内の対象者の頭部の凸包を決定するステップと、凸包の表面上の1つ又は複数の点について、画像内の対象者の頭部の中心に向かって内向きに経路をトレースするステップと、画像の背景レベルより大きい値を有する画像のコンポーネントが検出される、対象者の頭部の皮膚表面を検出するステップとを含み得る。
【0010】
一部の実施形態では、2つ以上の顔の特徴の位置が特定され、画像の修正すべき領域は、少なくとも2つの顔の特徴の位置間の距離に所定の比率の値を乗じた結果に基づき決定され得る。一部の実施形態では、所定の比率は、前記少なくとも2つの顔の特徴の位置と少なくとも1つの他の特徴の位置との間の距離に対する少なくとも2つの顔の特徴の位置間の距離との関係を定め得る。
【0011】
一部の実施形態では、方法はさらに、画像内の対象者の頭部の傾きに基づき、画像の修正すべき領域を調整するステップを含み得る。
【0012】
一部の実施形態では、1つ又は複数の顔の特徴を不明瞭にするために、画像の決定された領域内の頭部の部分から複数の突起を外向きに延ばすことにより、画像が修正され得る。一部の実施形態では、外向きに延びる複数の突起のうちの1つ又は複数を異なるグレースケール値に設定することによって、画像がさらに修正され得る。
【0013】
一部の実施形態では、方法はさらに、対象者の個人情報に関連するテキストのための画像の1つ又は複数の候補領域を特定するステップと、画像の特定された1つ又は複数の候補領域内の画像の少なくとも1つの特徴を決定するステップと、画像の特定された1つ又は複数の候補領域内の画像の決定された少なくとも1つの特徴に基づき、候補領域から、対象者の個人情報に関連するテキストを含む領域を選択するステップと、対象者の個人情報に関連するテキストを不明瞭にするように、選択された領域内の画像を修正するステップとを含み得る。
【0014】
一部の実施形態では、少なくとも1つの特徴は、画像の1つ又は複数の特定された候補領域内のコンポーネント集合の凸包、テキストを含む1つ又は複数の特定された候補領域内のコンポーネントの数と、画像全体のコンポーネントの数との比率、1つ又は複数の特定された候補領域内の画像の幾何学的離心率、1つ又は複数の特定された候補領域内の画像内のコンポーネントのソリディティ、及び1つ又は複数の特定された候補領域内の画像の強度のうちのいずれか1つ又は複数を含み得る。
【0015】
一部の実施形態では、1つ又は複数の候補領域を特定するステップは、同じ値を持つ複数の連結したコンポーネントを含む画像内の1つ又は複数の領域を検出して、所定のサイズより大きいサイズを有する領域を背景領域として特定し、残りの領域を、対象者の個人情報に関連するテキストの候補領域として特定するステップを含み得る。
【0016】
一部の実施形態では、選択するステップは、少なくとも1つの決定された特徴を、個人情報に関連するテキストを含む領域を示す1つ又は複数の保存された特徴と比較するステップと、前記比較に基づき、候補領域から、対象者の個人情報に関連するテキストを含む領域を選択するステップとを含み得る。
【0017】
一部の実施形態では、方法は、選択された領域内でテキスト認識を実行して、選択された領域内の対象者の個人情報に関連するテキストの位置を特定するステップを含み得る。この実施形態では、画像を修正するステップは、対象者の個人情報に関連するテキストを不明瞭にするために、特定された位置における選択された領域内の画像を修正するステップを含み得る。
【0018】
第2の態様によれば、コンピュータ可読コードが組み込まれたコンピュータ可読媒体を含むコンピュータプログラム製品が提供され、ここで、コンピュータ可読コードは、適切なコンピュータ又はプロセッサによって実行されると、コンピュータ又はプロセッサに上記方法を実行させるように構成される。
【0019】
第3の態様によれば、プロセッサを備える装置が提供される。プロセッサは上記方法を実行するように構成される。
【0020】
上記態様及び実施形態によれば、既存の技術の限界が対処される。特に、上記態様及び実施形態によれば、1つ又は複数の顔の特徴の位置に基づいて設定される領域内で画像が修正され、領域は、1つ又は複数の顔の特徴が位置する頭部の部分を含む。このようにすることで、対象者の身元を保護する一方で、対象者の他の部分(例えば、対象者の頭部の不明瞭化されていない部分、又は頭部の内部)は視認可能に維持され、よって研究、アーカイブ、臨床分析、又はその他の目的のために使用され得る。
【0021】
したがって、既存の問題を克服する、画像内の対象者の顔の特徴を不明瞭にするための改良された方法及び装置が提供される。
【図面の簡単な説明】
【0022】
本発明のより良い理解のために、また、本発明が如何に実施され得るかをより明確に示すために、以下の例示に過ぎない添付図面を参照する。
【0023】
【
図1】
図1は、一実施形態に係る、画像内の対象者の顔の特徴を不明瞭にするための装置のブロック図を示す。
【
図2】
図2は、一実施形態に係る、画像内の対象者の1つ又は複数の顔の特徴を不明瞭にするための方法を示す。
【
図3】
図3は、一実施形態に従って修正された画像を示す。
【
図4】
図4は、例示的実施形態に係る、画像内の対象者の1つ又は複数の顔の特徴を不明瞭にするための方法を示す。
【
図5】
図5は、他の実施形態に係る、画像内の対象者の1つ又は複数の顔の特徴を不明瞭にするための方法を示す。
【
図6】
図6は、他の実施形態に従って修正された画像を示す。
【
図7】
図7は、例示的実施形態に係る、画像内の対象者の1つ又は複数の顔の特徴、及び対象者の個人情報に関連するテキストを不明瞭にするための方法を示す。
【
図8】
図8は、例示的実施形態に係る、画像内の対象者の顔の特徴を不明瞭にするための装置のブロック図を示す。
【発明を実施するための形態】
【0024】
上記したように、既存の問題を克服する、画像内の対象者の顔の特徴を不明瞭にするための改良された方法及び装置が提供される。
【0025】
図1は、画像内の対象者の1つ又は複数の顔特徴を不明瞭にするために使用することができる、一実施形態に係る装置100のブロック図を示す。本明細書に開示される実施形態のいずれにおいても、画像は二次元画像、三次元画像、又は他の任意の次元の画像であり得る。画像は複数の構成要素(又は構成要素のセット)を含む。画像が二次元画像である実施形態では、構成要素はピクセルである。画像が三次元画像である実施形態では、構成要素はボクセルである。
【0026】
画像は、例えば医療画像であり得る。医療画像の例は、限定はされないが、コンピュータ断層撮影(CT)画像(例えば、CTスキャンから)、単一光子放射断層撮影(SPECT)画像(例えば、SPECTスキャンから)、陽電子放出断層撮影(PET)画像(例えば、PETスキャンから)、磁気共鳴(MR)画像(例えば、磁気共鳴イメージングMRIスキャンから)、超音波(US)画像(例えば、超音波スキャンから)、又は対象者の顔の特徴が存在し得るその他の任意の画像を含む。一部の実施形態では、画像は、DICOM(Digital Imaging and Communication in Medicine)フォーマット、FITS(Flexible Image Transport System)データフォーマット、NIfTI(Neuroimaging Informatics Technology Initiative)データフォーマット、又は任意の他のフォーマットを有し得る。画像の種類の例を述べたが、当業者は、本明細書で提供される教示が、対象者の顔の特徴が存在し得る他の任意の種類の画像に等しく適用され得ることを理解するであろう。
【0027】
図1を参照して、装置100は、装置100の動作を制御し、また、本明細書に記載の方法を実施可能なプロセッサ102を含む。プロセッサ102は、本明細書に記載されるように装置100を制御するように構成又はプログラムされた1つ又は複数のプロセッサ、処理ユニット、マルチコアプロセッサ又はモジュールを含み得る。特定の実装形態では、プロセッサ102は、本明細書に記載の方法の個々の又は複数のステップを実行するように構成された、又は実行するための複数のソフトウェアモジュール及び/又はハードウェアモジュールを含み得る。
【0028】
簡潔に言えば、装置100のプロセッサ102は、画像内の対象者の頭部を検出して、画像内の対象者の1つ又は複数の顔の特徴の位置を識別するように構成される。プロセッサ102はまた、1つ又は複数の顔の特徴の位置に基づき、修正すべき画像の領域を決定するように構成される。決定された領域は、1つ又は複数の顔の特徴が位置する頭部の部分を含む。プロセッサ102はまた、決定された領域内の画像を修正して、1つ又は複数の顔の特徴を不明瞭にするように構成される。
【0029】
これは、顔認識技術を使用するなどして対象者の身元を画像から確認できないようにしつつ、対象者の他の部分(又は、具体的には、対象者の頭部の不明瞭化されていない部分)は視認可能に維持するように、顔の特徴を不明瞭にするという技術的効果を奏する。このようにすることで、個人の身元は明かされないが他の情報は依然として利用できるように画像を匿名化し、研究、アーカイブ、臨床分析、又はその他の目的のために画像を配布することができる。
【0030】
一部の実施形態では、
図1に示されるように、装置100は少なくとも1つのユーザインターフェース104を備え得る。代替的に又は追加的に、少なくとも1つのユーザインターフェース104は、装置100の外部に存在し得る(すなわち、装置と分かれている又は装置から離れている)。例えば、少なくとも1つのユーザインターフェース104は別のデバイスの一部であり得る。ユーザインターフェース104は、本明細書の実施形態に係る方法から生じる情報を装置100のユーザ(例えば、ヘルスケア提供者、ヘルスケア専門家、介護者、被験者、又は他のユーザ)に提供する際に使用するためのものであり得る。プロセッサ102は、1つ又は複数のユーザインターフェース104を制御して、本明細書の実施形態に係る方法から生じる情報を提供するように構成されてもよい。例えば、プロセッサ102は、1つ又は複数のユーザインターフェース104を制御して、1つ又は複数の不明瞭化された顔の特徴を有する修正画像をレンダリング(又は出力若しくは表示)するように構成され得る。代替的に又は追加的に、ユーザインターフェース104は、ユーザ入力を受け取るように構成されてもよい。言い換えれば、ユーザインターフェース104は、装置100のユーザが指示、データ、又は情報を手動で入力することを可能にし得る。プロセッサ102は、1つ又は複数のユーザインターフェース104からユーザ入力を取得するように構成され得る。
【0031】
ユーザインターフェース104は、装置100のユーザへの情報、データ、又は信号のレンダリング(又は出力若しくは表示)を可能にする任意のユーザインターフェースであり得る。代替的に又は追加的に、ユーザインターフェース104は、装置100のユーザがユーザ入力を提供すること、装置100とインタラクトすること、及び/又は装置を制御することを可能にする任意のユーザインターフェースであってもよい。例えば、ユーザインターフェース104は、1つ又は複数のスイッチ、1つ又は複数のボタン、キーパッド、キーボード、(例えば、タブレット又はスマートフォン上の)タッチスクリーン又はアプリケーション、ディスプレイ画面、グラフィカルユーザインターフェース(GUI)、又は他の視覚レンダリングコンポーネント、1つ又は複数のスピーカ、1つ又は複数のマイク、又は任意の他のオーディオコンポーネント、1つ又は複数の照明装置、触覚フィードバックを提供するコンポーネント(例えば、振動機能)、又は任意の他のユーザインターフェース、又はユーザインターフェースの組み合わせを含み得る。
【0032】
一部の実施形態では、
図1に示すように、装置100はまた、本明細書で説明される方法を実行するためにプロセッサ102によって実行可能なプログラムコードを格納するように構成されたメモリ106も備え得る。代替的に又は追加的に、1つ又は複数のメモリ106は、装置100の外部に存在し得る(すなわち、装置と分かれている又は装置から離れている)。例えば、1つ又は複数のメモリ106は別のデバイスの一部であり得る。メモリ106は、装置100のプロセッサ102によって取得又は作成された、又は装置100の外部の任意のインターフェース、メモリ、又はデバイスから取得又は作成された画像、情報、データ、信号、及び測定結果を格納するために使用され得る。例えば、メモリ106は、1つ又は複数の不明瞭化された顔の特徴を有する修正された画像を保存するために使用され得る。プロセッサ102は、メモリ106を制御して、1つ又は複数の不明瞭化された顔の特徴を有する修正された画像を保存するように構成され得る。
【0033】
一部の実施形態では、
図1に示されるように、装置100はまた、装置100が、装置100の内部又は外部の任意のインターフェース、メモリ、及びデバイスと通信することを可能にするための通信インターフェース(又は回路)108を備え得る。通信インターフェース108は、無線で又は有線接続を介して任意のインターフェース、メモリ、及びデバイスと通信することができる。例えば、1つ又は複数のユーザインターフェース104が装置100の外部にある実施形態では、通信インターフェース108は、1つ又は複数の外部ユーザインターフェース104と無線で又は有線接続を介して通信し得る。同様に、1つ又は複数のメモリ106が装置100の外部にある実施形態では、通信インターフェース108は、1つ又は複数の外部メモリ106と無線で又は有線接続を介して通信し得る。
【0034】
図1は、本開示の本側面を説明するために必要な構成要素のみを示しており、実際の実装では、装置100は、示された構成要素に加えて他の構成要素を備え得ることが理解されよう。例えば、装置100は、装置100に電力を供給するための電池又は他の電源、又は装置100を主電源に接続するための手段を備えてもよい。
【0035】
図2は、一実施形態に係る、画像内の対象者の1つ又は複数の顔の特徴を不明瞭にするためのコンピュータ実装方法200を示す。図示される方法200は、一般的に、装置100のプロセッサ102によって又はその制御下で実行され得る。上記したように、画像は複数のピクセル(又はピクセルデータ)を含む2次元画像、複数のボクセル(又はボクセルデータ)を含む3次元画像、又は任意の他の種類の画像及び任意の画像フォーマットであり得る。
【0036】
簡潔に言えば、
図2を参照して、方法は、画像内の対象者の頭部を検出するステップと(
図2のブロック202)、画像内の対象者の1つ又は複数の顔の特徴の位置を特定するステップと(
図2のブロック204)、1つ又は複数の顔の特徴の位置に基づいて修正する画像の領域を決定するステップと(
図2のブロック206)を含む。決定された領域は、1つ又は複数の顔の特徴が位置する頭部の部分を含む。この方法はまた、決定された領域内の画像を修正して、1つ又は複数の顔の特徴を不明瞭にするステップを含む(
図2のブロック208)。
【0037】
より詳細には、
図2のブロック202において、画像内の対象者の頭部が(任意選択的にさらに首も)検出される。当業者は、画像内の対象者の頭部を検出することを可能にする様々な技術を知っているであろう。しかし、例として、アトラスベースのレジストレーション技術が使用され得る。一般的に、アトラスベースの技術は、手動でラベル付けされた複数の画像(例えば、専門家によってラベル付けされた頭部を含む画像)からなるトレーニングセットを使用して、頭部を含む過去に見ていない画像内の頭部を認識するように学習アルゴリズムをトレーニングする。頭部検出方法の例を提供したが、画像内の頭部を検出するのに適した他の方法を使用することができ、当業者はそのような方法を知っていることが理解されよう。
【0038】
図2のブロック204において、対象者の1つ又は複数の顔の特徴(又は顔のランドマーク)の位置が画像内で特定される。一部の実施形態では、対象者の2つ以上の顔の特徴の位置が画像内で特定され得る。顔の特徴(又は顔のランドマーク)は、片目、両目、鼻、口、片耳、両耳、又は任意の他の顔の特徴、又は複数の顔の特徴の組み合わせのうちの任意の1つ又は複数(すなわち、任意の1つ又は任意の組み合わせ)を含み得る。
【0039】
一部の実施形態では、対象者の1つ又は複数の顔の特徴を特定することは、画像内の対象者の頭部の皮膚表面を検出し、次いで、画像内の対象者の頭部の検出された皮膚表面上の1つ又は複数の顔の特徴の位置を特定することを含み得る。一部の実施形態では、画像内の対象者の頭部の凸包を決定(又は計算若しくは形成)することにより、画像内の対象者の頭部の皮膚表面が検出され得る。凸包は凸包絡とも呼ばれ得る。凸包の数学的概念は当業者によく知られており、また、当業者は、幾何学的物体(ここでは、画像内の対象者の頭部)の凸包を決定する(又は計算若しくは形成する)ために使用可能な様々なアルゴリズムを理解するであろう。
【0040】
しかし、簡潔に言えば、ある点集合のための凸包は、集合内の任意のあらゆる2つの点について、両点の間に、多角形内に完全に含まれる線を引くことができるように定められ得る最小の多角形である。画像内の対象者の頭部の凸包を決定する方法の例を提供したが、画像内の対象者の頭部の凸包を決定するのに適した任意の他の方法を使用することができ、当業者はそのような方法を認識することが理解されよう。
【0041】
一部の実施形態では、所定の閾値を超える値を有する画像の構成要素(すなわち、2次元画像のピクセル又は3次元画像のボクセル)は画像内の対象者の頭部に対応し、所定の閾値未満の値を有する画像の構成要素は画像内の背景に対応すると見なすことにより、画像内の対象者の頭部の凸包が決定(又は計算若しくは形成)され得る。したがって、画像内の対象者の頭部の凸包は、所定の閾値を超える値を有する構成要素の凸包として決定(又は計算若しくは形成)され得る。所定の閾値は最小閾値とも呼ばれることがある。
【0042】
所定の閾値の適切な値は、画像の種類や、画像内の構成要素(例えば、ピクセル又はボクセル)の値の範囲に依存することが理解されよう。一部の実施形態では、所定の閾値の適切な値は、トライアルアンドエラーによって設定され得る。一部の実施形態では、所定の閾値を設定するために較正ステップが実行されてもよい。例えば、ユーザは、背景領域を表す画像の領域(2次元画像の実施形態)又は画像のボリューム(3次元画像の実施形態)を手動で強調表示又は選択し得る。そして、画像内の背景を表すと強調表示又は選択された構成要素の値を使用して、所定の閾値の適切なレベルが設定され得る。一部の実施形態では、画像内の背景は自動的に検出されてもよい。例えば、画像の特定の部分(例えば、1つ又は複数のエッジ)が、画像内の背景を表すと仮定され得る。
【0043】
上述のように、対象者の頭部の凸包が決定(又は計算若しくは形成)され得る。画像内の対象者の頭部の凸包は多角形であり得る。多角形は、対象者の頭部をカバーしてもよい(及び、例えば包囲する又は完全に囲む)。一部の実施形態では、その後、皮膚が検出されるまで、凸包の表面(又は外周)上の1つ又は複数の点から頭部の中心に向かって内向きにレイキャスティングを行うことによって、画像内の対象者の頭部の皮膚表面が検出され得る。言い換えると、凸包上の1つ又は複数の点について、光線(又は経路)が頭部の中心に向かって内側にトレース(又はキャスト若しくは投影)される。頭の中心は、凸包の重心(centroid)を決定することで特定され得る。
【0044】
次いで、画像内の対象者の頭部の皮膚表面が検出され、ここでは、皮膚を含む構成要素(すなわち、皮膚コンポーネント)が画像内で検出される。例えば、凸包の1つ又は複数の点について、光線(又は経路)が頭部の中心に向かって(例えば、凸包の重心に向かって)内側にトレースされる。そして、画像内の対象者の頭部の皮膚表面が検出され、ここでは、2次元画像内で皮膚を含むピクセル(すなわち、皮膚ピクセル)が検出されるか、又は3次元画像内で皮膚を含むボクセル(すなわち、皮膚ボクセル)が検出される。皮膚コンポーネント(例えば、皮膚ピクセル又は皮膚ボクセル)は、画像の背景レベルよりも大きい値を持つコンポーネントである。ここで説明した方法で凸包の表面からレイキャスティングを行うことにより、皮膚の表面を決定することができる(例えば、頭部の全周にわたって)。レイキャスティングの概念は当業者によく知られており、また、当業者は、凸包の表面から頭部の中心に向かってレイキャスティングを行うために使用可能な様々なアルゴリズムを認識するであろう。
【0045】
したがって、上述の方法で、画像内の対象者の頭部の皮膚表面を検出することができる。その後、前述のように、対象者の頭部の検出された皮膚表面上の1つ又は複数の顔の特徴の位置が画像内で特定され得る。一部の実施形態では、対象者の頭部の検出された皮膚表面上の1つ又は複数の顔の特徴の位置は、ランドマーク検出を使用して特定され得る。一例では、左目及び右目の位置がランドマーク検出に基づいて特定される。画像内の1つ又は複数の顔の特徴の位置を特定するのに適した任意の方法を使用することができ、また、当業者は、1つ又は複数の顔の特徴の位置を画像内で特定するための様々な技術を認識することが理解されよう。
【0046】
一般的に、顔の特徴の位置がブロック204で決定されると、特徴の位置及び種類を使用して、頭部の向きが決定され得る。例えば、ブロック204において鼻の位置が決定された場合、鼻の位置を使用して、皮膚表面(又は凸包)のどの部分が頭部の正面に対応するかが決定され得る。同様に、ブロック204で両目の位置が決定された場合、両目の位置を使用して、皮膚表面(又は凸包)のどちら側が対象者の顔に対応するかが決定され得る。したがって、一部の実施形態では、特定された顔の特徴の位置及び種類に基づいて頭部の向きが決定され得る。
【0047】
図2のブロック206において、1つ又は複数の顔の特徴の位置に基づき、修正すべき画像の領域が決定される。言い換えれば、1つ又は複数の顔の特徴の位置に基づいてマスク境界が設定(又は定義)される。決定された修正すべき画像領域は、1つ又は複数の顔の特徴が位置する頭部の部分を含む。一部の実施形態では、決定された修正すべき領域は、識別可能な顔の特徴を含む顔の部分を包含する領域(例えば、ボリューム又は表面)を含む。一部の実施形態では、例えば、決定された修正すべき領域は、片目、両目、片耳、両耳、鼻、口、又は任意の他の顔の特徴、又は複数の顔の特徴の組み合わせのうちの1つ又は複数(すなわち、1つ又は任意の組み合わせ)を含み得る。一部の実施形態では、決定された修正すべき領域は、例えば、両目、鼻、及び口を包含する領域を含み得る。
【0048】
一部の実施形態では、修正すべき画像の領域(全ての識別可能な顔の特徴を完全にカバーする領域であり得る)を決定するために、1つ又は複数の特徴の決定された位置が、対象者の顔の特定の比率と組み合わせられ得る。例えば、対象者の2つ以上の顔の特徴の位置が画像内で特定される実施形態では、修正すべき領域は、少なくとも2つの顔の特徴の位置間の距離に所定の比率の値を乗じた結果に基づき設定され得る。所定の比率は黄金比とも呼ばれ得る。黄金比は、例えば1.6(又は、より具体的には1.618)であり得る。所定の比率(又は黄金比)は、その少なくとも2つの顔の特徴と1つ又は複数の他の特徴との間の距離に対する少なくとも2つの顔の特徴の位置間の距離の関係を定める。したがって、一部の実施形態では、少なくとも2つの顔の特徴の位置間の距離が
図2のブロック206で決定され得る。少なくとも2つの顔の特徴の位置間の距離は、画像内の対象者の頭部のサイズ(又はスケール)の指標を提供する。
【0049】
少なくとも2つの顔の特徴の位置間の距離、及び所定の比率から、適切なサイズを有する修正すべき画像領域を決定することができる。なぜなら、少なくとも2つの顔の特徴間の距離、及び所定の比率を使用して、少なくとも2つの顔の特徴の位置と、1つ又は複数の他の特徴の位置との間の距離を決定することができるからである。例えば、一部の実施形態では、対象者の両目の位置間の距離がブロック206で決定され得る。所定の比率は両目間の距離と、目と鼻との間の距離との関係を定義するため、両目の位置間の距離及び所定の比率に基づいて修正すべき領域を決定することができる。このようにして、鼻の位置を決定する必要なく、鼻と両目を含む修正すべき領域を決定することができる。
【0050】
したがって、所定の比率(又は黄金比)は、顔の異なる特徴の相対的な比率を定める。例えば、一部の実施形態では、女性対象者の目と口との間の距離は、女性対象者の顔の長さの約36パーセントであると仮定されてもよい。同様に、女性対象者の両目間の距離は、女性対象者の顔の幅の約46パーセントであると仮定され得る。したがって、少なくとも2つの顔の特徴間の距離を決定することにより、所定の比率(又は黄金比)を使用して、修正すべき画像の領域を決定することができる。
【0051】
一部の実施形態では、
図2のブロック206において修正すべき画像の領域を決定することはさらに、対象者の顔の傾きに基づいて修正すべき領域を調整することを含み得る。一部の実施形態では、顔が所定の最大傾斜と所定の最小傾斜との間で傾斜していると仮定することにより、修正すべき領域が調整される。例えば、一部の実施形態では、顔が垂直から±10度傾いていると仮定される。したがって、上記方法は、最大傾斜と最小傾斜との間の、顔の表面の全ての可能な位置を含むボリュームに対応する画像のボリュームを不明瞭にするステップを含み得る。例えば、一部の実施形態では、両目の位置及び距離、所定の比率(又は黄金比)、及び仮定された傾斜範囲からボリュームが抽出され得る。このようにして、修正すべき画像の領域を調整することで、対象者の顔の傾きの可能性を考慮に入れることにより、画像の下唇及びあごの不明瞭化が保証される。対象者の顔の傾きについてここで示した範囲は単なる例示であり、任意の他の適切な傾き範囲が仮定され得ることが理解されよう。
【0052】
したがって、上述のようにして、修正すべき画像の領域が
図2のブロック206で決定される。その後、
図2のブロック208において、1つ又は複数の顔の特徴を不明瞭にするために、決定された領域内で画像が修正される。したがって、画像は設定された修正境界内で修正される。このようにして、画像内の対象者の特定可能な特徴が不明瞭にされ、画像の他の部分は不明瞭にすることなく画像を匿名化し、対象者のプライバシーを保護することができる。したがって、顔情報を非特定化する又は隠すために、
図2を参照して説明した方法を実装することができる。
【0053】
一部の実施形態では、1つ又は複数の顔の特徴を不明瞭にするために、決定された領域内にある対象者の頭部の部分から複数の突起(例えば、光線又は鍾乳石構造物)を外側に延ばす(又は成長させる)ことにより、画像が修正され得る。例えば、複数の突起は、顔表面コンポーネント(2次元画像ではピクセル又は3次元画像ではボクセル)から延ばされ得る(又は成長させられ得る)。一部の実施形態では、突起は、決定された領域内の対象者の頭部の部分の画像上の画像内のコンポーネント(すなわち、2次元画像ではピクセル又は3次元画像ではボクセル)を、ランダムなノイズ値を用いて修正することによって延ばされ得る(又は成長させられ得る)。これにより、ノイズの多い顔レイヤーが形成され、これは、画像内の顔情報を非特定化する又は隠すマスクとして機能する。複数の突起を外側に延長することにより、対象者の頭部の特定可能な顔の特徴(又は対象者を特定し得る特徴)が不明瞭になり、一方、対象者の頭部の非特定可能な特徴(又は対象者を特定できない特徴)は不明瞭にされない。これにより、最大量のデータが確実に保持されると同時に、対象者の顔の表面上の特定可能な特徴が確実に完全に不明瞭化される。
【0054】
一部の実施形態によれば、外向きに延びる突起のうちの1つ又は複数を異なるグレースケール値に設定することによって、画像がさらに修正され得る。このようにして、皮膚の色調又は彩色の指標が画像から削除される。
【0055】
図3は、一実施形態に係る、上述のようにして修正された画像300の例を示す。
図3に示されるように、画像300は、人を特定するために使用され得る顔の特徴を含む。したがって、1つ又は複数の顔の特徴を不明瞭にするために、決定された領域内にある対象者の頭部の部分から複数の突起302を外向きに延ばすことにより、画像が本明細書に記載の方法で修正される。このようにして、顔の特徴が不明瞭になり、画像300から対象者の身元が導き出されるおそれなく、得られた画像を研究、アーカイブ、又は他の目的のために配布することができる。
【0056】
図4は、例示的実施形態に係る、画像内の対象者の1つ又は複数の顔の特徴を不明瞭にするためのコンピュータ実装方法400を示す。図示される方法400は、一般的に、装置100のプロセッサ102によって又はその制御下で実行され得る。
【0057】
図4のブロック402において、装置100に画像がロードされる。画像がDICOMフォーマットである実施形態では、画像はDICOMリーダーを使用してロードされ得る。当業者は適切なDICOMリーダーを認識するであろう。
【0058】
図4のブロック404において、画像が分析されて、画像内の対象者の頭部が(この例示的実施形態では首も)検出される。言い換えれば、
図2のブロック202に関して前述した方法が実行される。ここでは繰り返し説明しないが、当業者は、対象者の頭部(及び首)を前述の方法で検出できることを理解するであろう。対象者の頭部と首が画像内で検出されない場合、方法は終了する。一方、対象者の頭部と首が画像内で検出された場合、方法は
図4のブロック406に移動する。
図4のブロック406において、検出された頭部の凸包が構築される。
図2に関連して上記で詳細に説明したように、凸包は所定の閾値(又は最小閾値)を用いて、背景から肌への遷移を決定することで計算される。例えば、コンポーネント(すなわち、2次元画像の実施形態ではピクセル又は3次元画像の実施形態ではボクセル)の値が所定の閾値を下回る場合、当該コンポーネントは背景コンポーネントであると決定され、コンポーネントの値が所定の閾値を超える場合、頭部又は首の一部であると決定される。したがって、凸包は、所定の閾値を超える値を持つコンポーネントの位置を含むように構築される。
【0059】
図4のブロック406で凸包を構築した後、
図2を参照して前述したように、ブロック408において凸包の重心が決定される。
図2のブロック410において、対象者の1つ又は複数の顔の特徴の位置が画像内で特定される。言い換えれば、
図2のブロック204に関して前述した方法が実行される。ここでは繰り返し説明しないが、当業者は、前述の方法で画像内の対象者の1つ又は複数の顔の特徴の位置を特定できることを理解するであろう。
図4の例示的実施形態では、位置が特定される1つ又は複数の特徴は、対象者の両目である。したがって、
図4のブロック410において、対象者の両目の位置が画像内で特定される。
【0060】
ブロック412において、両目間の距離(すなわち、左目と右目の間の距離)が特定され、ブロック414において、修正すべき画像の領域が、特定された両目の位置に基づいて決定される。言い換えれば、
図2のブロック206に関して前述した方法が実行される。ここでは繰り返し説明しないが、当業者は、前述の方法で、1つ又は複数の顔の特徴の位置(本実施形態では両目の位置)に基づき、修正すべき画像の領域を決定できることを理解するであろう。より具体的には、
図4の例示的実施形態では、修正すべき領域は、特定された両目の位置間の距離に、所定の比率、すなわち黄金比の値を乗算した結果に基づいて設定される。したがって、実際には黄金比が乗数として使用される。
【0061】
図4のブロック416において、前述のように、対象者の顔の傾き(又は顔傾斜)が仮定される。次に、顔傾斜を考慮(又は補償)するために、決定された修正すべき画像の領域が調整される。例えば、一部の実施形態では、両目間の距離に基づき、また、顔が両目の中心から垂直方向に、両目間の距離に比例する長さだけ伸びると仮定することにより、決定された修正すべき画像の領域が決定される。しかし、顔が傾いている場合、顔が垂直に伸びていると仮定することはできず、顔の傾斜を考慮する必要がある。これはブロック416において、適切な三角法関係を使用して補償される。
【0062】
図4のブロック418において、
図2を参照して前述したように、凸包の外周から重心へのレイキャスティングによって皮膚の表面が決定される。修正のための適切な皮膚領域が決定されると、1つ又は複数の顔の特徴を不明瞭にするために、決定された領域内で画像が修正される。言い換えれば、
図2のブロック208に関して前述した方法が実行される。ここでは繰り返し説明しないが、当業者は、前述の方法で、決定された領域内で画像を修正できることを理解するであろう。具体的には、
図4の例示的実施形態では、1つ又は複数の顔の特徴を不明瞭にするために、決定された領域内にある対象者の頭部の部分から複数の突起(より具体的には、鍾乳石構造物)を外向きに延ばすことにより、画像が修正される。
【0063】
また、
図4の例示的実施形態によれば、皮膚表面をさらに不明瞭にするために、ブロック422で画像がさらに修正される。より具体的には、外向きに延びる突起(又は鍾乳石構造物)に対応するコンポーネント(すなわち、2次元画像の実施形態ではピクセル又は3次元画像の実施形態ではボクセル)を修正することで、皮膚表面がさらに不明瞭にされる。外向きに延びる突起に加えられる修正は、例えば、外向きに延びる突起のうちの1つ又は複数を、異なるグレースケール値に設定すること、又は、外向きに延びる突起のうちの1つ又は複数の突起のスキントーン値をランダム化することを含む。
【0064】
図4のブロック424において、修正された画像が保存される。例えば、この例示的実施形態では、修正すべき画像は、DICOMライターを使用して、更新されたDICOM画像としてファイルに保存される。DICOMライターは当業者によく知られている。
【0065】
このようにして、
図3に示されるように画像が修正されることで、画像内の対象者の特定可能な顔の特徴が不明瞭になり、画像から対象者の身元が導き出されるおそれなく、得られた画像を研究、アーカイブ、又は他の目的のために配布することができる。
【0066】
図5は、他の実施形態に係る、画像内の対象者の1つ又は複数の顔の特徴を不明瞭にするためのコンピュータ実装方法500を示す。図示される方法500は、一般的に、装置100のプロセッサ102によって又はその制御下で実行され得る。
【0067】
図5を参照して、ブロック502、504、506、及び508において、それぞれブロック202、204、206、及び208に係る方法が実行される。ここでは繰り返し説明しないが、
図2に関する説明が適用されることが理解されるであろう。図を参照して前述したように顔の特徴を不明瞭にすることに加えて、
図5に示す方法はさらに、画像に埋め込まれたテキストを不明瞭にする。
【0068】
簡潔に言えば、
図5を参照して、対象者の個人情報に関連するテキストの1つ又は複数の候補画像領域を特定し(
図5のブロック510)、特定された1つ又は複数の候補画像領域内の画像の少なくとも1つの特徴を決定し(
図5のブロック512)、特定された1つ又は複数の候補画像領域内の画像の決定された少なくとも1つの特徴に基づき、候補領域から、対象者の個人情報に関連するテキストを含む領域を選択し(
図5のブロック514)、対象者の個人情報に関連するテキストを不明瞭にするように、選択された領域内の画像を修正する(
図5のブロック516)ことによって、埋め込みテキストが不明瞭にされ得る。本明細書に開示される実施形態のいずれにおいても、対象者の個人情報に関連するテキストは、例えば、PHI(Protected Health Information )を含み得る。
【0069】
より詳細には、
図5のブロック510において、対象者の個人情報に関連するテキストの1つ又は複数の候補画像領域が特定される。1つ又は複数の候補領域は、例えば、テキストが見つかる可能性が高い画像の領域であり得る。例えば、1つ又は複数の候補領域は、画像のエッジの周りの1つ又は複数の領域(すなわち、画像の1つ又は複数のエッジ領域)を含み得る。
【0070】
一部の実施形態では、対象者の個人情報に関連するテキストの1つ又は複数の候補画像領域を特定するために、連結したコンポーネント分析が利用され得る。例えば、同じ値を持つ連結した複数のコンポーネントを含む画像内の1つ又は複数の領域が検出され、所定のサイズより大きいサイズを持つ領域は、テキスト領域ではなく背景領域として特定され、残りの領域は、対象者の個人情報に関連するテキストの候補領域として特定され得る。連結したコンポーネントとは、互いに連結していて、同じ値を持つ画像内の複数のコンポーネントであることが理解されよう。したがって、例えば、2次元画像の連結したコンポーネントは、任意の面又はコーナーに沿って互いに連結し、同じ値を持つピクセル群であり、3次元画像の連結コンポーネントは、任意の面、エッジ、又はコーナーに沿って互いに連結し、同じ値を持つボクセル群である。
【0071】
一部の実施形態では、連結したコンポーネント分析は、強度値に基づいて画像内のコンポーネント(すなわち、2次元画像ではピクセル又は3次元画像ではボクセル)をグループ化することを含み得る。これは、同じ又は類似の強度値を持つ連結したコンポーネントは同じオブジェクト(又は、この場合、テキストの同じ文字又は部分)に関連するという仮定に基づき得る。したがって、一部の実施形態では、同じ又は類似の強度値を有する連結したコンポーネントの1つ又は複数のグループは、対象者の個人情報に関連するテキストの1つ又は複数の候補画像領域として特定され得る。一部の実施形態では、所定の強度値範囲内の強度値を持つ(例えば、第1の所定の強度値と第2の所定の強度値との間)連結したコンポ-ネントの1つ又は複数のグループが、対象者の個人情報に関連するテキストの1つ又は複数の候補画像領域として特定され得る。強度値範囲(又は第1の所定の強度値及び第2の所定の強度値)は、テキストを含む連結したコンポーネントに期待される強度値に基づき、及び/又は、テキストを含まない(又は背景若しくはその他の画像データを含む)連結したコンポーネントの強度値と比較した、テキストを含む連結したコンポーネントの相対強度値に基づき設定され得ることが理解されよう。
【0072】
このようにした、対象者の個人情報に関連するテキストの1つ又は複数の候補画像領域が特定され得る。連結したコンポーネント分析の例が提供されたが、当業者は、1つ又は複数の候補領域を特定するために使用可能な様々な他の連結したコンポーネント分析技術を認識するであろう。
【0073】
次に、
図5のブロック512で、1つ又は複数の特定された候補画像領域内で、画像の少なくとも1つの特徴が決定される。一部の実施形態では、少なくとも1つの特徴は、1つ又は複数の候補領域内のコンポーネント(すなわち、2次元画像の実施形態ではピクセル又は3次元画像の実施形態ではボクセル)に関連付けられた1つ又は複数の(例えば、幾何学的)特性に関連し得る。一部の実施形態では、少なくとも1つの特徴は、テキストの異なるコンポーネント、例えば文字、数字、又はテキストの任意の他のコンポーネント、又はテキストの複数のコンポーネントの任意の組み合わせを区別するために使用可能な1つ又は複数の(例えば、幾何学的)特定に関連し得る。したがって、
図5のブロック512で、1つ又は複数の特定された候補画像領域からコンポーネント(例えば、表面ピクセル又は表面ボクセル)情報が抽出され得る。
【0074】
少なくとも1つの特徴の例は、限定はされないが、1つ又は複数の特定された候補画像領域内のコンポーネント集合の凸包、テキストを含む1つ又は複数の特定された候補領域内のコンポーネントの数と、画像全体の(又はテキストを含むコンポーネントの範囲内の)コンポーネントの数との比率、1つ又は複数の特定された候補領域内の画像の幾何学的離心率(eccentricity)(例えば、1つ又は複数の候補領域内の画像の楕円の焦点間の距離と、1つ又は複数の候補領域内の画像の長軸の長さとの比率)、1つ又は複数の特定された候補領域内の画像内のコンポーネントのソリディティ(例えば、ソリディティは、1つ又は複数の候補領域内にも存在するコンポーネントである、凸包内のコンポーネントの比率を示すスカラー値)、及び1つ又は複数の特定された候補領域内の画像の強度のうちの任意の1つ、又は2つ以上の組み合わせ(すなわち、いずれか1つ又は任意の組み合わせ)を含む。凸包は、
図2のブロック204に関して前述した方法で、又は凸包を決定するための任意の他の適切な技術を使用して決定され得ることが理解されるであろう。
【0075】
図5に戻り、ブロック514において、1つ又は複数の特定された候補画像領域内の画像の少なくとも1つの決定された特徴に基づき、対象者の個人情報に関連するテキストを含む領域が、1つ以上の特定された候補領域から選択される。一部の実施形態では、領域の選択は、少なくとも1つの決定された特徴を、個人情報に関連するテキストを含む領域を示す1つ又は複数の保存された特徴と比較することと、この比較に基づき、1つ又は複数の特定された候補領域から、対象者の個人情報に関連するテキストを含む領域を選択することとを含み得る。一部の実施形態では、少なくとも1つの決定された特徴を、テキストを含む領域を示す1つ又は複数の保存された特徴と比較することは、各候補領域について導出された画像の少なくとも1つの特徴に基づき、対象者の個人情報に関連するテキストを含む候補領域を予測するための機械学習を使用することを含み得る。機械学習が使用される実施形態では、個人情報に関連するテキストの存在を示す保存された特徴を含むトレーニングデータのセットを使用して、機械学習が実行され得る。
【0076】
画像の1つ又は複数の特定された候補領域内で、画像の連結したコンポーネントの少なくとも1つの特徴が決定される実施形態では、画像の1つ又は複数の特定された候補領域内の画像の連結したコンポーネントの少なくとも1つの決定された特徴に基づき、候補領域から、対象者の個人情報に関連するテキストを含む領域から選択され得る。
【0077】
したがって、上記の方法により、1つ又は複数の特定された候補領域から、対象者の個人情報に関連するテキストを含む領域が選択される。その後、
図5のブロック516において、対象者の個人情報に関連するテキストを不明瞭にするために、選択された領域内で画像が修正される。一部の実施形態では、対象者の個人情報に関連するテキストを不明瞭にするために不透明マスクを適用することによって、又は選択された領域内の画像を黒塗りすることによって、画像が修正され得る。例えば、対象者の個人情報に関連するテキストは、選択された領域のコンポーネントの強度を単一の値に設定することによって不明瞭にされ得る。
【0078】
対象者の個人情報に関連するテキストを不明瞭にすることを含む本明細書に記載の実施形態のいずれかにおいても、図示されていないが、上記方法はさらに、選択された領域内でテキスト認識を実行して、選択された領域内の対象者の個人情報に関連するテキストの(より正確な)位置を特定することを含み得る。より具体的には、選択された領域内の対象者の個人情報に関連するテキストの位置を特定するために、光学文字認識(OCR)ライブラリを使用して、個人情報に関連するテキストに合致するテキスト文字が認識されてもよい。これらの実施形態では、対象者の個人情報に関連するテキストを不明瞭にするために、特定された位置における選択された領域内の画像を修正することによって画像が修正され得る。
【0079】
図6は、オリジナル画像600(左側)、及び
図5を参照して上述した方法で修正された同じ画像600(右側)の例を示す。
図6に示されるように、対象者の個人情報に関連するテキストを不明瞭にするために、選択された領域内で画像600が修正される。このようにして、特定可能な顔の特徴、及び埋め込みテキストの両方を画像内で不明瞭にすることができる。
【0080】
図7は、例示的実施形態に係る、画像内の対象者の1つ又は複数の顔の特徴、及び対象者の個人情報に関連するテキストを不明瞭にするためのコンピュータ実装方法700を示す。図示される方法700は、一般的に、装置100のプロセッサ102によって又はその制御下で実行され得る。
【0081】
図7のブロック702において、コンポーネントデータが画像から取得される(この例示的実施形態では、ピクセルデータが画像から取得される)。次に、
図7のブロック704~714において、画像の水平エッジ、垂直エッジ、及び傾斜エッジに対して一連の形態学的動作を実行することにより、画像の背景に属する大きなコンポーネントが除去され得る。
【0082】
図7のブロック716において、対象者の個人情報に関連するテキストの1つ又は複数の候補画像領域を特定するために、連結したコンポーネント分析が画像に対して実行され得る。言い換えれば、
図5のブロック510に関して前述した方法が実行される。ここでは繰り返し説明しないが、当業者は、前述の方法で、連結したコンポーネント分析を実行できることを理解するであろう。1つ又は複数の候補領域が特定されると、次に
図7のブロック718において、1つ又は複数の特定された候補画像領域内で、画像の少なくとも1つの特徴が決定される。言い換えれば、
図5のブロック512に関して前述した方法が実行される。ここでは繰り返し説明しないが、当業者は、前述の方法で、1つ又は複数の特定された候補画像領域内で画像の少なくとも1つの特徴を決定できることを理解するであろう。少なくとも1つの特徴は、
図5のブロック512に関して前述した特徴のうちの任意の1つ又は複数(すなわち、任意の1つ又は組み合わせ)を含み得る。
【0083】
図7のブロック718で、1つ又は複数の候補領域から、決定された少なくとも1つの特徴が抽出される。
図7のブロック720において、実際のテキストを含む候補領域を特定するために、トレーニングセットを使用して、学習アルゴリズムにより最適な閾値が学習される。このようにして、画像領域内の偽陽性候補領域(すなわち、テキストに対応しない領域)を除去することができる。
【0084】
図7のブロック722において、1つ又は複数の特定された候補画像領域内の画像の少なくとも1つの決定された特徴に基づき、対象者の個人情報に関連するテキストを含む領域が、1つ又は複数の特定された候補領域から選択される。言い換えれば、
図5のブロック514に関して前述した方法が実行される。ここでは繰り返し説明しないが、当業者は、前述の方法で、対象者の個人情報に関連するテキストを含む領域を選択できることを理解するであろう。
【0085】
図7のブロック724において、選択された領域内でテキスト認識が実行され、選択された領域内の対象者の個人情報に関連するテキストの(より正確な)位置が特定される。より具体的には、光学文字認識(OCR)ライブラリを使用してテキスト文字が認識される。次に、ブロック726で、選択された領域のOCRスキャンの結果からPHI(protected health information)関連テキストの位置が特定され、OCRライブラリに保存されたPHIテキストに合致する、これらの領域内のテキストの位置が特定される。次に、
図7のブロック728で、PHIテキストのためのマスクが生成され、特定された位置における選択された領域にマスクを適用することで画像が修正され、これにより、
図5のブロック516に関して前述したように、対象者の個人情報に関連するテキストが不明瞭にされる。
【0086】
図8は、本明細書に記載の方法で医療画像内のPHIを匿名化するために使用することができる、例示的実施形態に係る装置800のブロック図を示す。この例示的実施形態の装置800はDICOM(Digital Imaging and Communication in Medicine)アナライザーである。DICOMアナライザーは、ヘッダータグの非特定化、埋め込みテキストの非特定化、及び顔マスクの非特定化の3種類の非特定化プロセスをサポートし得る。これにより、3種類の非特定化を全て実行する際の反復的な労力が不要になる。非特定化プロセスは、ユーザによって選択可能であり得る。また、非特定化プロセスは自動化され、人間の介入なしで実行されてもよい。
【0087】
装置は、画像を含むDICOMファイルを保存するように構成されたDICOMファイルストレージ830、二次画像(例えば、撮像機器から送られるものではなく、後処理アプリケーションを使用して技術者によって作成されたDICOM画像オブジェクト)を隔離するように構成された隔離部(quarantine)834、及びDICOMファイルの画像(例えば、画像が二次画像ではない場合)を読み取るように構成されたDICOMリーダー832を含む。画像を含むDICOMファイルがDICOMリーダーによって読み取られると、DICOMヘッダー814がヘッダーベース匿名化モジュール808に送信され、DICOM画像のヘッダーから情報が除去される。
【0088】
ヘッダーベース匿名化モジュール808は、複数のサブモジュールを含む少なくとも1つの非特定化モジュール820を含む。非特定化のための複数のサブモジュールは、UID(user identifiable information)情報を除去するように構成されたユーUIDモジュール822、患者固有情報(例えば名前、年齢、日付、時刻、住所)を非特定化するように構成された患者モジュール818、画像取得に使用された機器のモデル又は製造情報に関連するベンダー固有情報を非特定化するように構成された機器モジュール816、患者の訪問に関連付けられた縦断的データに関連する日付情報を非特定化するように構成された訪問モジュール824、ハッシュコードを追加し、DICOMヘッダー内の識別子情報を置き換えるように構成されたハッシングモジュール826、DICOMヘッダー内の日付及び時刻情報をシフトすることによって日付を非特定化にするように構成された日付モジュール828、DICOMヘッダー内のピクセルデータ関連タグを解釈するように構成された解釈モジュール836、及び患者に対して行われた処置に関連するタグを非特定化するように構成された処置モジュール864を含む。これらの非特定化モジュールは、ヘッダー変更方法を使用して対象者を特定する可能性のある個人情報を画像ヘッダーから削除するために使用され、これにより、対象者の非特定化が行われる。当業者は、使用可能な適切なヘッダー変更方法を認識するであろう。非特定化モジュールによって使用されるパラメータは構成ファイル802内に格納され、非特定化特徴モジュール810は、画像内の特徴を無視する804、削除する806、又は修正する812対応するアクションを有するタグを備える。
【0089】
画像からの3次元(3D)ボリュームデータ(又はボクセルデータ)840は、画像ベース匿名化ユニット838の顔特徴非特定化モジュール852に送られ、これにより、
図2及び
図4に関して前述したように、頭部/首検出モジュール842及び顔マスクモジュール854を使用して、顔特徴が画像から除去される。画像内に頭部や首が検出されない場合、オリジナルデータ856が保持される。画像からのピクセルデータ844は、画像ベース匿名化ユニット838の埋め込みテキスト非特定化モジュール858に送られ、
図5及び
図7に関して前述したように、モジュール846において埋め込みテキストが検出される。対象者の個人情報に関連するテキストが検出された場合、テキストマスクモジュール860が、
図5及び7を参照して前述したように、対象者の個人情報に関連するテキストを含む画像の領域をマスクするために画像を修正する。検出されなかった場合、オリジナルデータ862が保持される。
【0090】
図1の装置100のプロセッサ102は、顔特徴非特定化モジュール852、埋め込みテキスト非特定化モジュール858、又は、顔特徴非特定化モジュール852及び埋め込みテキスト非特定化モジュール858の両方を含む画像ベース匿名化ユニット838を含み得ることが理解されるであろう。
【0091】
装置800の画像ベース匿名化ユニット838によって生成された修正された画像はDICOMライター848に出力され、DICOMライターは匿名化されたDICOM画像850を出力する。このようにして、装置800は、DICOMヘッダーからPHIを除去し、また、顔の特徴及び対象者の個人情報に関連する埋め込みテキストを不明瞭にすることにより、完全に匿名化された画像を生成する。
【0092】
したがって、画像内の対象者の1つ又は複数の顔の特徴を不明瞭にするための改善された方法及び装置が提供される。本明細書で説明される態様及び実施形態によれば、対象者が認識されることを防ぎ、個人情報を保護することができる。
【0093】
また、コンピュータ可読コードが組み込まれたコンピュータ可読媒体を含むコンピュータプログラム製品が提供され、ここで、コンピュータ可読コードは、適切なコンピュータ又はプロセッサによって実行されると、コンピュータ又はプロセッサに本明細書に記載の1つ又は複数の方法を実行させるように構成される。したがって、本開示は、コンピュータプログラム、特に、実施形態を実現するように適合された、キャリア上の又はキャリア内のコンピュータプログラムにも及ぶことが理解されよう。プログラムは、ソースコード、オブジェクトコード、部分的にコンパイルされた形式のようなコード中間ソース及びオブジェクトコード、又は本明細書に記載の実施形態に係る方法の実施のための使用に適した任意の他の形式などの形式を取り得る。
【0094】
また、そのようなプログラムは多様なアーキテクチャ設計を有し得ることが理解されよう。例えば、方法又はシステムの機能を実装するプログラムコードは、1つ又は複数のサブルーチンに細分化されてもよい。当業者には、これらのサブルーチン間で機能を分配する多様な方法が明らかであろう。サブルーチンは、1つの実行可能ファイルに一緒に格納され、自己完結型プログラムを形成してもよい。そのような実行可能ファイルは、コンピュータ実行可能命令、例えば、プロセッサ命令及び/又はインタプリタ命令(例えば、Java(登録商標)インタプリタ命令)を含み得る。あるいは、サブルーチンのうちの1つ以上又は全てが少なくとも1つの外部ライブラリファイルに保存され、静的に又は動的に、例えばランタイムにおいて、メインプログラムにリンクされ得る。メインプログラムは、サブルーチンのうちの少なくとも1つのへの少なくとも1つの呼び出しを有する。サブルーチンはまた、相互の関数呼び出しを含み得る。
【0095】
コンピュータプログラム製品に関する実施形態は、本明細書に記載の少なくとも1つの方法の各処理ステージに対応するコンピュータ実行可能命令を含む。これらの命令は、サブルーチンに細分され、かつ/又は静的に若しくは動的にリンクされ得る1つ又は複数のファイルに保存され得る。コンピュータプログラム製品に関する他の実施形態は、本明細書に記載の少なくとも1つのシステム及び/又は製品の各手段に対応するコンピュータ実行可能命令を含む。これらの命令は、サブルーチンに細分され、かつ/又は静的に若しくは動的にリンクされ得る1つ又は複数のファイルに保存され得る。
【0096】
コンピュータプログラムのキャリアは、プログラムを運ぶことができる任意のエンティティ又はデバイスであり得る。例えば、キャリアはROM(例えばCD ROM又は半導体ROM)又は磁気記録媒体(例えばハードディスク)等のデータストレージを含み得る。さらに、キャリアは、電気又は光ケーブルを介して、又は無線又は他の手段によって伝達され得る電気又は光信号等の伝送可能キャリアであり得る。プログラムがそのような信号に組み込まれる場合、キャリアは、そのようなケーブル又は他のデバイス若しくは手段によって構成され得る。あるいは、キャリアは、プログラムが埋め込まれた集積回路であってもよく、集積回路は、関連する方法を実行するように、又は関連する方法の実行において使用されるように構成される。
【0097】
開示の実施形態の変形例が、図面、開示、及び添付の特許請求の範囲から当業者によって理解及び実施され得る。特許請求の範囲において、「含む」という用語は他の要素又はステップを排除するものではなく、単数形は複数を除外しない。単一のプロセッサ又は他のユニットが請求項に記載される複数のアイテムの機能を果たし得る。複数の手段が互いに異なる従属請求項に記載されているからといって、これらの手段の組み合わせが好適に使用することができないとは限らない。コンピュータプログラムは、他のハードウェアと共に又は他のハードウェアの一部として供給される光学記憶媒体又はソリッドステート媒体等の適切な媒体上で記憶及び/又は分配されてもよいし、インターネット又は他の有線若しくは無線テレコミュニケーションシステムを介して等の他の形態で分配されてもよい。特許請求の範囲内のいかなる参照符号も、その範囲を限定するものと解釈されるべきではない。