特開 2023-8507 個人情報マスキング方法、及び個人情報マスキング装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023008507

(43)【公開日】2023-01-19

(54)【発明の名称】個人情報マスキング方法、及び個人情報マスキング装置

(51)【国際特許分類】

   H04N 7/18 20060101AFI20230112BHJP

   H04N 23/60 20230101ALI20230112BHJP

   H04N 23/611 20230101ALI20230112BHJP

【ＦＩ】

H04N7/18 K

H04N5/232 290

H04N5/232 190

【審査請求】有

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2021112125

(22)【出願日】2021-07-06

(11)【特許番号】

(45)【特許公報発行日】2022-10-19

(71)【出願人】

【識別番号】505350400

【氏名又は名称】株式会社ビッツ

(74)【代理人】

【識別番号】110003018

【氏名又は名称】弁理士法人プロテクトスタンス

(72)【発明者】

【氏名】大橋 久美生

(72)【発明者】

【氏名】山田 義樹

【テーマコード（参考）】

5C054

5C122

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054EA01

5C054EA05

5C054EA07

5C054FC03

5C054FC07

5C054FC12

5C054FC14

5C054FE12

5C054FE16

5C054FE18

5C054FF03

5C054GB01

5C054GB05

5C054GB15

5C122EA07

5C122FH09

5C122FH14

5C122FH21

5C122HA29

5C122HA46

5C122HB01

5C122HB05

(57)【要約】

【課題】 カラー画像から文字もしくは数字の個人情報を消去する個人情報マスキング方法を提供する。
【解決手段】 個人情報マスキング方法は、カラー画像を取得する工程（Ｓ２１）と、取得したカラー画像を所定サイズの第１カラー画像に変換するサイズ変換工程（Ｓ２２）と、第１カラー画像を二値画像に変換する工程（Ｓ２８）と、二値画像に対して個人情報が存在する可能性がある領域を検出する領域検出工程（Ｓ３０）と、個人情報が存在しそうな領域に対して個人情報の有無を判定する判定工程（Ｓ３３）と、個人情報の周辺画素を第１カラー画像の個人情報に描き入れ個人情報を消去する消去工程（Ｓ３４）と、を備える。
【選択図】 図２

【特許請求の範囲】

【請求項1】

カラー画像を取得する工程と、
取得した前記カラー画像を所定サイズの第１カラー画像に変換するサイズ変換工程と、
前記第１カラー画像を二値画像に変換する工程と、
前記二値画像に対して、個人情報が存在する可能性がある領域を検出する領域検出工程と、
前記個人情報が存在しそうな領域に対して個人情報の有無を判定する判定工程と、
前記判定工程で判定された個人情報と前記第１カラー画像とに基づいて、前記個人情報の周辺画素を前記第１カラー画像の前記個人情報に描き入れ前記個人情報を消去する消去工程と、
前記消去工程後のカラー画像を出力する工程と、
を備える、個人情報マスキング方法。

【請求項2】

前記サイズ変換工程は、取得した前記カラー画像を前記所定サイズの第１グレースケール画像に変換し、
前記領域検出工程は、前記第１グレースケール画像に対して個人情報が存在する可能性のある領域を検出する、
請求項１に記載の個人情報マスキング方法。

【請求項3】

カラー画像を取得する工程と、
取得した前記カラー画像を所定サイズの第１カラー画像及び第１グレースケール画像に変換するサイズ変換工程と、
前記第１グレースケール画像に対して個人情報が存在する可能性のある領域を検出する領域検出工程と、
前記個人情報が存在しそうな領域に対して個人情報の有無を判定する判定工程と、
前記判定工程で判定された個人情報と前記第１カラー画像とに基づいて、前記個人情報の周辺画素を前記第１カラー画像の前記個人情報に描き入れ前記個人情報を消去する消去工程と、
前記消去工程後のカラー画像を出力する工程と、
を備える、個人情報マスキング方法。

【請求項4】

前記第１カラー画像に対して人物の保護領域を検出する工程と、
前記保護領域を検出した場合に前記保護領域を保存する工程と、
前記消去工程後の前記第１カラー画像に、前記保護領域を上書きする上書き工程と、
を備える請求項１から請求項３のいずれか一項に記載の個人情報マスキング方法。

【請求項5】

前記第１カラー画像に対してノイズ除去する工程と、
前記第１カラー画像に対して色空間変換を処理する工程と、
前記ノイズ除去する工程及び色空間変換を処理する工程の後に、前記第１カラー画像を第２グレースケール画像に変換する変換工程と、
を備える請求項１から請求項４のいずれか一項に記載の個人情報マスキング方法。

【請求項6】

前記第２グレースケール画像に対して局所的ヒストグラム平坦化を処理し、第３グレースケール画像に変換する工程、を備え、
前記領域検出工程は、前記前記第２グレースケール画像又は前記第３グレースケール画像に対して個人情報が存在する可能性のある領域を検出する、請求項５に記載の個人情報マスキング方法。

【請求項7】

前記判定工程は、
（ａ） 前記個人情報が存在しそうな領域とかかる領域を所定角度回転させた領域との論理積が第１閾値より大きいかに基づいて、個人情報の有無を判定するフィルター、
（ｂ） 前記個人情報が存在しそうな領域の骨組みとなる細線から前記領域の境界線までの距離の標準偏差が第２閾値より大きいかに基づいて、個人情報の有無を判定するフィルター、
（ｃ） 前記個人情報が存在しそうな領域の面積と前記個人情報が存在しそうな領域を取り囲む面積との面積比が第３閾値より大きいかに基づいて、個人情報の有無を判定するフィルター、
（ｄ） 前記個人情報が存在しそうな領域の縦長さ又は横長さが前記所定サイズに対する第４閾値より大きいかに基づいて、個人情報の有無を判定するフィルター、
（ｅ） 前記個人情報が存在しそうな領域の骨組みとなる細線の面積と前記個人情報が存在しそうな領域の面積との比が第５閾値より大きいかに基づいて、個人情報の有無を判定するフィルター、
の少なくとも１つのフィリター処理を適用する、請求項１から請求項６のいずれか一項に記載の個人情報マスキング方法。

【請求項8】

前記第１カラー画像に対して個人情報を検出する個人情報検出工程を、備える、請求項１から請求項７のいずれか一項に記載の個人情報マスキング方法。

【請求項9】

前記上書き工程後に、エッジ保存フィルターにより仕上げ処理する仕上げ工程、
を備える請求項４に記載の個人情報マスキング方法。

【請求項10】

所定サイズの第１カラー画像を取得する取得部と、
前記第１カラー画像を二値画像に変換する二値変換部と、
前記二値画像に対して、個人情報が存在する可能性がある領域を検出する領域検出工程と、
前記個人情報が存在しそうな領域に対して個人情報の有無を判定する判定部と、
前記判定部で判定された個人情報と前記第１カラー画像とに基づいて、前記個人情報の周辺画素を前記第１カラー画像の前記個人情報に描き入れ前記個人情報を消去する消去部と、
前記消去後のカラー画像を出力する出力部と、
を備える、個人情報マスキング装置。

【請求項11】

前記判定部は、
（ａ） 前記個人情報が存在しそうな領域とかかる領域を所定角度回転させた領域との論理積が第１閾値より大きいかに基づいて、個人情報の有無を判定するフィルター、
（ｂ） 前記個人情報が存在しそうな領域の骨組みとなる細線から前記領域の境界線までの距離の標準偏差が第２閾値より大きいかに基づいて、個人情報の有無を判定するフィルター、
（ｃ） 前記個人情報が存在しそうな領域の面積と前記個人情報が存在しそうな領域を取り囲む面積との面積比が第３閾値より大きいかに基づいて、個人情報の有無を判定するフィルター、
（ｄ） 前記個人情報が存在しそうな領域の縦長さ又は横長さが前記所定サイズに対する第４閾値より大きいかに基づいて、個人情報の有無を判定するフィルター、
（ｅ） 前記個人情報が存在しそうな領域の骨組みとなる細線の面積と前記個人情報が存在しそうな領域の面積との比が第５閾値より大きいかに基づいて、個人情報の有無を判定するフィルター、
の少なくとも１つのフィリターを適用する、請求項９に記載の個人情報マスキング装置。

【請求項12】

前記第１カラー画像に対して人物の保護領域を検出する保護領域検出部をさらに備え、該保護領域検出部は、
ｉ）ディープラーニングを使用した顔領域の検出する機能、
ｉｉ）ディープラーニングを使用した特定物体の検出する機能、
ｉｉｉ）前記第１カラー画像にある皮膚の色による皮膚領域の検出する機能、
ｉｖ）前記第１カラー画像に保護すべき保護枠を設定させて、その保護枠内の領域を検出する機能、
の少なくとも１つの機能を適用する、請求項１０又は請求項１１に記載の個人情報マスキング装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像に写し込まれた個人を特定する個人情報の箇所にマスキングを付す個人情報マスキング方法、及び個人情報マスキング装置に係る。

【背景技術】

【0002】

近年、ユーザが、企業もしくは学校等での活動報告をクラウド上のＳＮＳ（ソーシャルネットワークサービス）に報告したり、人物を含む風景をＳＮＳに投稿したりすることが多い。その活動報告や投稿には、テキストデータの文章だけでなく、静止画もしくは動画の画像情報もＳＮＳにアップロードされることも多い。

【0003】

しかしながら、その画像（静止画・動画）の中に、個人情報（名前、住所、生年月日、性別、自動車登録番号等の文字及び数字からなる情報、以下、本明細書では文字及び数字からなる情報を個人情報という。）が写し込まれることも多い。このような個人情報は、個人のプライバシーを侵害する恐れがあり、また犯罪に利用されてしまう問題を生じている。

【0004】

このような問題を生じないようにするために、特許文献１には、ディスプレイに画像が表示された後、個人情報の保護の観点から画像に共有したくない個人情報が存在するか否かをユーザの判定結果を受け付け、その判定結果に基づいて、個人情報を認知できないように、画像の一部領域をマスキングするように構成する技術思想が開示されている。また文字もしくは数字からなる個人情報を画像から検出する手法は、特許文献２に開示されるように、パターンマッチング技術を用いたＯＣＲ（Optical Character Recognition）が使用されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０２０－１５６０３３号公報

【特許文献2】特開２０１５－０２８７３５号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、特許文献１の個人情報等が存在するか否かをユーザの判断に委ねられており、個人情報等が多く含まれる場合には、ユーザに著しい負担が生じる。またユーザが精査しないと気が付かない個人情報等もある可能性があり、気が付かない場合には個人情報等についてはマスキングされず、個人情報等が保護されないという問題点があった。また、特許文献２に記載されているＯＣＲでは解像度、縦横の配列、手書き文字、くずし文字などは文字もしくは数字を認識することが困難であり、特に画像背景に含まれている小さな文字もしくは数字は、ほとんど認識できなかった。

【0007】

また欧州では、個人情報やプライバシーの保護に関して、ＧＤＰＲ（General Data Protection Regulation）が施行され、欧州以外でも個人情報のさらなる保護規制が進められているため、個人情報を保護する要望が高くなっている。

【0008】

本発明は、上記の問題点を踏まえ、カラー画像から文字もしくは数字と思われる個人情報を消去するとともに、個人情報を消去してもカラー画像として違和感がない画像を出力する個人情報マスキング装置及び方法を提供する。

【課題を解決するための手段】

【0009】

本実施形態に係る個人情報マスキング方法は、カラー画像を取得する工程と、取得したカラー画像を所定サイズの第１カラー画像に変換するサイズ変換工程と、第１カラー画像を二値画像に変換する工程とを備える。さらにマスキング方法は、二値画像に対して個人情報が存在する可能性がある領域を検出する領域検出工程と、個人情報が存在しそうな領域に対して個人情報の有無を判定する判定工程と、判定工程で判定された個人情報と第１カラー画像とに基づいて、個人情報の周辺画素を第１カラー画像の個人情報に描き入れ個人情報を消去する消去工程と、消去工程後のカラー画像を出力する工程と、を備える。
このサイズ変換工程は、取得したカラー画像を所定サイズの第１グレースケール画像に変換し、領域検出工程は、第１グレースケール画像に対して個人情報が存在する可能性のある領域を検出してもよい。

【0010】

別の実施形態に係る個人情報マスキング方法は、カラー画像を取得する工程と、取得したカラー画像を所定サイズの第１カラー画像及び第１グレースケール画像に変換するサイズ変換工程と、第１グレースケール画像に対して個人情報が存在する可能性のある領域を検出する領域検出工程と、を備える。さらにマスキング方法は、個人情報が存在しそうな領域に対して個人情報の有無を判定する判定工程と、判定工程で判定された個人情報と第１カラー画像とに基づいて個人情報の周辺画素を第１カラー画像の個人情報に描き入れ個人情報を消去する消去工程と、消去工程後のカラー画像を出力する工程と、を備える。

【0011】

さらにマスキング方法は、第１カラー画像に対して人物の保護領域を検出する工程と、保護領域を検出した場合に保護領域を保存する工程と、消去工程後の第１カラー画像に、保護領域を上書きする上書き工程と、を備えてもよい。
さらにマスキング方法は、第１カラー画像に対してノイズ除去する工程と、第１カラー画像に対して色空間変換を処理する工程と、ノイズ除去する工程及び色空間変換を処理する工程の後に第１カラー画像を第２グレースケール画像に変換する変換工程と、を備えても良い。
さらにマスキング方法は、第２グレースケール画像に対して局所的ヒストグラム平坦化を処理し、第３グレースケール画像に変換する工程、を備え、領域検出工程は、第２グレースケール画像又は第３グレースケール画像に対して個人情報が存在する可能性のある領域を検出しても良い。

【0012】

判定工程は、
（ａ） 個人情報が存在しそうな領域とかかる領域を所定角度回転させた領域との論理積が第１閾値より大きいかに基づいて、個人情報の有無を判定するフィルター、
（ｂ） 個人情報が存在しそうな領域の骨組みとなる細線から領域の境界線までの距離の標準偏差が第２閾値より大きいかに基づいて、個人情報の有無を判定するフィルター、
（ｃ） 個人情報が存在しそうな領域の縦長さ又は横長さが所定サイズに対する第３閾値より大きいかに基づいて、個人情報の有無を判定するフィルター、
（ｄ） 個人情報が存在しそうな領域の骨組みとなる細線の面積と個人情報が存在しそうな領域の面積との比が第４閾値より大きいかに基づいて、個人情報の有無を判定するフィルター、
の少なくとも１つのフィリター処理を適用することが好ましい。

【0013】

第１カラー画像に対して個人情報を検出する個人情報検出工程を、備えても良い。
上書き工程後に、エッジ保存フィルターにより仕上げ処理する仕上げ工程、を備えても良い。

【0014】

本実施形態に係る個人情報マスキング装置は、所定サイズの第１カラー画像を取得する取得部と、第１カラー画像を二値画像に変換する二値変換部と、二値画像に対して、個人情報が存在する可能性がある領域を検出する領域検出工程と、個人情報が存在しそうな領域に対して個人情報の有無を判定する判定部と、判定部で判定された個人情報と第１カラー画像とに基づいて、個人情報の周辺画素を第１カラー画像の個人情報に描き入れ個人情報を消去する消去部と、消去後のカラー画像を出力する出力部と、を備える。

【0015】

また個人情報マスキング装置は、第１カラー画像に対して人物の保護領域を検出する保護領域検出部をさらに備え、該保護領域検出部は、
ｉ）ディープラーニングを使用した顔領域の検出する機能、
ｉｉ）ディープラーニングを使用した特定物体の検出する機能、
ｉｉｉ）第１カラー画像にある皮膚の色による皮膚領域の検出する機能、
ｉｖ）第１カラー画像に保護すべき保護枠を設定させて、その保護枠内の領域を検出する機能、
の少なくとも１つを有していることが好ましい。

【0016】

本明細書において、個人情報とは、画像（静止画・動画）に撮影された文字（多言語の文字及び数字を含め、以下、“文字”という。）を意味する。

【発明の効果】

【0017】

本発明の個人情報マスキング装置及び個人情報マスキング方法によれば、個人情報の周辺画素をカラー画像の個人情報に描き入れて個人情報を消去するので、個人情報が保護される。

【図面の簡単な説明】

【0018】

【図1】個人情報マスキング装置の一実施形態のブロック図である。

【図2】個人情報マスキング装置を使ったフローチャートである。

【図3】（Ａ）は色空間変換部による色空間変換について説明した図である。（Ｂ）は領域検出部による輪郭の検出、外枠の検出のイメージ図である。（Ｃ）は個人情報を消去する仕組みを説明した図である。

【図4】保護領域の検出の機能を示したフローチャートである。

【図5】パーソナルコンピュータ２３又は携帯情報端末２５で保護領域をユーザが設定する際の概念図である。

【図6】個人情報（文字であるか否か）の判定の手法を示したフローチャートである。

【図7】（Ａ）は文字又は図形を回転させて、元の文字又は図形に重ね合わせた状態を示した図である。（Ｂ）は文字又は図形を一定の距離をシフトさせて且つ回転させて、元の文字又は図形に重ね合わせた状態を示した図である。

【図8】（Ａ）は文字又は図形の中心線から境界線までの距離について説明した図である。（Ｂ）は文字又は図形の中心線と中心線領域検出部による輪郭の検出、外枠の検出のイメージ図である。

【図9】個人情報マスキング装置１００に取得されるカラー画像の一例である。

【図10】出力したカラー画像の一例（実施例１）である。

【図11】出力したカラー画像の一例（実施例２）である。

【図12】出力したカラー画像の一例（実施例３）である。

【図13】出力したカラー画像の一例（実施例４）である。

【発明を実施するための形態】

【0019】

以下、実施形態の個人情報マスキング装置について図を参照しながら詳しく説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

【0020】

＜＜個人情報マスキング装置の概要＞＞
本実施形態に係る個人情報マスキング装置は、カメラ・ビデオカメラで撮影された日常風景などのカラー画像から、個人情報である文字を検出する。画像から文字を認識する方法としてＯＣＲ（Optical Character Recognition）が広く使用されている。しかし本実施形態に係る個人情報マスキング装置は、ＯＣＲを使用しないため、予め認識したい文字をすべて登録しておく必要がなく、多言語の個人情報を削除することができる。また、個人情報マスキング装置は、ＯＣＲ（光学式文字読み取り装置）では検出できない微細な文字もしくは崩れた文字、例えば背景に含まれる微細な個人情報を削除することができる。

【0021】

図１は、ユーザＨが例えば学校で撮影した画像（静止画、動画）を個人情報マスキング装置１００にアップロードし、個人情報マスキング装置１００から個人情報が消去された画像をダウンロードもしくは受信するシステム概要を示した図である。ユーザＨは、この個人状況が消去された画像をＳＮＳ等にアップロードしても、その画像に含まれる学校内の個人情報が消去されているため、個人情報の漏洩にならない。

【0022】

ユーザＨは例えばデジタルカメラ２１で学校の所定の場所の静止画を撮像する。そしてカメラ２１で撮影された静止画は、パーソナルコンピュータ２３に記録される。ユーザＨはそのパーソナルコンピュータ２３を使って、インターネット等の通信ネットワークＮＥＴを介して、個人情報マスキング装置１００に静止画をアップロードすることができる。またユーザＨは、タブレット型ＰＣ又はスマートフォン等のカメラ機能付き携帯情報端末２５を使って動画を撮影し、通信ネットワークＮＥＴを介して、個人情報マスキング装置１００に動画をアップロードすることができる。特に説明しないが、個人情報マスキング装置１００にアクセスするためには、ユーザＨはユーザ名、パスワード、クレジットカード番号等を事前に登録するようにしてもよい。

【0023】

＜＜個人情報マスキング装置１００の構成の概要＞＞
図１に描かれた個人情報マスキング装置１００は、一実施形態のブロック構成が示されている。個人情報マスキング装置１００は、ハードウェア構成としては、クラウドサーバー等が適しており、具体的には１以上のプロセッサ、１以上のメモリー及び通信インターフェースなどを有している。以下に説明するカラー画像取得部、画像サイズ変換部等はプロセッサ、メモリー及び通信インターフェース並びにプロセッサで実行されるプログラム等で構成される。

【0024】

個人情報マスキング装置１００は、パーソナルコンピュータ２３又は携帯情報端末２５などの外部からカラー画像（静止画もしくは動画）を取得するカラー画像取得部１０１と、取得した画像のサイズを所定サイズに変換する画像サイズ変換部１０２と、所定サイズに変換されたカラー画像中に人物の顔や時計等（保護領域）があるか検出する保護領域検出部１０３と、カラー画像に含まれるノイズを除去するノイズ除去部（カラー）１０４と、背景色に埋もれて見え難くなった個人情報を見やすくする色空間変換部１０５とを有している。なお画像サイズ変換部１０２は、カラーノイズを除去する前のカラー画像をグレースケールに変換する機能も有している。

【0025】

さらに個人情報マスキング装置１００は、ノイズ除去されたカラー画像をグレースケール画像に変換するグレースケール変換部１０６と、グレースケール画像の明度を平坦化する局所的ヒストグラム平坦化部１０７と、明度が平坦化されたグレースケール画像を二値画像に変換する二値変換部１０８と、二値画像に含まれる白黒ノイズを除去するノイズ除去部（二値）１０９と、二値画像もしくはグレースケール画像から個人情報が存在しそうな領域を検出する領域検出部１１０とを備える。領域検出部１１０は、二値画像もしくはグレースケール画像に存在する線画、物の影もしくはノイズなどによる境界や外郭を個人情報が存在しそうな領域として検出する。このため、領域検出部１１０は、人間の目では気づきにくい微細な文字も検出することができ、また、特定の言語に限らず、あらゆる言語の文字に適用できるようになっている。その一方で、領域検出部１１０は、文字ではない物の影もしくはノイズなども個人情報が存在しそうな領域として検出する。

【0026】

さらに個人情報マスキング装置１００は、個人情報が存在しそうな領域に個人情報が存在するかを判定する個人情報判定部１１１と，所定サイズに変換されたカラー画像から判定された個人情報を消去する個人情報消去部１１２と、保護領域検出部１０３で人物の顔、皮膚又は時計などを検出した場合に保存しておいた保護領域を、個人情報が消去されたカラー画像に中に上書きする保護領域上書き部１１３と、カラー画像を仕上げする仕上げ部１１４と、カラー画像をパーソナルコンピュータ２３又は携帯情報端末２５などの外部に出力するカラー画像出力部１１５とを備える。また、個人情報マスキング装置１００は、ニューラルネットワークを利用した情景内文字検出プログラム（ＥＡＳＴ：An Efficient and Accurate Scene Text Detector）等の個人情報の検出部１１６を有しても良い。

【0027】

個人情報マスキング装置１００は、上記複数の構成要素を物理的に同一の場所に有するだけでなく、複数のサーバの集合体であってもよい。また上記複数の構成の一部を、アプリケーションソフトをダウンロードしたパーソナルコンピュータ２３もしくは携帯情報端末２５に担わせても良い。

【0028】

＜＜個人情報マスキング方法のフローチャート＞＞
次に、本実施形態の個人情報マスキング方法の動作を説明する。図２は個人情報マスキング方法のカラー画像の取得から、個人情報を消去したカラー画像を出力するまでのフローチャートである。

【0029】

まず、カラー画像取得部１０１が、パーソナルコンピュータ２３もしくは携帯情報端末２５からカラー画像を取得する（ステップＳ２１）。このカラー画像には、例えば、静止画であればＨＤ（１２８０＊７２０）、ＦＨＤ（１９２０＊１０８８）、６Ｍワイド（３２６４＊１８３６）等、動画であればＨＤ（１２８０＊７２０）、ＦＨＤ（１９２０＊１０８８）、４Ｋ（３８４０＊２１６０）等の画像を取得する。

【0030】

次に、画像サイズ変換部１０２が種々のサイズのカラー画像を所定のサイズの画像に変換する（Ｓ２２）。例えば、本実施形態では画像サイズ変換部１０２はＦＨＤサイズのカラー画像に変換する。この所定サイズに変換されたカラー画像は、不図示のメモリー等に保存される。画像サイズ変換部１０２は、カラー画像をグレースケールに変換する機能も有している。

【0031】

次に、保護領域検出部１０３が所定サイズのカラー画像に含まれる保護領域を検出する（Ｓ２３）。また保護領域が検出されなかった場合にはそのカラー画像には保護領域が無いことを示すフラグが追加されることが好ましい。保護領域の検出の機能については、後述する。

【0032】

次に、色彩に埋もれてしまっている個人情報を見やすくするように、色空間変換部１０５が色空間変換する（Ｓ２４）。カラー画像の表現方式には、光の三原色でカラー画像を表すＲＧＢ方式、色相（hue）、彩度（Saturation）及び明度（Value）でカラー画像を表すＨＳＶ方式がある。色空間変換部１０５は、所定サイズのカラー画像（ＲＧＢ）をカラー画像（ＨＳＶ）に変換するとともに、濃い背景色を消去することで個人情報を浮き立たせる。図３（Ａ）は、赤色の帽子に黒字で名前が書いてあるカラー写真（Ａ－１）と、そのカラー写真のグレースケール画像（Ａ－２）と、彩度（Ｓ）をゼロにした画像（Ａ－３）とを示した図である。濃い背景色（特に赤色、青色、灰色等）に黒色で個人情報が描かれているカラー写真（Ａ－１）が、グレースケールもしくは二値に変換されると、黒色の個人情報は濃い背景色に埋もれて逆に検出しにくくなる（Ａ－２を参照）。一方、彩度（Ｓ）をゼロにした画像（Ａ－３）では、個人情報が浮き出て目立っている。

【0033】

次に、カラー画像に対して、ノイズ除去部（カラー）１０４によりノイズを除去する（Ｓ２５）。領域検出部１１０が、線画、物の影もしくはノイズなどを個人情報が存在しそうな領域として検出し計算量が増えるため、カラー画像に含まれるノイズをできるだけ除去することが好ましい。ここで、カラー画像に含まれるノイズとは、たとえば被写体が革表面等であると、領域検出部１１０が革表面等の質感（テクスチャー）も物の影等として検出するため、カラー画像に写った物体表面のざらつきもカラー画像に含まれるノイズとして処理される。

【0034】

カラー画像に含まれるノイズを除去する方法としてガウシアンぼかし (Gaussian Blur）処理と呼ばれるガウス関数を用いてカラー画像全体をぼかす処理がある。しかし、ガウシアンぼかし処理は、カラー画像内に含まれる個人情報のエッジ部分まで平滑化されるため、個人情報を検出できなくなる可能性もある。このため本実施形態のノイズ除去部（カラー）１０４は、エッジ保持平滑化フィルター処理（バイラテラルフィルター、ミーンシフトフィルター、アダプティブバイラテラルフィルター）を適用することが好ましい。

【0035】

次にグレースケール変換部１０６が、色空間変換された画像をグレースケール画像に変換する（Ｓ２６）。
引き続き、グレースケール画像の暗部・明部に埋もれた個人情報を検出しやすいように、局所的ヒストグラム平坦化部１０７がグレースケール画像を平坦化する（Ｓ２７）。例えば、全体的に暗い背景に明るい対象物がグレースケール画像に存在する場合に、全体的にコントラストを平坦化すると、明るい対象物が真っ白になってしまい、明るい対象物に存在する個人情報が消えてしまうことがある。このため、局所的ヒストグラム平坦化の処理をグレースケール画像に適用することにより、暗部・明部に埋もれた個人情報を検出しやすいようにする。局所的ヒストグラム平坦化は、具体的には、適応ヒストグラム平坦化（adaptive histogram equalization）、コントラスト制限適応ヒストグラム平坦化（ＣＬＡＨＥ）、マルチピークヒストグラム平坦化（ＭＰＨＥ）、および多目的ベータ最適化バイヒストグラム平坦化（ＭＢＯＢＨＥ）処理等がある。

【0036】

次に二値変換部１０８が、明度が平坦化されたグレースケール画像を二値画像に変換する（Ｓ２８）。二値画像の背景が暗い場合に個人情報が黒色で描かれていると、特定の閾値で二値変換してしまうと背景と個人情報とが同値になってしまい、領域検出部１１０が個人情報の領域を検出できなくなる。そこで、二値化変換部１０８は、グレースケール画像の全体の平均値を利用して２値化する（大津の二値化処理（Discriminant Analysis method））、もしくはグレースケール画像の一部毎（比較的狭い領域内）の平均値を利用して２値化する（Adaptive Gaussian ThresholdingまたはAdaptive Mean Thresholding）適応的閾値処理で、暗部の黒文字を浮き立たせることが好ましい。

【0037】

次にノイズ除去部(二値)１０９が、二値画像に残っているノイズを除去する。具体的には、ノイズ除去部(二値)１０９は、二値画像内の対象物の境界のピクセルを除去する収縮(Erosion)とその境界にピクセルを加える膨張(Dilation)とを繰り返すモルフォロジー変換して、二値ノイズを除去する。

【0038】

次に、領域検出部１１０は二値画像から個人情報が存在しそうな輪郭を検出する（Ｓ３０）。個人情報が存在しそうな輪郭は、二値画像に線などがある輪郭を検出することである。概略的には、領域検出部１１０は、二値画像をスキャンして対象物のピクセルを見つけ、それが外側の境界か孔の境界かを決定していく。その決定をスキャンして繰り返していくことで最も外側の境界すなわち輪郭を検出していく。例えば。図３（Ｂ－１）は、二値画像中に含まれる線画に一点鎖線の輪郭５０が検出されたイメージ図である。より詳細は、論文Topological structural analysis of digitized binary images by border following；Satoshi Suzuki著（Computer Vision, Graphics, and Image Processing Volume 30, Issue 1, April 1985, Pages 32-46）に開示されている。

【0039】

また、ステップＳ３０と同時に、領域検出部１１０はグレースケール画像から個人情報が存在しそうな外枠を検出する（Ｓ３１）。グレースケール画像は、ステップＳ２２、Ｓ２６もしくはＳ２７で生成されたグレースケール画像のいずれを使用してもよい。概略的には、領域検出部１１０は、グレースケール画像中の輝度値が近い所を１つの領域にまとめていく，グレースケール画像の領域分割に使用する。輝度値が近い所をまとめていくという発想から，安定した分布のある外枠として解釈して、その代表点を特徴量として導出している。例えば。図３（Ｂ－２）は、グレースケール画像中に含まれる線画に二点鎖線の外枠５１が検出されたイメージ図である。図３（Ｂ－２）が図３（Ｂ－１）と特に違う点は、“０”の内側も外枠として検出する点である。より詳細は、論文Efficient Maximally Stable Extremal Region (MSER) Tracking；M. Donoser et al著（2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'06)）に開示されている。

【0040】

個人情報の検出部１１６でカラー画像から個人情報を検出する（Ｓ３２）。個人情報の検出部１１６は、ステップＳ２２で生成された所定サイズのカラー画像に情景内文字検出プログラム（ＥＡＳＴ：An Efficient and Accurate Scene Text Detector）等を適用して個人情報（文字）を検出する。個人情報の検出部１１６は、カラー画面に含まれる比較的大きな文字等を検出することができるが、背景などに含まれる小さな文字等は検出しにくい。

【0041】

次に、ステップＳ３０、Ｓ３１で検出された個人情報が存在しそうな輪郭又は外枠領域に対して、個人情報判定部１１１で個人情報、つまり文字・数字があるか否かを判定する（Ｓ３３）。また個人情報の検出部１１６で検出された文字に対しても。同様に個人情報判定部１１１で個人情報、つまり文字があるか否かを判定してもよい（Ｓ３３）。個人情報の判定の手法に関しては、図６で後述する。

【0042】

なお、本実施形態では、二値画像から個人情報が存在するかを判定するルート（Ｓ２９、Ｓ３０、Ｓ３３）、グレースケール画像から個人情報が存在するか判定するルート（Ｓ２２（又はＳ２６、Ｓ２７），Ｓ３１、Ｓ３３）、カラー画像から個人情報が存在するかを判定するルート（Ｓ２２，Ｓ３２，Ｓ３３）があり、それぞれのルートで個人情報（文字）を不図示のメモリーに記憶している。そしてそれぞれのル－トで記憶された個人情報（文字）を統合して、カラー画像に含まれている個人情報としている。しかし、これに限らず、これら３ルートの少なくとも１ルートだけを適用してもよく、３ルート中の２ルートを選択して統合してもよい。

【0043】

ステップＳ３３で個人情報が特定されると、個人情報消去部１１２は所定サイズのカラー画像から判定された個人情報を、その周辺画像で違和感なく消去する（Ｓ３４）。図３（Ｃ）は、所定サイズのカラー画像に個人情報（図３（Ｃ）では線状のキズ）が描かれているカラー写真（Ｃ－１）と。黒色背景にステップＳ３３で判定された個人情報を白抜きしたデータ（Ｃ－２）と、個人情報にその周囲の画素で描き入れていて（inpainting）したカラー画像（Ｃ－３）とを示した図である。別の言い方をすると、個人情報消去部１１２は、所定サイズのカラー画像（Ｃ－１）と同じサイズの黒色背景に個人情報を白抜きした画像（Ｃ－２）とを用意し、個人情報の境界から内側に向かって徐々に個人情報に周囲の画素で描き入れていていくことで（Inpainting）、個人情報が消去される（Ｃ－３）。

【0044】

個人情報にその周囲の画素で描き入れていていく（inpainting）処理は、計算量が多く、プロセッサに負担がかかる又は時間がかかるため。ステップＳ３４では、計算量を削減する工夫をすることが好ましい。具体的には、個人情報消去部１１２は所定サイズ（例えばＦＨＤ）から縮小サイズ画像（例えばＨＤ）に変換する。この縮小サイズでカラー写真（Ｃ－１）と白抜きデータと（Ｃ－２）とに基づいて、個人情報の周囲の画素で描き入れる（inpainting）。そして個人情報消去部１１２は、縮小サイズの個人情報が消去された画像（Ｃ－３）を作成する。そして縮小サイズの個人情報が消去された画像（Ｃ－３）を所定サイズに戻し、所定サイズのカラー画像（Ｃ－１）に、所定サイズに戻された画像（Ｃ－３）で白抜きした位置（Ｃ－２）の画像を上書きすればよい。このような処理により計算量を格段に減らすことができる。

【0045】

より詳しく説明すると、個人情報の境界から内側に向かって徐々に個人情報に周囲の画素で描き入れていく（Inpainting）手法には２つある。１つは、消去する近傍領域上のある一画素の値を、その周囲の画素の中で画素値が既に分かっている画素の画素値の重み付き和で置換し、ある画素を描き入れたら、ＦＭＭ（Fast Marching Method)を使って次の最近傍点に移動し、個人情報がないもしくは消去済みの画素に近い画素から順番に描き入れていく。より詳細は、論文An image inpainting technique based on the fast marching method； Alexandru Telea著（January 2004 Journal of Graphics Tools）に開示されている。もう一つは、個人情報の周囲の既知の領域の画素値から個人情報の領域へエッジに沿って探索し画素を描き入れていく手法もある。より詳細は、論文Navier-stokes, fluid dynamics, and image and video inpainting；Marcelo Bertalmio et al著（Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.）に開示されている。

【0046】

次に、保護領域検出部１０３で保護領域を検出した場合、保護領域上書き部１１３は、保存しておいた保護領域を、個人情報が消去されたカラー画像中に上書きする（Ｓ３５）。領域検出部１１０は個人情報が存在しそうな領域には、例えば眼鏡のテンプルや鼻の影等が含まれることがあり、個人情報消去部１１２でテンプルや鼻の影を消去してしまうと保護領域が乱れてしまう。このため、保存しておいた保護領域を個人情報が消去されたカラー画像に上書きすることで保護領域を保護する。ステップＳ２３で保護領域が検出されなかった場合には、フラグに基づいてステップＳ３５をスキップしても良い。

【0047】

そして、保護領域を上書きしたカラー写真に対して、仕上げ部１１４が仕上げ処理することが好ましい（Ｓ３６）。具体的には、境界をまたいでの輝度値の平滑を抑制するパターン保存フィルター（ノンローカルミーンフィルター）又はガウシアンぼかし処理をカラー画像に対して使用する。上書きした保護領域との境界を目立たなくするとともに、消去できなかった微小な個人情報（文字）を判読不可能にすることができる。仕上げ処理がなくても問題はない。

【0048】

最後に、カラー画像出力部１１５が、仕上げ処理されたカラー画像を、パーソナルコンピュータ２３もしくは携帯情報端末２５に出力する（Ｓ３７）。

【0049】

＜保護領域の検出＞
ここで、保護領域検出部１０３が保護領域を検出する機能（Ｓ２３）について、図３及び図４を使って説明する。

【0050】

まず、ステップＳ２３１では、保護領域検出部１０３は、ディープラーニングを行えるＡＩ等を使用し、所定サイズに変更されたカラー画像に基づいて、目や鼻、口の位置といった人間の顔が持つ特徴から、顔領域を検出したりする。顔領域は、個人情報（文字）を含まない保護領域であり、ステップＳ２３５で顔領域が保存され、Ｓ３５で説明したように、個人情報が消去されたカラー画像中に上書きされる。

【0051】

次に、ステップＳ２３２において、保護領域検出部１０３は、ＡＩ等を使用し、カラー画像に含まれる物体をラベル化する。このため、カラー画像に時計があったり、カレンダーがあったり、又はテーブルがあったりすると、保護領域検出部１０３は、“clock”、“wall calendar”又は“table”等のラベルを出力する。例えば、時計やカレンダーには、時計やカレンダーに時間や日付の数字（文字）が描かれているが、文字が含む物体であるが個人情報を含むものではない物体、時計等を予め登録しておく。時計等は保護領域として検出され、ステップＳ２３５で時計等の保護領域が保存される。

【0052】

次に、ステップＳ２３３において、保護領域検出部１０３は、所定サイズに変更されたカラー画像に皮膚の色があるかを検出する。例えば指と指との間の空間（影）が一本の線の文字（例えばアルファベットの“Ｉ”）と認識されることを防ぐ。皮膚領域は、個人情報を含まない保護領域であり、ステップＳ２３５で皮膚領域が保存される。

【0053】

保護領域検出部１０３は、所定サイズのカラー画像（ＲＧＢ）に例えば、カラー画像の表示方式ＲＧＢ、ＨＳＶ及びＹＣｂＣｒを使って皮膚の色を検出しても良い。より詳細は、論文Human Skin Detection Using RGB, HSV and YCbCr Color Models；S. Kolkur et al著（ICCASP/ICMMD-2016. Published by Atlantic Press）に開示されている。本実施形態では、カラー画像（ＲＧＢ）をカラー画像（ＨＳＶ）に変換するとともに、色相（hue）、彩度（Saturation）及び明度（Value）を調整して皮膚の色の領域を検出する。例えば８ビット（０－２５５）で調整するならば、Ｈ＝１６～４０（赤っぽい～黄色っぽい）Ｓ＝２０～２００、Ｖ＝１２８～２５５を範囲としておけば、カラー画像中の皮膚の色が存在する領域を検出できる。

【0054】

次に、ステップＳ２３４において、保護領域検出部１０３は、ユーザＨにパーソナルコンピュータ２３又は携帯情報端末２５の画面上で保護領域を設定できるように、保護枠を表示させる。図５は、アップロードされたカラー画像５１が携帯情報端末２５の画面に表示された一例であり、カラー画像５１は学校の教室の一部である。教室内には、２つの机と、１つの棚があり、机には文字情報が映った状態のパーソナルコンピュータがあり、棚には複数の本やファイルがある。教室の壁には、時計とプラカードと窓とがある。時計には文字盤があり、プラカードには「優勝おめでとう」の文字がある。

【0055】

保護領域検出部１０３は、図５の携帯情報端末２５に「画像中で残したい文字を枠で囲ってください。」の表示５３をさせる。ユーザＨが枠５７をクリックすると、枠５７が画面上に表示される。ユーザＨは、その枠５７の大きさと位置を変えて、例えばプラカードの周囲に枠５７ａを設定し、棚の一番下段に枠５７ｂを設定する。ユーザＨは枠５７の設定が終了すると完了ボタン５４をクリックする。このように枠５７ａ又は５７ｂで設定された領域が保護領域として検出され、ステップＳ２３５で保護領域が保存される。Ｓ３５で説明したように、個人情報が消去されたカラー画像中に保護領域が上書きされる。なお、図５の教室の壁の時計は、ステップＳ２３４で保護領域として囲われなくても、ステップ２３２が実行されれば時計は保護領域とされる。図５では静止画を前提に説明したが動画でも保護領域の設定は可能である。例えば、ユーザＨが指定した枠領域をテンプレート画像として保持し、テンプレートマッチング処理により、動画内にテンプレート画像とマッチする領域をチェックすることで対応できる。

【0056】

すべての保護領域をステップＳ２３１からステップＳ２３４の順番が入れ替わっても良く、また例えば顔領域のみを検出する等、いずれか一つのステップのみを実行してもよい。また、ステップＳ３２等において、個人情報の領域検出部１１０で個人情報の領域を検出するとともに、その個人情報検出部１１１で検出された検出領域に対して、顔領域もしくは皮膚領域等の保護領域が存在するかを検出しても良い。

【0057】

＜個人情報（文字・数字）の判定＞
ここで、個人情報が存在しそうな領域に対して、個人情報判定部１１１が個人情報であるか否かを判定する手法（Ｓ３３）について、図６から図８を使って説明する。なお、個人情報の判定手法では、個人情報が文字（数字）である場合について説明する。そのため、個人情報が存在しそうな領域にある個人情報を推定文字（Estimated letter）と呼ぶ。

【0058】

まず、個人情報判定部１１１は、推定文字を回転させて元の推定文字に重ね合わせた面積と元の推定文字の面積との面積比が、ある閾値ｋ１よりも大きいか否かを判定する（Ｓ３３１）。閾値ｋ１より面積比が大きい場合には図形等（文字以外）であると判定してステップＳ３３６に進み、閾値ｋ１より面積比が小さい場合には文字であると判定してステップＳ３３２に進む。

【0059】

図７（Ａ）に、推定文字を回転させた例を示す。図７（Ａ）では、アルファベットの“Ｃ”、“Ｏ”及び“Ｚ”並びに真円、正方形及び正三角形の図形を推定文字の例とする。また図７（Ａ）に示した表では、左から０°（回転せず）、９０°回転、０°の推定文字と９０°回転した推定文字との重ね合わせ、１８０°回転、０°の推定文字と１８０°回転した推定文字との重ね合わせ、２７０°回転、０°の推定文字と２７０°回転した推定文字との重ね合わせが示されている。なお回転は、文字領域または図形領域の重心位置を中心に回転させている。

【0060】

まず、０°と９０°との重ね合わせでは、“Ｃ”、“Ｏ”及び“Ｚ”は、重なり領域が５０％以下である。一方、真円、正方形及び正三角形は、重なり領域が５０％以上である。これらの文字及び図形は、０°と２７０°との重ね合わせにおいても同様である。

【0061】

次に０°と１８０°との重ね合わせでは、“Ｏ”及び“Ｚ”は、それらの重なり領域が１００％であり、“Ｃ”の重なり領域は約８０％である。真円及び正方形は、重なり領域が１００％であり、正三角形の重なり領域は約５０％である。

【0062】

本実施形態では、個人情報判定部１１１は、アルファベットだけでなく多言語に対応するため、０°と９０°との重ね合わせの閾値ｋ１１、０°と１８０°との重ね合わせの閾値ｋ１２、０°と２７０°との重ね合わせの閾値ｋ１３をそれぞれ有しており、その３つ回転角度の重ね合わせを組み合わせて、推定文字が文字であるかを判定する。個人情報判定部１１１が、ある特定言語の推定文字を文字判定するのであれば、例えば０°と９０°との重ね合わせの閾値ｋ１１だけを使用してもよい。また、閾値ｋ１は可変できるようにすることが好ましく、言語ごとに閾値ｋ１値を可変できるようにすることが好ましい。

【0063】

上述したように、０°と１８０°との重ね合わせでは、“Ｃ”の重なり領域は約８０％であり、正三角形の重なり領域は約５０％であり、文字より図形の方が重なり領域が小さくなっている。これでは推定文字が文字であるかを判定し難いため、図７（Ｂ）に示すように、推定文字を回転させてもよい。図７（Ｂ）では、アルファベットの“Ｃ”、真円及び正三角形の図形を推定文字の例とする。また図７（Ｂ）に示した表では、左から０°（回転せず）、距離Ｓだけシフト、シフトした状態で１８０°回転、０°の推定文字とシフトして１８０°回転した推定文字との重ね合わせが示されている。なお回転は、文字領域または図形領域の重心位置を中心に回転させている。“Ｃ”の重なり領域は約１０％であり、新円の重なり領域は約７０％であり、正三角形の重なり領域は約５０％である。０度の推定文字と距離Ｓのシフト且つ１８０°回転した推定文字との重なり領域で、閾値ｋ１２より大きいか否かで推定文字が文字であるかを判定できる。シフトして１８０°回転させる手法と、９０°回転と、２７０°回転とを組み合わせてもよい。なお、図７ではアルファベットについて説明したが、算用数字や漢字でも同様である。

【0064】

ステップＳ３３２では、個人情報判定部１１１は、推定文字の中心線から推定文字の境界線までの距離の標準偏差を算出し、標準偏差と閾値ｋ２とを比較して文字と判定する。閾値ｋ２より標準偏差が大きい場合には図形などであると判定してステップＳ３３６に進み、閾値ｋ２より標準偏差が小さい場合には文字であると判定してステップＳ３３３に進む。既にステップＳ３３１で文字であると判定しているが、ステップＳ３３２では別の手法により推定文字が文字であるかを判定してもよい。

【0065】

文字は、文字の中心線（骨組み）から文字の境界線までの距離（複数個所）に大きな変化が少ないという特性を有している。このため、推定文字の中心線から推定文字の境界線までの距離の標準偏差を算出する。ただし、文字の大きさに比例して標準偏差も大きくなるため、中心線から境界線までの平均距離で割る、つまり閾値ｋ２＝距離の標準偏差／平均距離を計算することが好ましい。平均距離で割ることで閾値ｋ２は、文字の大きさに影響を受けにくくなる。また中心線から境界線までの平均距離で割る代わりに、（距離／平均距離）の標準偏差で閾値ｋ２を設定しても良い。また図形等と文字との判定基準を調整するため、閾値ｋ２値を可変できるようにすることが好ましい。

【0066】

図８（Ａ）は、アルファベットの“Ｊ”とＪに似た台形の図形を示した例である。“Ｊ”の中心線（骨組み）６１からは境界線６３までの距離Ｌ１は、ほとんど一定でありその標準偏差は小さい。図８（Ａ）ではＪはゴジック体（Gothic）であるが他の書体例えばニューセンチュリー（New Century ）であっても標準偏差は小さい。台形の図形の中心線（骨組み）６１からは境界線６３までの距離Ｌ２は大きく変化しており、その標準偏差は大きくなる。例えば閾値ｋ２＝０．６と設定してもよい。

【0067】

ステップＳ３３３では、個人情報判定部１１１は、推定文字の文字自体の面積と推定文字を囲む領域全体の面積との面積比を算出し、閾値ｋ３より小さければ文字と判定する。閾値ｋ３より大きい場合には図形などであると判定してステップＳ３３６に進み、閾値ｋ３より小さい場合には文字であると判定してステップＳ３３４に進む。既にステップＳ３３１及びＳ３３２で文字であると判定しているが、ステップＳ３３３では別の手法により推定文字が文字であるかを判定してもよい。

【0068】

図８（Ｂ）は、ステップＳ３３３の具体例であり、アルファベットの“Ｊ”とＪに似たスプーン形状の図形を示した例である。図８（Ｂ）ではＪ文字自体の面積６６とＪを囲む領域全体の面積６５との面積比は約６０％であり、スプーン形状の図形の面積６６とスプー形状の図形を囲む領域全体の面積６５との面積比は約８０％である。例えば閾値ｋ３＝７０%と設定してもよい。

【0069】

ステップＳ３３１からステップＳ３３３の順番が入れ替わっても良く、またいずれか一つのステップのみで推定文字が文字であると判定してもよい。ステップＳ３３４及びＳ３３５では、ステップＳ３３１、Ｓ３３２又はＳ３３３で文字であることが判定されたので、その文字が個人情報であるか否かを判定する。

【0070】

再び図６に戻り、ステップＳ３３４では、推定文字が所定サイズの画像に対してある閾値ｋ４よりも大きいか否かを判定する。閾値ｋ４より大きい場合には大きな文字であると判定してステップＳ３３８に進み、閾値ｋ４より小さい場合には小さな文字であると判定してステップＳ３３６に進む。より具体的には、画像サイズがＦＨＤ（１９２０＊１０８８）である場合、推定文字の少なくとも一方の縦方向のピクセル数もしくは横方向のピクセル数が、画像サイズの例えば５パーセント（９６＊５４）以上であるか否を判定する。大きい場合にはステップＳ３３９に進む。画像サイズの何パーセント（閾値ｋ４）であるかは可変できることが好ましい。ユーザが残したい大きさ文字を決定できるように、カラー画像をアップロードするｗｅｂ画面等に、閾値ｋ４を可変できる機能を表示されても良い。

【0071】

ステップＳ３３５では、文字がある閾値ｋ５よりも大きな太い線幅で描かれているか否かを判定する。閾値ｋ５より大きい場合には個人情報でないと判定してステップＳ３３８に進み、閾値ｋ５より小さい場合には細い線幅の文字であると判定してステップＳ３３７に進む。閾値ｋ５も可変できることが好ましい。ユーザが残したい太い線幅の文字を決定できるように、カラー画像をアップロードするｗｅｂ画面等に、閾値ｋ５を可変できる機能を表示されても良い。

【0072】

図８（Ｃ）は、ステップＳ３３５の具体例であり、アルファベットの太い線幅の“Ｉ”と細い線幅の“Ｉ”を示した例である。“Ｉ”文字自体６８を構成する面積と“Ｉ”の３本の中心線（骨組み）６７の面積とを計算し、その面積比が閾値ｋ５より、例えば１０よりも大きいかを判定する。

【0073】

図６のステップＳ３３６において、ステップＳ３３１、Ｓ３３２又はＳ３３３で、文字ではないとして判定された推定文字は図形等と考えられるため、カラー画像の一部として残される。

【0074】

ステップＳ３３７において、ステップＳ３３１又はＳ３３２で推定文字は文字と判定され、且つステップＳ３３４又はＳ３３５で大きな文字でもなく太い線幅の文字でもないと判定されたため、これらの文字は個人情報としてカラー画像から消去される対象となる。

【0075】

ステップＳ３３８において、ステップＳ３３２又はＳ３３３で推定文字は文字と判定され、且つステップＳ３３４又はＳ３３５で大きな文字又は太い線幅の文字と判断されたため、これらの文字は個人情報ではなく、例えばカラー画面に大きく写った学校の入り口に吊るされた「卒業式」の看板や、太い線幅でＴシャツに描かれた文字は、カラー画像に残される。なお、大きな文字又は太い線幅の文字であれば、名前、住所、生年月日、性別、ナンバープレートの数字等であっても、本実施形態では個人情報として扱わない。

【実施例0076】

図９は、パーソナルコンピュータ２３から個人情報マスキング装置１００に取得されるカラー画像である。また、図１０、図１１、図１２及び図１３は、個人情報マスキング装置１００がパーソナルコンピュータ２３に出力したカラー画像である。

【0077】

図９に示されたカラー画像には、１０台以上の自動車のナンバープレート、自動車に描かれた８種類（英語、タイ語、アラビア語、キリル語、日本語、グルジア語、ハングル語、ミャンマー語）の言語の文字、ニュースタイトル等の英語の文字、レポータの顔などが含まれている。

【実施例0078】

図１０は実施例１の出力例であり、第１実施例は、図２のステップＳ３１及びＳ３２を使用せずに、カラー画像を処理した例である。つまり図１０は、図２のステップＳ２１－Ｓ３０、Ｓ３３－Ｓ３７を実行したカラー画像である。なおステップＳ２３は、図３のＳ２３１（顔領域の保護）のみ実行されている。

【0079】

図１０に示されたカラー画像には、タイ語、日本語、ハングル語及びキリル語が消去されている。しかし英語（アルファベット）、ミャンマー語及びアラビア語の一部や数字が残っている。多くの白線は図形として判定されたため、多くの道路の白線が残っている。レポータの名札の名前、レポ―タが持つマイクや放送局名も消去されている。ＬＩＶＥ ＮＥＷＳの文字や、ニュースタイトルはしっかりと残っている。ステップＳ２３１）及びＳ３６の実行によりレポータの顔ははっきりしている。