特許 7511882 電子機器画面部のグレード判定方法及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-28

(45)【発行日】2024-07-08

(54)【発明の名称】電子機器画面部のグレード判定方法及びシステム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240701BHJP

【ＦＩ】

G06T7/00 610B

G06T7/00 350C

【請求項の数】 7

(21)【出願番号】P 2020132311

(22)【出願日】2020-08-04

(65)【公開番号】P2022029137

(43)【公開日】2022-02-17

【審査請求日】2023-05-31

(73)【特許権者】

【識別番号】304021417

【氏名又は名称】国立大学法人東京工業大学

(74)【代理人】

【識別番号】100078776

【弁理士】

【氏名又は名称】安形 雄三

(74)【代理人】

【識別番号】100121887

【弁理士】

【氏名又は名称】菅野 好章

(74)【代理人】

【識別番号】100200333

【弁理士】

【氏名又は名称】古賀 真二

(72)【発明者】

【氏名】小尾 高史

(72)【発明者】

【氏名】モニカ ロスリアナ ブスタリニョ ブスト

(72)【発明者】

【氏名】ぺイ ジャン

(72)【発明者】

【氏名】鈴木 裕之

【審査官】佐藤 実

(56)【参考文献】

【文献】国際公開第２０１７／１５６０４６（ＷＯ，Ａ１）

【文献】特開２０１９－１７５０１５（ＪＰ，Ａ）

【文献】特開２０１７－１６７９６９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｑ １０／２０ －１０／３０

(57)【特許請求の範囲】

【請求項1】

電子機器画面部の全体画像から複数枚のパッチ画像を取得し、前記パッチ画像をディープラーニング手段の１つであるＵ－Ｎｅｔに入力して損傷個所を抽出したセグメンテーション画像を出力し、前記Ｕ－Ｎｅｔから出力される前記セグメンテーション画像を用いて連結した、電子機器画面部の表面画像全体での損傷個所の確率を示すセグメンテーション画像を算出し、前記算出されたセグメンテーション画像から損傷特徴を抽出して損傷分類を行い、前記損傷分類された損傷からグレード特徴抽出を行い、前記抽出されたグレード特徴を用いてグレード分類を行い、
前記損傷特徴の抽出は、Ｈｕモーメントを用いて行い、
抽出された前記損傷特徴から、既知の損傷画像に対して、ｋ－平均法を用いて、「割れ」、「ひっかき傷」、「すれ傷」に損傷分類するよう学習された分別器を用いて、損傷分類を行い、
前記損傷分類された損傷の種類や特徴量から、「割れ」箇所の数、「ひっかき傷」箇所の数、「すれ傷」箇所の数、画像全体での損傷個所の面積、損傷の最大長さなどの前記グレード特徴を抽出し、
抽出された前記グレード特徴から、既知の損傷画像に対してランダムフォレストを用いて学習された複数の決定木を用いて複数の分類結果を取得し、前記分類結果の多数決処理によるグレード分類を行う、
ことを特徴とする電子機器画面部のグレード判定方法。

【請求項2】

前記パッチ画像の各隣接したオーバーラップしたオーバーラップ画像を前記Ｕ－Ｎｅｔに入力し、前記Ｕ－Ｎｅｔからの出力画像を平均化して出力するようになっている請求項１に記載の電子機器画面部のグレード判定方法。

【請求項3】

前記電子機器がスマートフォン若しくはタブレットである請求項１又は２に記載の電子機器画面部のグレード判定方法。

【請求項4】

電子機器画面部の全体を撮像する撮像手段と、
前記撮像手段からの全体画像を複数枚のパッチ画像とするパッチ処理部と、
前記パッチ画像を入力して損傷個所を抽出したセグメンテーション画像を出力するＵ－Ｎｅｔと、
前記Ｕ－Ｎｅｔから出力されるセグメンテーション画像を用いて連結した、電子機器画面部の表面画像全体での損傷個所の確率を示すセグメンテーション画像を算出し、前記算出されたセグメンテーション画像から損傷特徴を抽出する損傷特徴抽出部と、
前記損傷特徴に基づいて損傷分類を行う損傷分類部と、
前記損傷分類された損傷からグレード特徴を抽出するグレード特徴抽出部と、
前記グレード特徴に基づいてグレード分類を行うグレード分類部と、
を具備し、
前記損傷特徴抽出部は、Ｈｕモーメントを用いて損傷特徴を抽出し、
前記損傷分類部は、抽出された前記損傷特徴から、既知の損傷画像に対して、ｋ－平均法を用いて、「割れ」、「ひっかき傷」、「すれ傷」に損傷分類するよう学習された分別器を用いて、損傷分類を行い、
前記グレード特徴抽出部は、前記損傷分類された損傷の種類や特徴量から、「割れ」箇所の数、「ひっかき傷」箇所の数、「すれ傷」箇所の数、画像全体での損傷個所の面積、損傷の最大長さなどの前記グレード特徴を抽出し、
前記グレード分類部は、抽出された前記グレード特徴から、既知の損傷画像に対してランダムフォレストを用いて学習された複数の決定木を用いて複数の分類結果を取得し、前記分類結果の多数決処理によるグレード分類を行う、
ことを特徴とする電子機器画面部のグレード判定システム。

【請求項5】

前記電子機器画面部の表面を照光する照光手段が設けられている請求項４に記載の電子機器画面部のグレード判定システム。

【請求項6】

前記パッチ処理部で得られた前記パッチ画像の各隣接したオーバーラップ画像を前記Ｕ－Ｎｅｔに入力し、前記オーバーラップ画像に対応して前記Ｕ－Ｎｅｔから出力される画像の平均値を算出する平均化部が設けられている請求項４又は５に記載の電子機器画面部のグレード判定システム。

【請求項7】

前記電子機器がスマートフォン若しくはタブレットである請求項４乃至６のいずれかに記載の電子機器画面部のグレード判定システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、スマートフォンやタブレット、パソコン（ＰＣ）等の中古電子機器の画面部（表示部、タッチパネル等）のグレード分類の判定を機械学習により、正確かつ客観的に行う電子機器画面部のグレード判定方法及びシステムに関する。

【背景技術】

【0002】

現在中古スマートフォンやタブレット、パソコンなどの電子機器の画面部のグレード判定（傷や割れなどの損傷の種類と損傷程度の判定）は、人の目視による判定に依存しているのが実情である。

【先行技術文献】

【非特許文献】

【0003】

【文献】Sample-Size Determination Methodologies for Machine Learning in Medical Imaging Research: A Systematic Review, Indraril Balki, et.al., Canadian Association of Radiologists Journal, 70,[4],344-353(2019)

【発明の概要】

【発明が解決しようとする課題】

【0004】

現状は、電子機器画面部のグレード判定が人の目視による判定であるため、判定に時間と労力がかかると共に、判定者によって判定評価にバラツキが生じ、判定結果が客観的でないという問題がある。かかる問題は、判定者が、経験を積んだエキスパートであっても同様である。

【0005】

また、機械学習を用いてグレード判定を行う研究もあるが、ある程度の量の学習用データが無いと、うまく動作しないという課題がある。少し分野は相違するが、例えば非特許文献１には、体の６部位の分類に、99.5％の精度で分類するには、１分類当たり4092枚の学習データが必要であったなど、医用画像を用いた分類の例が示されており、概略数百から１万程度の膨大な学習データが利用されている。

【0006】

本発明は上述のような事情よりなされたものであり、本発明の目的は、スマートフォンやタブレットなどの電子機器の画面部のグレード判定を、比較的少量の画像データを基に、機械学習を用いて正確かつ客観的に判定し得る電子機器画面部のグレード判定方法及びシステムを提供することにある。

【課題を解決するための手段】

【0007】

本発明は電子機器画面部のグレード判定方法に関し、本発明の上記目的は、電子機器画面部の全体画像から複数枚のパッチ画像を取得し、前記パッチ画像をディープラーニング手段の１つであるＵ－Ｎｅｔに入力して損傷個所を抽出したセグメンテーション画像を出力し、前記Ｕ－Ｎｅｔから出力されるセグメンテーション画像から損傷特徴を抽出して損傷分類を行い、前記損傷分類された損傷からグレード抽出を行ってグレード分類を行うことにより達成される。

【0008】

また、本発明は電子機器画面部のグレード判定システムに関し、本発明の上記目的は、電子機器画面部の全体を撮像する撮像手段と、前記撮像手段からの全体画像を複数枚のパッチ画像とするパッチ処理部と、前記パッチ画像を入力して損傷個所を抽出したセグメンテーション画像を出力するＵ－Ｎｅｔと、前記Ｕ－Ｎｅｔから出力されるセグメンテーション画像から損傷特徴を抽出する損傷特徴抽出部と、前記損傷特徴に基づいて損傷分類を行う損傷分類部と、前記損傷分類された損傷からグレード特徴を抽出するグレード特徴抽出部と、前記グレード特徴に基づいてグレード分類を行うグレード分類部とを具備することにより達成される。

【発明の効果】

【0009】

本発明によれば、中古スマートフォンなどの電子機器の画面部の全体画像から、少数画素で構成されるパッチ画像を切り出し、データ量の少ないパッチ画像からディープラーニングによる領域分割法であるＵ－Ｎｅｔを用いて損傷個所を抽出したセグメンテーション画像を求め、得られたセグメンテーション画像から損傷を分類し、グレードを分類するようにしているので、機械学習による正確かつ客観的なグレード判定を実現できる。

【図面の簡単な説明】

【0010】

【図1】本発明の概要を示す流れ図である。

【図2】パッチ画像の切り出しを説明するための模式図である。

【図3】本発明で使用するＵ－Ｎｅｔ（ディープラーニングによる領域分割法）の動作原理を示す流れ線図である。

【図4】本発明の構成例を示すブロック図である。

【図5】本発明の動作例を示すフローチャートである。

【図6】パッチ画像の連結処理を説明するための画像図である。

【図7】損傷特徴の抽出を説明するための画像図である。

【図8】損傷特徴の抽出を説明するための画像図である。

【図9】パッチ画像の連結処理の有無の相違を説明するための画像図である。

【発明を実施するための形態】

【0011】

本発明は、複数の機械学習手法を組み合わせて用いることにより、比較的少ない学習用データからでも、スマートフォン等の電子機器の画面部（表示部、タッチパネル）のグレード判定（傷や割れなどの損傷の種類と損傷程度の判定）を正確かつ客観的に実施する。これにより、画面部判定に要する時間と労力を従来に比べ飛躍的に向上することができると共に、判定者によって評価がバラツクという問題も生じない。

【0012】

以下に、本発明の実施の形態を、図面を参照して説明する。

【0013】

図１は本発明の概要を流れ図で示しており、先ずスマートフォンなどの電子機器画面部（表示部、タッチパネル）１００の全体画像から、複数枚のパッチ画像（256×256ピクセル（pixel））を取得する。取得した複数枚のパッチ画像をディープラーニング手段の１つであるＵ－Ｎｅｔ４０に順次入力して損傷個所を抽出したセグメンテーション画像を求め、得られたセグメンテーション画像から損傷特徴を抽出し、抽出された損傷特徴に基づいて損傷分類を行う。

【0014】

次いで、損傷分類された画像（割れ、ひっかき傷、すれ傷、汚れなど）からグレード特徴を抽出し、抽出されたグレード特徴に基づいてグレード分類Ａ～Ｄを出力する。本例では、判定出力するグレード分類がＡ～Ｄの４種（Ａ:ほとんど表面に損傷がない、Ｂ：認識困難なひっかき傷が存在する、Ｃ:すれ傷や目立つひっかき傷、非常に小さい割れがある、Ｄ:表面に割れがある）となっているが、汚れなども含めて適宜変更可能である。

【0015】

本発明では、電子機器画面部１００をＣＣＤカメラ等の撮像手段で撮像して全体画像を取得し、その全体画像から図２（Ａ）に示すような複数枚のパッチ画像（256×256ピクセル）を取得し、パッチ画像をＵ－Ｎｅｔ４０に順次入力して、パッチ画像の各ピクセルに対して出力値（損傷個所であるかどうかの確率の値）を取得する。その際、本発明では図２（Ｂ）に示すように全体画像からパッチ画像の一部が隣接してオーバーラップするようにパッチ画像を取得し、それぞれのオーバーラップしたパッチ画像に対する前記出力値を取得し、複数のパッチ画像内の全体画像の同一のピクセルに対応する上記出力値を、平均化処理部で平均したものを、全体画像の各ピクセルの出力値として算出し、損傷個所の抽出を行う。

【0016】

図２（Ｂ）ではオーバーラップするように複数のパッチ画像を取得する処理を斜め方向に行っているが、水平方向若しくは垂直方向の複数のパッチ画像を取得する処理であっても良い。なお、オーバーラップ処理と平均化処理は精度向上の処理であり、動作原理的にはなくても良い。

【0017】

損傷個所の抽出に用いるＵ－ＮｅｔはＦＣＮ（Fully Convolution Network）の１つであり、画像のセグメンテーション（物体がどこにあるか）を推定するためのネットワークであり（論文ＵＲＬ：https://arxiv.org/abs/1505.04597）、本発明で使用するＵ－Ｎｅｔも基本的に同一であるが、取り扱うデータ量が一般的なものより少量となっている点が異なる。

【0018】

図３は本発明で使用するＵ－Ｎｅｔ４０の動作原理を示しており、灰色の長形状ボックスは画像（特徴マップ）、白色の長形状ボックスはコピーされた特徴マップ、各ボックスの上の数字はチャンネル数、各ボックスの左下の数字は縦横のサイズ（ピクセル）をそれぞれ示している。また、矢印ａは、カーネルサイズ（kernel size）３×３、パディング０の畳み込み、ＲｅＬＵを示し、矢印ｂは、カーネルサイズ２×２の最大プーリング（max-pooling）を示し、矢印ｃは、カーネルサイズ１×１の畳み込みを示し、矢印ｄは、カーネルサイズ２×２、ストライド２の逆畳み込みを示し、矢印ｅは、特徴マップのコピーをクロップすることを示している。図３に示すように、本発明で使用するＵ－Ｎｅｔ４０は、通常の特徴マップのチャンネル数６４を１６チャンネルに減らし、縦横サイズも一般的なサイズ572×572ピクセルから256×256ピクセルに小さくしており、パラメータが削減されていることにより少ない学習データからでもＵ－Ｎｅｔ４０で行う畳み込み演算などで利用するパラメータ（変数）を求めることができ、簡易に安定して損傷個所の抽出を実施することができる。

【0019】

図４は本発明の機能的な構成例を示しており、システム全体の制御や演算処理を行うＣＰＵ（ＭＰＵやＭＣＵ等を含む）１には、演算、制御、パラメータ設定などのためのＲＡＭ２、プログラムなどを格納するＲＯＭ３、タッチパネル、キー、マウス等の操作入力部４が接続されており、電源がＯＦＦされている状態の電子機器画面部１００を照光するＬＥＤ等の照光装置１０が接続されており、電子機器画面部１００の全体画像は撮像手段としてのＣＣＤカメラ１１で撮像され、画像処理部１２で一般的な画像処理を施された画像が、システムに入力される。また、ＣＰＵ１には、入力された全体画像を、図２で説明したような複数枚のパッチ画像とするパッチ処理部２０と、複数のパッチ画像に跨る損傷に対して、モルフォロジー演算等の連結処理を行う連結処理部３０と、パッチ画像入力部４１を経てディープラーニングを行い、セグメンテーション画像出力部４２を経てセグメンテーション画像を出力するＵ－Ｎｅｔ４０と、セグメンテーション画像から損傷特徴を抽出する損傷特徴抽出部５０と、抽出された損傷特徴に基づいて損傷の分類を行う損傷分類部６０と、グレード分類のためのグレード特徴を抽出するグレード特徴抽出部７０と、グレード特徴に基づいてグレード分類を行うグレード分類部８０と、分類されたグレードＡ～Ｄを出力するグレード出力部９０とが相互に接続されている。

【0020】

このような構成において、その動作例を図５のフローチャートを参照して説明する。

【0021】

先ず、電源をＯＦＦされた電子機器画面部１００に対して照光装置１０から照光し（ステップＳ１）、電子機器画面部１００の全体画像を撮像手段としてのＣＣＤカメラ１１で撮像し（ステップＳ２）、画像処理部１２で必要な画像処理を施して入力する（ステップＳ３）。なお、電子機器画面部１００が明るい状態の場合には、照光装置１０による照光は必ずしも必要ではない。

【0022】

入力された全体画像に対してパッチ処理部２０は、図２で説明したオーバーラップ処理により複数枚のパッチ画像（256×256ピクセル）を取得して順次出力し（ステップＳ１０）、パッチ画像はパッチ画像入力部４１を経てＵ－Ｎｅｔ４０に入力され、ディープラーニングが実施される（ステップＳ２０）。Ｕ－Ｎｅｔ４０における学習は、既知の損傷画像と入力画像（パッチ画像）を用いて畳み込み用のフィルタを学習し、学習されたフィルタを用いて最後に損傷個所の確率を示すセグメンテーション画像をセグメンテーション画像出力部４２から出力する（ステップＳ２１）。

【0023】

パッチ処理部２０でオーバーラップ画像のパッチ画像を得る場合には、得られたパッチ画像の各隣接したオーバーラップ画像をＵ－Ｎｅｔ４０に入力し、オーバーラップ画像に対応してディープラーニングされ、Ｕ－Ｎｅｔ４０から出力される画像の平均値を平均化部（図示せず）で算出する。

【0024】

Ｕ－Ｎｅｔ４０を用いて取得したパッチ画像に対するセグメンテーション画像を用いて算出された、電子機器画面部１００の表面画像全体での損傷個所の確率を示すセグメンテーション画像を、閾値処理して得られた損傷個所画像（２値画像）に対して、モルフォロジー演算（https://jp.mathworks.com/help/images/morphological-dilation-and-erosion.html）を行うことで、本来繋がっている損傷が切断されているような図６（Ａ）に示すような損傷個所を、連結処理部３０で図６（Ｂ）に示すように連結させる（ステップＳ３０）。本発明で使用する連結方法は、最初に５×５ピクセルのフィルタを損傷個所画像に対して論理和による畳み込み演算する膨張演算により、本来繋がっている損傷が切断されている個所を接続させ、その後、上記フィルタと膨張演算により得られた画像を用いて、論理積による畳み込み演算する収縮演算を行って細線化（http://www.hundredsoft.jp/win7blog/log/eid119.html）を行う（クロージング処理と呼ばれるもの）手法、或いは最初に膨張演算を行い、その後の細線化処理にZhang-Suenの細線化アルゴリズムを適用する手法のいずれかを複数回繰り返すことにより行われるものである。モルフォロジー演算に用いるフィルタについては、異なるサイズであっても良い。

【0025】

次に、上述のようにして連結された損傷個所に対して、損傷特徴抽出部５０はＨｕモーメントを用いて損傷特徴を抽出する（ステップＳ４０）。Ｈｕモーメントは平行移動、回転移動、拡大縮小、鏡映変換しても値が変わらない「モーメント不変量」の１つであり、７つのパラメータを有する。平行移動、回転移動、拡大縮小、鏡映変換しても値が変わらない特徴から、データ間の類似度を測定することができる。

【0026】

そして、抽出された損傷特徴から、損傷分類部６０は、既知の損傷画像に対してｋ－平均法を用いて、図７に示すような損傷について、図８（Ａ）に示す損傷「割れ」、図８（Ｂ）に示す損傷「ひっかき傷」、図８（Ｃ）に示す損傷「すれ傷」に損傷分類するよう学習された分別器を用いて、損傷分類を行う（ステップＳ５０）。ｋ－平均法はクラスタリングを行うためのアルゴリズムとして良く利用され、中でも階層的な構造を持たず、数の塊によってサンプルを分割するのが特徴の「非階層クラスタ分析」に該当し、サンプル数が膨大なビッグデータの分析に適している。ｋ－平均法は、先ず初期の中心をランダムに決め、次いでデータを最も近い中心に紐付け、それぞれのクラスタの重心を計算し、その重心を新しい中心として紐付け、再度新しい重心を計算し、重心が移動しなくなるまで上記動作を繰り返すものである。このため、既知の損傷画像を用いて予め、各クラスタがどの損傷を表すかを学習し、損傷分類の分別を行う分別器を作成することで、新たな損傷画像の損傷分類を行うことが可能となる。そのほか、サポートベクトルマシンによるクラスタリングを行い、分別器の作成を行うこともできる。

【0027】

損傷分類の後、グレード特徴抽出部７０は、分類された損傷の種類やその他の特徴量からグレード特徴を抽出する（ステップＳ６０）。グレード特徴は、「割れ」箇所の数、「ひっかき傷」箇所の数、「すれ傷」箇所の数、画像全体での損傷個所の面積、損傷の最大長さなどである。そして、グレード分類部８０は、抽出されたグレード特徴を用いて、既知の損傷画像に対してランダムフォレスト(Random Forest)を用いて学習された複数の決定木を用いて複数の分類結果を取得し、分類結果の多数決処理によるグレード分類を行う（ステップＳ７０）。ランダムフォレストは機械学習のアルゴリズムであり、分類、回帰、クラスタリングに用いられる。要は、ランダムサンプリングされたトレーニングデータとランダムに選択された説明変数を用いることにより、相関の低い決定木群を作成するが、決定木の最終出力がクラスの場合はその多数決となり、確率分布の場合には、その平均値が最大となるクラスである。本発明では、分類された損傷の種類やその他の特徴量を説明変数として、既知の損傷画像を用いてグレード分類を出力とする決定木を学習により作成し、グレード分類に用いている。

【0028】

ステップＳ７０で行われたグレード分類結果は、グレード出力部９０から出力される（ステップＳ７１）。出力形態は、データ、表示、印字等である。

【0029】

表１は、本発明で実際にＡ～Ｄのグレード分類を行った結果の一例であり、実際の分類Ａのうち、本発明でグレードＡと判定された割合が１（100%と同じ）、実際の分類Ｃのうち、グレードＢと判定された割合が0.15、グレードＣとなった割合が0.83、グレードＤとなった割合が0.01であったことを示している。

【0030】

【表1】

【符号の説明】

【0031】

１ ＣＰＵ（ＭＰＵ，ＭＣＵ）
２ ＲＡＭ
３ ＲＯＭ
４ 入力操作部
１０ 照光装置（ＬＥＤ）
１１ ＣＣＤカメラ
１２ 画像処理部
２０ パッチ処理部
３０ 連結処理部
４０ Ｕ－Ｎｅｔ
４１ パッチ画像入力部
４２ セグメンテーション画像出力部
５０ 損傷特徴抽出部
６０ 損傷分類部
７０ グレード特徴抽出部
８０ グレード分類部
９０ グレード出力部
１００ 電子機器画面部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】