(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-10-24
(45)【発行日】2022-11-01
(54)【発明の名称】情報処理装置、評価システム、機械学習装置、情報処理方法、及びプログラム
(51)【国際特許分類】
G06Q 50/04 20120101AFI20221025BHJP
G06T 7/00 20170101ALI20221025BHJP
G16H 50/20 20180101ALI20221025BHJP
【FI】
G06Q50/04
G06T7/00 350C
G16H50/20
(21)【出願番号】P 2021533187
(86)(22)【出願日】2021-02-09
(86)【国際出願番号】 JP2021004705
(87)【国際公開番号】W WO2021166733
(87)【国際公開日】2021-08-26
【審査請求日】2021-06-10
(31)【優先権主張番号】P 2020026256
(32)【優先日】2020-02-19
(33)【優先権主張国・地域又は機関】JP
【早期審査対象出願】
(73)【特許権者】
【識別番号】000001421
【氏名又は名称】キユーピー株式会社
(73)【特許権者】
【識別番号】515036523
【氏名又は名称】株式会社トウ・ソリューションズ
(74)【代理人】
【識別番号】110000338
【氏名又は名称】特許業務法人HARAKENZO WORLD PATENT & TRADEMARK
(72)【発明者】
【氏名】長尾 春香
(72)【発明者】
【氏名】山岡 晃汰
【審査官】田中 寛人
(56)【参考文献】
【文献】特開2017-161958(JP,A)
【文献】特開2018-195267(JP,A)
【文献】特開2018-000649(JP,A)
【文献】特開2018-005268(JP,A)
【文献】特開2004-000428(JP,A)
【文献】国際公開第2018/232510(WO,A1)
【文献】爪の長さが●mm以上だと汚れは約1.9倍!? 「トイレの便座」以上の汚れを検出 [online],[令和4年3月3日検索],マイナビ,2014年10月24日,インターネット<URL:https://news.mynavi.jp/article/20141024-a013/>
【文献】伸びっぱなしの爪には細菌がいっぱい! [online],[令和4年3月3日検索],CNS合同会社,2017年09月28日,インターネット<URL:https://www.gespa-cns.net/blog/entry-030.html>
(58)【調査した分野】(Int.Cl.,DB名)
G06Q10/00-99/00
G06T7/00
G16H10/00-80/00
(57)【特許請求の範囲】
【請求項1】
爪を被写体として含む画像データを取得する取得部と、
前記画像データを参照して、前記爪の長さに基づく前記爪の衛生状態を評価することにより、評価結果を示す情報を生成する評価部と、
を備え、
前記評価部は、前記爪の長さに基づく爪の衛生状態が基準を満たすか否かを示す情報を、前記評価結果を示す情報に含めて出力
し、
前記評価部は、前記画像データから爪それぞれの部分画像データを抽出し、抽出した部分画像データの個数がn個以上である場合に、当該n個以上の部分画像データを参照して処理を続行し、n個未満である場合に処理を中断し、片方の手についてnを2以上5未満に設定する、情報処理装置。
【請求項2】
前記評価部は、前記評価結果を示す情報として、前記爪を有する人に対する屋内への入退場可否を含む情報を生成する、請求項1に記載の情報処理装置。
【請求項3】
前記屋内が、食品工場の部屋または食品加工場である、請求項2に記載の情報処理装置。
【請求項4】
前記評価部は、前記画像データを参照して、前記爪の色に基づく前記爪の衛生状態をさらに評価する、請求項1から
3のいずれか1項に記載の情報処理装置。
【請求項5】
前記画像データを入力として、前記爪の長さに基づく衛生状態の評価結果を示す第1情報を出力するよう機械学習により構築された第1の評価モデルを利用し、
前記評価部は、前記第1情報に基づいて前記評価結果を示す情報を生成する、請求項1から
4のいずれか1項に記載の情報処理装置。
【請求項6】
前記画像データを入力として、前記爪の色に基づく衛生状態の評価結果を示す第2情報を出力するよう機械学習により構築された第2の評価モデルを利用し、
前記評価部は、前記第1情報及び前記第2情報に基づいて前記評価結果を示す情報を生成する、請求項
5に記載の情報処理装置。
【請求項7】
請求項1から
6のいずれか1項に記載の情報処理装置と、
前記爪を含む人体の部位を撮像して前記画像データを生成する撮像装置と、
前記評価結果を示す情報を出力する出力装置と、
を含む評価システム。
【請求項8】
前記撮像装置は、
撮像機器と、
当該撮像機器に対する前記部位の位置合わせを可能にする位置合わせ台と、
外部から前記位置合わせ台に入射する光を遮る遮光壁と、
を備えており、
前記撮像機器は、前記位置合わせ台を撮像範囲に含むように設置され、
前記位置合わせ台は、前記撮像機器に向く面が単色であり、
前記遮光壁は、前記位置合わせ台の周囲に設置されている、請求項
7に記載の評価システム。
【請求項9】
前記撮像機器は、撮像ボックスの内部に設置され、
前記撮像ボックスは、
前記位置合わせ台としての底面と、
前記遮光壁としての側面と、
前記撮像機器が設置される天面と、を有し、
前記側面は前記撮像ボックスの内部に前記部位を挿入可能な開口部を有している、請求項
8に記載の評価システム。
【請求項10】
前記撮像装置は、隣接する爪同士が離間した状態で前記部位を撮影することを可能にするガイド機構を備えている、請求項
8または9に記載の評価システム。
【請求項11】
プロセッサを含むコンピュータが実行する情報処理方法であって、
前記プロセッサが爪を被写体として含む画像データを取得する取得ステップと、
前記プロセッサが前記画像データを参照して前記爪の長さに基づく前記爪の衛生状態を評価することにより、評価結果を示す情報を生成する評価ステップと、
を含み、
前記評価ステップにおいて前記プロセッサは、前記爪の長さに基づく爪の衛生状態が基準を満たすか否かを示す情報を、前記評価結果を示す情報に含めて出力
し、
前記評価ステップにおいて前記プロセッサは、前記画像データから爪それぞれの部分画像データを抽出し、抽出した部分画像データの個数がn個以上である場合に、当該n個以上の部分画像データを参照して処理を続行し、n個未満である場合に処理を中断し、片方の手についてnを2以上5未満に設定する、情報処理方法。
【請求項12】
請求項1から
6の何れか1項に記載の情報処理装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、爪の状態を検査する技術に関する。
【背景技術】
【0002】
人間の手の爪は日々伸び続け、定期的に切りそろえる必要がある。伸びきった爪には内側に汚れがたまりやすいことから、食品の製造現場や医療現場等では、常に適切な長さまで切りそろえられていることが求められる。また、つけ爪やマニキュア等のネイルアートが施された爪も、清潔面や異物混入の面、医療現場では感染リスクの面で、好ましくない。
【0003】
これらの状態を防ぐためには、熱心な指導により一人ひとりの身だしなみへの心がけを正すことや、部屋への入退出時に、他人にダブルチェックしてもらうルールを徹底する等の方法がとられてきた。しかしながら、この方法では人為的なミスを防ぎきることはできず、また、他人にダブルチェックしてもらう際には周囲の人の作業を止めてチェックしてもらう必要があり、作業効率の面でも問題があった。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明は上記した課題を解決するためになされたものであり、人の目視確認を介さず簡便に爪状態可否を判定することのできる、爪の状態を検査する技術を提供することを目的とする。
【0006】
特許文献1に記載された技術によれば、測定された手の3次元形状に基づき、推奨するスポーツ用手保護具を選択することができる。しかしながら、人の目視確認を介さず簡便に爪状態可否を判定することについて解決する技術は存在しなかった。
【課題を解決するための手段】
【0007】
上記課題を解決するため、本発明の一態様に係る情報処理装置は、爪を被写体として含む画像データを取得する取得部と、前記画像データを参照して前記爪の長さに基づく前記爪の衛生状態を評価することにより、評価結果を示す情報を生成する評価部と、を備えた構成である。
【0008】
本発明の各態様に係る情報処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを前記情報処理装置が備える各部(ソフトウェア要素)として動作させることにより前記情報処理装置をコンピュータにて実現させる情報処理装置の制御プログラム、及びそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【発明の効果】
【0009】
本発明によれば、人の目視確認を介さず簡便に爪状態可否を判定することのできる技術を提供することができる。
【図面の簡単な説明】
【0010】
【
図1】本発明の実施の形態1に係る爪の状態検査装置(情報処理装置)の構成図である。
【
図2】本発明の実施の形態1に係る撮像装置の説明図である。
【
図3】本発明の実施の形態1に係る爪の状態検査装置(評価システム)の概略構成一例である。
【
図4】本発明の実施の形態1に係る爪の状態検査装置(評価システム)の概略構成一例である。
【
図5】本発明の実施の形態2に係る評価システムの構成を示すブロック図である。
【
図6】
図5の評価システムに含まれる情報処理装置が実施する情報処理方法の流れを示すフローチャートである。
【
図7】
図6のフローチャートに示す評価ステップの処理の一例を説明する模式図である。
【
図8】
図5の評価システムに含まれる被検者側の出力装置が出力する「評価結果を示す情報」の一例を示す図である。
【
図9】
図5の評価システムに含まれる管理者側の出力装置が出力する「評価結果を示す情報」の一例を示す図である。
【
図10】
図5の評価システムに含まれる撮像装置の構成を示す斜視図である。
【
図11】
図10の撮像装置が備えているガイド機構の構成の一例を示す上面図である。
【
図12】
図5の評価システムに含まれる機械学習装置が実施する機械学習方法の流れを示すフローチャートである。
【
図13】
図5の評価システムに含まれる情報処理装置のハードウエア構成を示すブロック図である。
【
図14】
図5の評価システムに含まれる機械学習装置のハードウエア構成を示すブロック図である。
【
図15】本発明の実施の形態3に係る評価システムの構成を示すブロック図である。
【発明を実施するための形態】
【0011】
〔実施形態1〕
以下、添付図面を参照して、本発明を実施するための形態(以下、実施形態と称する)について、詳細に説明する。なお、実施形態の説明の全体を通して同じ要素には同じ番号を付している。
【0012】
(実施形態1の構成)
図1に示すように、本実施形態1に係る爪の状態検査装置(評価システム)1は、少なくとも、撮像装置10と、演算装置(情報処理装置)20と、入出力装置30と、をハードウエア資源として備え、前記演算装置(情報処理装置)20は学習済みニューラルネットワーク(評価モデル)21を備える。
【0013】
演算装置(情報処理装置)20と入出力装置30は、例えば、スタンドアローン構成のコンピュータ(例えば、パソコン(Personal Computer)等)や、サーバとコンピュータを組み合わせたオンライン構成のもので実現可能である。
【0014】
爪の状態検査装置(評価システム)1は、あらゆる目的での判定に使用できるが、特に前記判定により、部屋(屋内)Rへの人の入退場可否を判定することに使用できる。さらに、部屋(屋内)Rが手の衛生的状態が求められる、食品の製造現場や医療現場であると好適であり、特に食品工場の部屋(屋内)Rまたは食品加工場Rが特に好適である。
【0015】
演算装置(情報処理装置)20は、人の手の画像Hで学習された学習済みニューラルネットワーク(評価モデル)21を備える。人の手の画像Hは、撮像装置10で得られたものでもよいし、またその他の撮像装置を用いたものでもよいが、画角・色調などの観点から、撮像装置10と同じ構成の撮像装置から得られたものが好ましい。また、人の手の画像は、爪を検査するため、少なくとも人の手の甲側の画像を含む。
【0016】
前記学習済みニューラルネットワーク(評価モデル)21は、爪の長さや爪全体の色調等といった爪の情報と、目視による判定結果情報により学習されていることができ、これにより、被検者Pの手の甲側の画像から、爪の状態を判定することができる。
【0017】
また前記学習済みニューラルネットワーク(評価モデル)21は、前記爪全体の色調をもとに学習することで、爪に付着物があるかを判別できるようにすることができる。付着物とは例えば、ネイルアートのことをいい、スカルプ、ネイルチップ、ラインストーンの設置、マニキュア、ジェル等が挙げられる。
【0018】
入出力装置30は、ディスプレイ、表示灯、ブザーなどの音響機器などの出力機器(出力装置)を用いることができる。またさらに、マウス、キーボード、タッチパネル、などの入力機器を備えてもよい。
【0019】
図2に示すように、本実施形態に係る撮像部(撮像装置)10は、上部に撮像機器101が設置され、下部に底面103が設置され、さらに遮光壁102を有することができる。前記底面103は、単色であると好ましい。遮光壁102と底面103とは、外からの光が底面103にあたりにくいよう連続体として構成することもできる。またさらに、後述する
図10に示すように、天面104を加えて連続体として構成された箱体である撮像ボックス105として構成することもでき、手を入れる一面を除いて他の面からの光の侵入を防止し、部屋(屋内)の入退場口に設置されることもできる。被検者Pは前記撮像装置に自分の手の甲を上にした状態で差し入れ、画像を取得することができる。
【0020】
図3に、爪の状態検査装置(評価システム)1がスタンドアローン構成の場合の構成例を示す。この場合、演算装置(情報処理装置)20及び入出力装置30は1台のパソコンとして構成されてもよい。被検者Pは撮像装置10により手の画像H(後述する
図7参照)を取得し、演算装置(情報処理装置)20に手の画像Hを送信する。演算装置20は学習済みニューラルネットワーク(評価モデル)21により、前記手の画像Hを判定する。判定の結果を入出力装置30に出力することができてもよい。
【0021】
管理者Sは前記パソコンにより、保存された被検者Pの情報を確認することができてもよい。その際、被検者Pの社員コード等個人に一意に設定された情報に紐づき、別途測定または入力した、被検者Pの体調の情報、例えば体温や吐息のアルコール情報、傷の有無、髪の毛が帽子から出ていないか等の情報を一覧で表示することができてもよい。
【0022】
図4に、入退場検査装置(評価システム)1がオンライン構成の場合の構成例を示す。この場合、被検者Pと管理者Sは別々の入出力装置30を用いることができてもよい。被検者Pは撮像装置10により手の画像H(後述する
図7参照)を取得し、演算装置(情報処理装置)20に手の画像Hを送信する。演算装置(情報処理装置)20は学習済みニューラルネットワーク(評価モデル)21により、前記手の画像Hを判定する。判定の結果を被検者側及び/または管理者側の入出力装置30に出力することができてもよい。
【0023】
管理者Sは管理者側の入出力装置を用い、保存された被検者Pの情報を確認することができてもよい。その際、被検者Pの社員コード等個人に一意に設定された情報に紐づき、別途測定または入力した、被検者Pの体調の情報、例えば、体温や吐息のアルコール情報、傷の有無、髪の毛が帽子から出ていないか等の情報を一覧で表示することができてもよい。
【0024】
〔実施形態2〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、実施形態1にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
【0025】
(評価システム1aの構成)
本発明の実施形態2に係る評価システム1aについて、
図5を参照して説明する。
図5は、評価システム1aの構成を表す図である。
【0026】
評価システム1aは、爪の長さに基づく衛生状態を評価するためのシステムである。評価システム1aは、
図5に示すように、撮像装置10aと、情報処理装置20aと、出力装置30aと、機械学習装置40と、を備えている。入出力装置30は、特許請求の範囲に記載した出力装置の一例である。情報処理装置20aは、撮像装置10a、機械学習装置40、及び出力装置30aのそれぞれと通信可能に接続される。
【0027】
撮像装置10aは、爪を含む人体の部位を撮像して、爪を被写体として含む画像データ(以下、単に「画像データ」という場合がある。)を生成するための装置である。撮像装置10aは、撮像ボックス105を備えている点が、実施形態1における撮像装置10と少なくとも異なる。撮像装置10aの構成の詳細については、参照する図面を代えて後述する。出力装置30aは、実施形態1における入出力装置30に含まれる出力機器である。
【0028】
情報処理装置20aは、学習済みニューラルネットワーク21(
図1)の代わりに、第1の評価モデル21a及び第2の評価モデル21bを用いる点が、実施形態1における演算装置(情報処理装置)20と少なくとも異なる。情報処理装置20aは、情報処理方法M1を実施するための装置である。情報処理方法M1は、撮像装置10aから提供された画像データに基づき、第1の評価モデル21a及び第2の評価モデル21bを用いて爪の衛生状態を評価する方法である。情報処理装置20aの構成及び情報処理方法M1の流れの詳細については、参照する図面を代えて後述する。
【0029】
ここで、第1の評価モデル21a及び第2の評価モデル21bとしては、それぞれ、例えば、CNN(Convolution Neural Network)、GAN(Generative Adversarial Network)等といった、ニューラルネットワークを利用した機械学習アルゴリズムを用いることができる。また、第1の評価モデル21a及び第2の評価モデル21bとしては、サポートベクタマシン、ランダムフォレスト、勾配ブースティング・ツリー等といった、ニューラルネットワークを利用しない機械学習アルゴリズムを用いることができる。ただし、第1の評価モデル21a及び第2の評価モデル21bをそれぞれ実現するアルゴリズムは、上述したものに限られない。また、第1の評価モデル21a及び第2の評価モデル21bをそれぞれ実現するアルゴリズムは、同一であってもよいし、異なっていてもよい。
【0030】
第1の評価モデル21aは、画像データを入力として、爪の長さに基づく衛生状態の評価結果を示す第1情報を出力するよう機械学習により構築される。ここで、「爪の長さ」は、例えば、爪先の長さである。「爪先」は、爪床から出て白く見える部分であり、爪先の長さは、爪の黄線から爪の先端までの長さに相当する。なお、「黄線」は、爪甲と爪先との境界であり、「爪甲」は、爪床の上にある爪の領域であり、「爪床」は、爪甲の下にある皮下組織である。ただし、第1の評価モデル21aは、爪の長さ(例えば、上述した爪先の長さ)自体を正解データとして機械学習されるものではない。第1の評価モデル21aは、評価者が爪の長さ(例えば、上述した爪先の長さ)の観点から衛生状態を評価した評価結果を正解データとして機械学習により構築される。なお、「爪の長さ」とは、上述した爪先の長さに限定されない。例えば、「爪の長さ」とは、爪全体の長さであってもよいし、爪全体の長さに対する爪先の長さの割合であってもよい。また、「爪の長さ」とは、爪先の長さ、爪全体の長さ、爪全体の長さに対する爪先の長さの割合、及びその他の観点の一部または全てを含む総合的な観点であってもよい。この場合、第1の評価モデル21aは、評価者が爪の長さの総合的な観点から衛生状態を評価した評価結果を正解データとして機械学習により構築される。第1の評価モデル21aを機械学習により構築する方法については後述する。
【0031】
第2の評価モデル21bは、画像データを入力として、爪の色に基づく衛生状態の評価結果を示す第2情報を出力するよう機械学習により構築される。ここで、「爪の色」は、爪の色調、色相等である。また、「爪の色」は、少なくとも爪の一部の色であればよいが、衛生上の観点から、爪全体の色であることが好ましい。第2の評価モデル21bを機械学習により構築する方法については後述する。
【0032】
第1の評価モデル21aの入力である爪を被写体として含む画像データと第1の評価モデル21aの出力である爪の長さに基づく衛生状態との間には、関係式として明示的に特定することは困難であるものの、一定の関係があることが知られている。同様に、第2の評価モデル21bの入力である爪を被写体として含む画像データと第2の評価モデル21bの出力である爪の色に基づく衛生状態との間にも、一定の関係があることが知られている。したがって、爪を被写体として含む画像データを入力とする第1の評価モデル21aを用いれば、爪の長さに基づく衛生状態を精度良く評価することができる。また、爪を被写体として含む画像データを入力とする第2の評価モデル21bを用いれば、爪の色に基づく衛生状態を精度良く評価することができる。
【0033】
機械学習装置40は、機械学習方法M2を実施するための装置である。機械学習方法M2は、学習用の画像データを用いて学習用データセットを作成すると共に、学習用データデータセットを用いた機械学習によって第1の評価モデル21a及び第2の評価モデル21bを構築するための方法である。機械学習装置40の構成及び機械学習方法M2の流れの詳細については、参照する図面を代えて後述する。
【0034】
評価システム1aは、準備フェーズと試用フェーズとを経て実用フェーズに至る。準備フェーズ、試用フェーズ、及び実用フェーズについて、その内容を簡単に説明すれば、以下のとおりである。
【0035】
(1)準備フェーズ
準備フェーズは、機械学習装置40が第1の評価モデル21a及び第2の評価モデル21bを構築するフェーズである。準備フェーズにおいては、評価者が、複数の学習用の画像データの各々に被写体として含まれる爪に対して、爪の長さに基づく評価及び爪の色に基づく評価を行う。機械学習装置40は、各学習用の画像データに対して評価者による評価結果をラベル付けした教師データからなる学習用データセットを生成し、学習用データセットを用いた機械学習によって第1の評価モデル21a及び第2の評価モデル21bを構築する。構築された第1の評価モデル21a及び第2の評価モデル21bは、機械学習装置40から情報処理装置20aに転送される。
【0036】
(2)試用フェーズ
試用フェーズにおいては、評価システム1aは、屋内(例えば、食品工場の部屋等の部屋)の入口に設置される。屋内に入場すべき作業者が手の爪を撮像装置10aの撮像ボックス105(後述する
図10参照)に差し入れると、情報処理装置20aは、爪を被写体として含む画像データを撮像装置10aから取得して、当該爪の衛生状態の評価を行う。試用フェーズにおいて、評価者は、情報処理装置20aが評価対象とした画像データに対して、爪の長さに基づく評価及び爪の色に基づく評価を行う。評価者による評価は、情報処理装置20aによる評価が行われる度に行われてもよいし、情報処理装置20aによる評価が所定の期間(例えば、1週間、1ヶ月、または1年など)または所定回数(例えば、100回、1000回、または10000回など)実施された後にまとめて実施されてもよい。評価者は、当該評価者による評価結果と、情報処理装置20aによる評価結果とを比較し、情報処理装置20aの評価精度を評価する。評価精度が不十分である場合には、準備フェーズに戻る。評価精度が十分である場合には、実用フェーズに進む。なお、評価精度の確認は、準備フェーズが終了した段階で、学習用データセットの一部を利用して行ってもよい。この場合、試用フェーズを省略することができる。
【0037】
(3)実用フェーズ
実用フェーズにおいては、情報処理装置20aが爪の長さ及び色に基づく爪の衛生状態の評価を行う。実用フェーズにおいて情報処理装置20aが用いる第1の評価モデル21a及び第2の評価モデル21bは、試用フェーズにおいて十分な推定精度を有することを確かめられたものである。実用フェーズにおいては、食品工場の部屋に被検者が入場する際に、目視による爪の長さ及び色に基づく衛生状態の評価を省略することができる。このため、爪の長さ及び色に基づく衛生状態の評価の手間から被検者を解放すると共に、人の目視確認を介さず簡便に、且つ精度良く爪の長さ及び色に基づく衛生状態の評価を行うことが可能になる。
【0038】
(情報処理装置20aの構成)
情報処理装置20aの構成について、
図5を参照して説明する。情報処理装置20aは、制御部22及び記憶部23を備えている。制御部22は、情報処理装置20aを統括的に制御する。情報処理装置20aにおいて、制御部22は、取得部221及び評価部222を含む。取得部221は、情報処理方法M1の取得ステップM11を実行する。評価部222は、情報処理方法M1の評価ステップM12及び出力ステップM13を実行する。情報処理方法M1の流れの詳細については後述する。記憶部23には、第1の評価モデル21a及び第2の評価モデル21bが格納されている。
【0039】
(情報処理方法M1の流れ)
情報処理方法M1の流れについて、
図6を参照して説明する。
図6は、情報処理方法M1の流れを示すフローチャートである。
【0040】
情報処理方法M1は、取得ステップM11と、評価ステップM12と、出力ステップM13と、を含んでいる。
【0041】
(取得ステップM11)
取得ステップM11は、取得部221が、爪を被写体として含む画像データを取得するステップである。取得ステップM11において、取得部221は、撮像装置10aが生成した爪を被写体として含む画像データを取得する。
【0042】
(評価ステップM12)
評価ステップM12は、評価部222が、第1の評価モデル21a及び第2の評価モデル21bを用いて爪の長さ及び色に基づく衛生状態を評価するステップである。評価ステップM12において、評価部222は、取得部221が取得した画像データに含まれている少なくとも2本以上の指の爪の領域に基づいて、爪の衛生状態を評価する。具体的には、評価部222は、取得部221が取得した爪を被写体として含む画像データを第1の評価モデル21aに入力し、第1の評価モデル21aから出力される第1情報を取得する。また、評価部222は、取得部221が取得した爪を被写体として含む画像データを第2の評価モデル21bに入力し、第2の評価モデル21bから出力される第2情報を取得する。また、評価部222は、第1情報および第2情報に基づいて、評価結果を示す情報を生成する。なお、評価部222は、評価結果を示す情報を記憶部23に書き込む。
【0043】
図7は、評価ステップM12の処理の一例を説明する模式図である。例えば、評価ステップM12は、部分画像データの抽出処理と、第1の評価処理と、第2の評価処理と、評価結果を示す情報の生成処理とを含む。
図7を参照して、これらの処理について説明する。
【0044】
(部分画像データの抽出処理)
評価部222は、取得部221が取得した爪を被写体として含む画像データHから、5本の指それぞれの「爪」の領域を、部分画像データIMG-1、IMG-2、IMG-3、IMG-4、IMG-5として抽出する。部分画像データIMG-1は親指の爪の領域であり、部分画像データIMG-2は人差し指の爪の領域であり、部分画像データIMG-3は中指の爪の領域であり、部分画像データIMG-4は薬指の爪の領域であり、部分画像データIMG-5は小指の爪の領域である。以降、部分画像データIMG1~IMG5のそれぞれを特に区別する必要が無い場合には、単に部分画像データIMG-i(i=1,2,3,4,5)とも記載する。換言すると、部分画像データIMG-iは、1つの爪を被写体として含む。
【0045】
なお、画像データから爪の領域を抽出する手法としては、公知の物体検出アルゴリズムを用いることができる。そのような物体検出アルゴリズムの一例として、YOLO V3(You Only Look Once V3)、MASK R-CNN(MASK Regions with CNN features)等が挙げられるが、これらに限られない。
【0046】
また、評価部222が画像データHから抽出する部分画像データIMG-iの数は、5つに限定されないが、複数であることが好ましい。例えば、評価部222は、n(nは2以上の整数)個以上の部分画像データIMG-iを抽出した場合に処理を続行し、n個未満の部分画像データIMG-iを抽出した場合には処理を中断してエラー情報を出力してもよい。例えば、nを2以上5未満に設定することにより、撮影時の手の位置等に起因して5つの爪の全てが画像データHに含まれていない場合、又は、撮影時の指の向き等に起因して一部の爪が明瞭に画像データHに含まれていない場合にも柔軟に対応可能となる。
【0047】
(第1の評価処理)
評価部222は、抽出したn個の部分画像データIMG-iのそれぞれを第1の評価モデル21aに入力する。その結果、第1の評価モデル21aから第1スコアが出力される。ここで、第1スコアは、爪の長さに基づく衛生状態の評価結果を示す第1情報の一例である。第1スコアは、0以上、1以下の範囲の数値であり、爪の長さに基づく衛生状態が良好である可能性を示している。つまり、第1スコアが1に近いほど、爪の長さに基づく衛生状態が良好である可能性が高く、0に近いほど良好でない可能性が高い。n個の部分画像データIMG-iから得られたn個の第1スコアの平均値が所定の閾値以上であれば、評価部222は、被検者Pの爪の長さに基づく衛生状態を「合格」と評価する。一方、第1スコアの平均値が所定の閾値未満であれば、評価部222は、被検者Pの爪の長さに基づく衛生状態を「不合格」と評価する。評価部222は、被検者Pの識別情報(社員コード等)に関連付けて、爪の長さの合否を示す情報を記憶部23に記憶する。
【0048】
なお、第1の評価処理において、n個の第1スコアを参照して被検者Pの爪の長さに基づく衛生状態の合否を判定する手法は、上述したものに限定されない。例えば、評価部222は、n個の第1スコアの最大値、最小値、中央値等の各種の統計値が閾値以上であるか否かに基づき判定を行ってもよい。例えば、最小値を用いる場合、換言すると、爪の長さが良好でない爪が1つでもある場合、不合格と判定される。また、例えば、最大値を用いる場合、換言すると、爪の長さが良好である爪が1つでもある場合、合格と判定される。
【0049】
(第2の評価処理)
評価部222は、抽出したn個の部分画像データIMG-iのそれぞれを第2の評価モデル21bに入力する。その結果、第2の評価モデル21bから第2スコアが出力される。ここで、第2スコアは、爪の色に基づく衛生状態の評価結果を示す第2情報の一例である。第2スコアは、0以上、1以下の範囲の数値であり、爪の色に基づく衛生状態が良好である可能性を示している。つまり、第2スコアが1に近いほど、爪の色に基づく衛生状態が良好である可能性が高く、0に近いほど良好でない可能性が高い。n個の部分画像データIMG-iから得られたn個の第2スコアの平均値が所定の閾値以上であれば、評価部222は、被検者Pの爪の色に基づく衛生状態を「合格」と評価する。一方、第2スコアの平均値が所定の閾値未満であれば、評価部222は、被検者Pの爪の色に基づく衛生状態を「不合格」と評価する。評価部222は、被検者の識別情報に関連付けて、爪の色の合否を示す情報を記憶部23に記憶する。
【0050】
なお、第2の評価処理において、n個の第2スコアを参照して被検者Pの爪の色に基づく衛生状態の合否を判定する手法は、上述したものに限定されない。例えば、評価部222は、n個の第2スコアの最大値、最小値、中央値等の各種の統計値が閾値以上であるか否かに基づき判定を行ってもよい。例えば、最小値を用いる場合、換言すると、爪の色が良好でない爪が1つでもある場合、不合格と判定される。また、例えば、最大値を用いる場合、換言すると、爪の色が良好である爪が1つでもある場合、合格と判定される。また、第1の評価処理及び第2の評価処理の実行順序は、順不同である。換言すると、評価部222は、第1の評価処理の次に第2の評価処理を行ってもよいし、第2の評価処理の次に第1の評価処理を行ってもよいし、これらの評価処理を並行して行ってもよい。
【0051】
(評価結果を示す情報の生成処理)
評価部222は、第1情報及び第2情報に基づき、屋内への入退場可否を示す情報を生成する。例えば、評価部222は、(i)抽出できた部分画像の個数nが2以上であり、且つ(ii)爪の長さに基づく衛生状態の評価結果及び爪の色に基づく衛生状態の評価結果の両方が「合格」である場合に、被検者Pは屋内への入退可能であることを示す情報を生成する。また、評価部222は、(i)および(ii)の何れも満たされない場合に、被検者Pは屋内への入退不可であることを示す情報を生成する。評価部222は、被検者Pの識別情報に関連付けて、入退可否を示す情報を記憶部23に記憶する。なお、評価部222は、被験者Pの識別情報に、当該評価ステップM12を実行した評価日時を関連付け、被検者Pの識別情報及び評価日時で一意に識別されるレコードとして、爪の長さの合否、爪の色の合否、及び入退可否を示す情報を記憶してもよい。ここで、「屋内」は、任意の建物の内部であり、例えば、建物内の任意の部屋である。「建物」は、特に限定されないが、手の衛生的状態が求められる食品の製造現場の建物(例えば、食品加工工場等)や医療現場の建物(例えば、病院等)であることが好適である。
【0052】
評価部222は、衛生上の観点から、被検者Pの両手について、爪の長さ及び色に基づく衛生状態を評価することが好ましい。被検者Pの両手の画像データは1つの画像データであってもよく、片手ずつをそれぞれ撮像することによって取得した個別の画像データであってもよい。
【0053】
衛生上の観点から、評価部222は、画像データに含まれている少なくとも2本以上の指の爪の領域(部分画像データIMG-i)に基づいて、爪の長さ及び色に基づく衛生状態を評価することが好ましい。物体検出アルゴリズムによって1本の爪として認識された爪の部分画像データの内、2つ以上の爪の部分画像データを入力データとして用いればよく、どの指の爪の部分画像データを入力データとして選択するかについては特に限定されない。なお、被検者Pの両手について爪の長さ及び色に基づく衛生状態を評価する場合は、片方の手につき2つ以上の爪の部分画像データを入力データとして用いればよい。
【0054】
出力ステップM13は、評価ステップM12にて評価した爪の衛生状態の評価結果を示す情報を出力するステップである。この出力ステップM13において、情報処理装置20aは、評価結果を示す情報を記憶部23から読み出して出力装置30aに出力することによって、ユーザに提示する。
【0055】
図8は、
図5の評価システム1aに含まれる出力装置30aが出力する画面の一例を示す図である。
図8に示す画面例500は、典型的には、出力装置30aが、被験者Pにより視認可能に設置されている場合に好適な画面例である。画面例500は、各被験者に関する入退可否を示す情報501を含む。入退可否を示す情報501は、評価ステップM12において評価部222が記憶部23に記憶した情報が読み込まれて出力される。画面例500を視認することにより、被検者Pは、屋内への入退場可否を容易に確認することができる。なお、画面例500は、屋内への入場可否を示す情報501に加えて、他の付加情報を含んでいてもよい。例えば、画面例500は、屋内への入場不可を示す情報501を含む場合は、不可と評価された理由(例えば、爪の長さが不合格、爪の色が不合格等)も出力してもよい。
【0056】
図9は、
図5の評価システム1aに含まれる出力装置30aが出力する画面の一例を示す図である。
図9に示す画面例600は、典型的には、出力装置30aが、管理者Sにより視認可能に設置されている場合に好適な画面例である。画面例600は、各被験者に関する評価結果を示す情報601を含む。評価結果を示す情報601は、被検者Pの識別情報である社員コードと、評価日時と、爪の長さの合否と、爪の色の合否と、入退可否とをそれぞれ示す情報を含む。これらの情報は、評価ステップM12において評価部222が記憶部23に記憶した情報が読み込まれて出力される。画面例601を視認することにより、管理者Sは、各被検者Pの爪の衛生状態の評価結果を示す情報を一覧で確認することができる。
【0057】
(撮像装置10aの構成)
撮像装置10aの構成について、
図10を参照して説明する。
図10は、
図5の評価システム1aに含まれる撮像装置10aの構成を示す斜視図である。撮像装置10aは、撮像ボックス105を備えている。撮像装置10aにおいて、撮像機器101は、撮像ボックス105の内部に設置されている。撮像ボックス105は、底面103と、遮光壁としての側面102と、撮像機器101が設置される天面104と、を有している。撮像装置10aは、
図10に示される3次元座標空間に配置される。撮像装置10aの撮像ボックス105における底面103をxy平面に配置し、xy平面に直交する法線方向のうち、天頂へ向かう方向をz軸方向と定める。
【0058】
撮像ボックス105の4つの側面102の内の1つの面は、撮像ボックス105の内部に被検者Pの爪を含む人体の部位を挿入可能な開口部107を有している。この開口部107を有している側面を特に、前面106と称する。
【0059】
前面106は、撮像ボックス105の内部を撮像ボックス105の外側から目視可能であり、且つ撮像ボックス105内の光の照射が一定となるように、半透明の材料で形成されている。これにより、被検者Pが、撮像ボックス105の内部の様子を撮像ボックス105の外側から目視で確認しながら、被検者Pの手を撮像ボックス105の内部に差し入れることができる。前面106を形成する材料は、半透明の材料であれば特に限定されない。例えば、樹脂、ガラス等の半透明の材料から形成することができる。ここで、「半透明」とは、撮像ボックス105内の光環境が撮像時に外部からの光に干渉されにくく、かつ、被検者Pが撮像ボックス105の外側から撮像ボックス105内の自分の手を目視で認識できる程度に透明であればよい。
【0060】
開口部107の大きさは特に限定されないが、撮像ボックス105の外からの光が撮像ボックス105の内部に侵入することを防ぐ観点から、被検者Pの手を撮像ボックス105の内部に差し入れ可能な範囲で最小の大きさであることが好ましい。また、撮像ボックス105の内部に差し入れた手を底面103上に載置し易いように、開口部107は、前面106の下側に設けられていることが好ましい。
【0061】
底面103は、撮像機器101に対する被検者Pの手の水平方向の位置合わせを可能にする位置合わせ台として機能する。撮像機器101は、位置合わせ台としての撮像ボックス105の底面103を撮像範囲に含むように設置されている。底面103は、撮像機器101に向く面が単色であることが好ましく、例えば、黒色、青色等の被検者Pの手の色とのコントラストが大きい色であることが好ましい。底面103の色として被検者Pの手の色とのコントラストが大きい色を選択することで、撮像機器101が生成した「爪を被写体として含む画像データ」において、情報処理装置20aによる爪の認識精度を高めることができる。
【0062】
撮像装置10aは、隣接する爪同士が離間した状態で爪を含む人体の部位を撮影することを可能にするガイド機構を備えていることが好ましい。
図11は、
図10の撮像装置10aが備えているガイド機構の構成の一例を示す上面図であり、1101は、撮像ボックス105の底面103aがガイド機構として複数個の突起109aを備えている構成(変形例1)を説明しており、1102は、撮像ボックス105の底面103bがガイド機構として手の形状のガイド線109bを備えている構成(変形例2)を説明している。
【0063】
変形例1において、ガイド機構としての複数個の突起109aは、撮像ボックス105の底面103aからZ軸正方向に突出している。複数個の突起109aは、底面103a上に所定の間隔で配置されている。被検者Pは、撮像ボックス105内に手を差し込んだ後に、指と指との間に突起109aがそれぞれ位置するように底面103a上に手を載置すればよい。撮像装置10aがガイド機構としての複数個の突起109aを備えることにより、被検者Pが、底面103a上に撮影に適した状態で手を載置できるようガイドすることができるので、隣接する爪同士が離間した状態で爪を含む人体の部位を撮影することが可能になる。その結果、撮像機器101が生成した「爪を被写体として含む画像データ」において、情報処理装置20aによる爪の認識精度を高めることができる。
【0064】
変形例2のように、ガイド機構が手の形状のガイド線109bである場合は、被検者Pは、撮像ボックス105内に手を差し込んだ後に、ガイド線109bの形状に合うように開いた状態で底面103b上に手を載置すればよい。変形例2においても、変形例1と同様に、被検者Pが、底面103b上に撮影に適した状態で手を載置できるようガイドすることができるので、隣接する爪同士が離間した状態で爪を含む人体の部位を撮影することが可能になる。その結果、撮像機器101が生成した「爪を被写体として含む画像データ」において、情報処理装置20aによる爪の認識精度を高めることができる。なお、前面106は半透明の材料で形成されているため、被検者Pは、撮像ボックス105内の手の位置を前面106越しに目視で確認しながら、底面103b上の適切な位置に手を載置することができる。
【0065】
撮像装置10aが備えているガイド機構の構成は、前述の変形例に限定されない。例えば、底面103の凸凹であったり、底面103の表面の一部に棒状のものを設置したり、複数の色彩を用いた模様であってもよい。また、例えば、撮像装置10aが生成した「爪を被写体として含む画像データ」において、被検者Pの手の指の開き具合が十分でなく、情報処理装置20aが1本の爪として認識することができなかった場合に、情報処理装置20aは、隣り合う指同士がもっと離れた状態で底面103上に手を載置し直すことを被検者Pに促すメッセージを出力装置30aに表示させるように構成してもよい。
【0066】
撮像装置10aは、撮像ボックス105内部に照明として複数個のLED(light emitting diode)108を備えている。これにより、底面103の全面に均一な光を照射することができる。複数個のLED108が照射する光の強さは、爪に照射された光の反射が強くなり過ぎて爪の色に基づく衛生状態の評価精度に影響を及ぼさないように、適宜調整すればよい。
【0067】
(機械学習装置40の構成)
機械学習装置40の構成について、
図5を参照して説明する。機械学習装置40は、記憶部41及び制御部42を備えている。制御部42は、機械学習装置40を統括的に制御する。機械学習装置40において、制御部42は、構築部421を含む。構築部421は、機械学習方法M2を実行する。
【0068】
(機械学習方法M2の流れ)
機械学習方法M2の流れについて、
図12を参照して説明する。
図12は、機械学習方法M2の流れを示すフローチャートである。
【0069】
機械学習方法M2は、学習用データセット構築ステップM21と、学習済モデル構築ステップM22と、を含んでいる。
【0070】
(学習用データセット構築ステップM21)
学習用データセット構築ステップM21は、プロセッサ401が、第1の学習用データセット及び第2の学習用データセットを作成するステップである。
【0071】
(第1の学習用データセットの作成処理)
第1の学習用データセットは、第1の評価モデル21aを構築するための複数個の第1学習用データ(教師データ)の集合である。
【0072】
各第1学習用データは、1本の爪を被写体として含む教師画像データと、正解情報とを含む。教師画像データは、撮像装置10aが撮影したものであってもよいし、他の撮像装置が撮影したものであってもよい。また、教師画像データは、複数の爪を被写体として含む画像データから抽出された部分画像データであってもよい。また、教師画像データは、ネットワーク上に公開された公開画像データであってもよいし、当該公開画像データから抽出された部分画像データであってもよい。正解情報は、評価者による爪の長さの評価結果を示す情報である。
【0073】
学習用データセット構築ステップM21において、構築部421は、教師画像データを取得し、表示装置(図示せず)に表示する。また、構築部421は、評価者による爪の長さに基づく衛生状態の評価結果を示す正解情報を、入力装置(図示せず)を介して取得する。例えば、評価者は、表示装置に表示された教師画像データを視認して、「合格」または「不合格」との評価結果を入力装置から入力してもよい。また、評価者は、表示装置に表示された教師画像データを視認して、衛生状態のスコアを入力装置から入力してもよい。
【0074】
また、構築部421は、教師画像データと、正解情報とを含む第1学習用データを生成する。また、構築部421は、生成した第1学習用データを記憶部41に格納する。以上のプロセスを、複数の教師画像データに対して構築部421が繰り返すことによって、第1の学習用データセットが作成される。
【0075】
(第2の学習用データセットの作成処理)
第2の学習用データセットは、第2の評価モデル21bを構築するための複数個の第2学習用データ(教師データ)の集合である。
【0076】
各第2学習用データは、1本の爪を被写体として含む教師画像データと、正解情報とを含む。教師画像データについては、第1の学習用データセットの作成処理において説明した通りである。なお、第2の学習用データセットの作成処理で用いる教師データの一部または全部は、第1の学習用データセットの作成に用いたものと同一であってもよい。正解情報は、評価者による爪の色の評価結果を示す情報である。
【0077】
学習用データセット構築ステップM21において、構築部421は、教師画像データを取得し、表示装置(図示せず)に表示する。また、構築部421は、評価者による爪の色に基づく衛生状態の評価結果を示す正解情報を、入力装置(図示せず)を介して取得する。評価者による正解情報の入力手法の具体例については、第1の学習用データセットの作成処理において説明した通りである。
【0078】
また、構築部421は、教師画像データと、正解情報とを含む第2学習用データを生成する。また、構築部421は、生成した第2学習用データを記憶部41に格納する。以上のプロセスを、複数の教師画像データに対して構築部421が繰り返すことによって、第2の学習用データセットが作成される。
【0079】
(学習済モデル構築ステップM22)
学習済モデル構築ステップM22は、構築部421が、第1の評価モデル21a及び第2の評価モデル21bを構築するステップである。学習済モデル構築ステップM22において、構築部421は、第1の学習用データセットを用いた教師あり学習によって、第1の評価モデル21aを構築する。また、構築部421は、第2の学習用データセットを用いた教師あり学習によって、第2の評価モデル21bを構築する。構築された第1の評価モデル21a及び第2の評価モデル21bは、記憶部41に格納される。
【0080】
(実施形態2の他の態様1)
実施形態2として、評価部222が爪の衛生状態を評価するために用いる評価モデルの個数が、2つである態様を説明した。ただし、評価部222が用いる評価モデルの個数は2つに限定されない。例えば、評価部222は、第1の評価モデル21a及び第2の評価モデル21bの何れか一方を用いて爪の衛生状態を評価してもよい。また、評価部222は、第1の評価モデル21a及び第2の評価モデル21bに加えて、他の評価モデルを用いて爪の衛生状態を評価してもよい。この場合、他の評価モデルは、爪を被写体として含む画像データを入力として、爪の他の観点に基づく衛生状態の評価結果を示す情報を出力するよう機械学習により構築される。
【0081】
(実施形態2の他の態様2)
実施形態2として、第1の評価モデル21a及び第2の評価モデル21bの入力が、1つの爪を被写体として含む部分画像データIMG-iである態様を説明した。ただし、第1の評価モデル21a及び第2の評価モデル21bの入力は、2本以上の指の爪を被写体として含む画像データHであってもよい。
【0082】
この場合、構築部421は、複数の爪を被写体として含む学習用の画像データと、評価者が複数の爪の長さに基づく衛生状態を評価した評価結果を示す正解情報とを含む第1学習用データを生成する。これにより、第1の評価モデル21aは、そのような第1学習用データからなる第1学習用データセットを用いて機械学習される。また、構築部421は、複数の爪を被写体として含む学習用の画像データと、評価者が複数の爪の色に基づく衛生状態を評価した評価結果を示す正解情報とを含む第2学習用データを生成する。これにより、第2の評価モデル21bは、そのような第2学習用データからなる第2学習用データセットを用いて機械学習される。
【0083】
また、この場合、評価部222は、評価ステップM12において、部分画像データの抽出処理を省略し、取得部221が取得した画像データHを第1の評価モデル21a及び第2の評価モデル21bのそれぞれに入力してもよい。
【0084】
なお、第1の評価モデル21a及び第2の評価モデル21bの入力が部分画像データIMG-iである場合、比較的少ない学習用の画像データを用いて第1の評価モデル21a及び第2の評価モデル21bを精度よく構築することが可能である。これに対して、第1の評価モデル21a及び第2の評価モデル21bの入力が画像データHである場合、評価部222の処理コストを低減することが可能であるというメリットがある。
【0085】
(実施形態2の他の態様3)
実施形態2において、評価システム1aは、出力装置30aの代わりに、被検者端末と、被検者側の出力装置と、管理者端末と、管理者側の出力装置とを含んでもよい。この場合、情報処理装置20aは、被検者端末及び管理者端末のそれぞれと、ネットワークを介して通信可能に接続される。例えば、被検者端末と、被検者側の出力装置と、撮像装置10aとは、食品工場の入口付近に設置される。また、例えば、管理者端末と、管理者側の出力装置とは、管理者のオフィスに設置される。
【0086】
本態様において、評価部222は、出力ステップM13において、
図8に示すような被検者向けの情報を被検者側の出力装置に出力し、
図9に示すような管理者向けの情報を管理者側の出力装置に出力してもよい。また、評価部222は、管理者向けの情報を管理者側の出力装置に出力する処理を、出力ステップM13において実行することに代えて、または加えて、管理者による要求に応じて実行してもよい。管理者による要求は、管理者端末の入力装置(図示せず)を介して入力される。
【0087】
(実施形態2の他の態様4)
実施形態2として、情報処理装置20aの記憶部23に第1の評価モデル21aおよび第2の評価モデル21bが格納されている態様を説明した。しかし、情報処理装置20aは、第1の評価モデル21aおよび第2の評価モデル21bを含んでいなくてもよい。例えば、第1の評価モデル21aおよび第2の評価モデル21bは、情報処理装置20aとネットワークを介して接続された他のコンピュータ(例えば、クラウドサーバを構成するコンピュータ)に内蔵されていてもよい。そしてこの場合、情報処理装置20aの評価部222は、ネットワーク経由で第1の評価モデル21aおよび第2の評価モデル21bを利用して、爪の長さ及び色に基づく衛生状態の評価結果を生成すればよい。
【0088】
(実施形態2の効果)
本実施形態は、画像データを入力として、AI(Artificial Intelligence、人工知能)を用いて爪の衛生状態を評価するので、画像解析が不要であり、また、解析結果に基づき爪の衛生状態を評価する評価ルールをあらかじめ設ける必要がないというメリットを有している。これは、AIを用いている実施形態1の評価システム1と同様の効果といえる。また、本実施形態では、評価部222は、爪の長さ及び色に基づく衛生状態を評価するので、爪の長さのみに基づく衛生状態を評価する場合と比較して、爪の衛生状態を精度よく、より多角的に評価することができる。さらには、本実施形態では、評価部222が、第1の評価モデル21a及び第2の評価モデル21bの2種類の評価モデルを用いるので、1種の評価モデルを用いて爪の長さ及び色に基づく衛生状態を評価する場合と比較して、爪の衛生状態をより精度良く評価することができる。
【0089】
(情報処理装置20aのハードウエア構成例)
情報処理装置20aは、例えば
図13のようなハードウエア構成を備えていてもよい。
図13は、情報処理装置20aのハードウエア構成の一例を示すブロック図である。
【0090】
情報処理装置20aは、汎用コンピュータを用いて実現されており、プロセッサ201と、一次メモリ202と、二次メモリ203と、入出力インタフェース204と、通信インタフェース205と、バス206とを備えている。プロセッサ201、一次メモリ202、二次メモリ203、入出力インタフェース204、及び通信インタフェース205は、バス206を介して相互に接続されている。
【0091】
二次メモリ203には、情報処理プログラム及び1または複数の評価モデルが格納されている。二次メモリ203は、記憶部23を実現する構成の一例である。プロセッサ201は、二次メモリ203に格納されている情報処理プログラム及び1または複数の評価モデルを一次メモリ202上に展開する。そして、プロセッサ201は、一次メモリ202上に展開された情報処理プログラムに含まれる命令に従って、情報処理方法M1に含まれる各ステップを実行することにより、制御部22として機能する。一次メモリ202上に展開された1または複数の評価モデル(例えば、第1の評価モデル21a及び第2の評価モデル21b)は、情報処理方法M1の評価ステップM12をプロセッサ201が実行する際に利用される。なお、情報処理プログラムが二次メモリ203に格納されているとは、ソースコード、または、ソースコードをコンパイルすることにより得られた実行形式ファイルが二次メモリ203に記憶されていることを指す。また、1または複数の評価モデルが二次メモリ203に格納されているとは、1または複数の評価モデルを規定するパラメータが二次メモリ203に格納されていることを指す。
【0092】
プロセッサ201として利用可能なデバイスとしては、例えば、CPU(Central Processing Unit)、GPU(Graphic Processing Unit)、DSP(Digital Signal Processor)、MPU(Micro Processing Unit)、FPU(Floating point number Processing Unit)、PPU(Physics Processing Unit)、マイクロコントローラ、または、これらの組み合わせを挙げることができる。
【0093】
また、一次メモリ202として利用可能なデバイスとしては、例えば、RAM(Random Access Memory)を挙げることができる。一次メモリ202は、「主記憶装置」と呼ばれることもある。また、二次メモリ203として利用可能なデバイスとしては、例えば、フラッシュメモリ、HDD(Hard Disk Drive)、SSD(Solid State Drive)、ODD(Optical Disk Drive)、または、これらの組み合わせを挙げることができる。二次メモリ203は、「補助記憶装置」と呼ばれることもある。なお、二次メモリ203は、情報処理装置20aに内蔵されていてもよいし、入出力インタフェース204または通信インタフェース205を介して情報処理装置20aと接続された他のコンピュータ(例えば、クラウドサーバを構成するコンピュータ)に内蔵されていてもよい。なお、本実施形態においては、情報処理装置20aにおける記憶を2つのメモリ(一次メモリ202及び二次メモリ203)により実現しているが、これに限定されない。すなわち、情報処理装置20aにおける記憶を1つのメモリにより実現してもよい。この場合、例えば、そのメモリの或る記憶領域を一次メモリ202として利用し、そのメモリの他の記憶領域を二次メモリ203として利用すればよい。
【0094】
入出力インタフェース204には、入力デバイス及び/または出力デバイスが接続される。入出力インタフェース204としては、例えば、USB(Universal Serial Bus)、ATA(Advanced Technology Attachment)、SCSI(Small Computer System Interface)、PCI(Peripheral Component Interconnect)などのインタフェースが挙げられる。入出力インタフェース204に接続される入力デバイスとしては、撮像装置10aが挙げられる。情報処理方法M1において撮像装置10aから取得する画像データは、一次メモリ202に記憶される。また、入出力インタフェース204に接続される入力デバイスとしては、例えば、キーボード、マウス、タッチパッド、マイク、または、これらの組み合わせが挙げられる。また、入出力インタフェース204に接続される出力デバイスとしては、例えば、出力装置30a(ディスプレイ、プロジェクタ、プリンタ、スピーカ、ヘッドホン、または、これらの組み合わせ)が挙げられる。情報処理方法M1においてユーザに提供する情報は、これらの出力デバイスを介して情報処理装置20aから出力される。なお、情報処理装置20aは、ラップトップ型コンピュータのように、入力デバイスとして機能するキーボードと、出力デバイスとして機能するディスプレイとを、それぞれ内蔵してもよい。或いは、情報処理装置20aは、タブレット型コンピュータのように、入力デバイス及び出力デバイスの両方として機能するタッチパネルを内蔵していてもよい。
【0095】
通信インタフェース205には、ネットワークを介して他のコンピュータが有線接続または無線接続される。通信インタフェース205としては、例えば、イーサネット(登録商標)、Wi-Fi(登録商標)などのインタフェースが挙げられる。利用可能なネットワークとしては、例えば、PAN(Personal Area Network)、LAN(Local Area Network)、CAN(Campus Area Network)、MAN(Metropolitan Area Network)、WAN(Wide Area Network)、GAN(Global Area Network)、または、これらのネットワークを含むインターネットワークが挙げられる。インターネットワークは、イントラネットであってもよいし、エクストラネットであってもよいし、インターネットであってもよい。情報処理方法M1において情報処理装置20aが他のコンピュータ(例えば、機械学習装置40)から取得するデータ(例えば、1または複数の評価モデル)、及び、情報処理方法M1において情報処理装置20aが他のコンピュータに提供するデータは、これらのネットワークを介して送受信される。
【0096】
なお、本実施形態においては、単一のプロセッサ(プロセッサ201)を用いて情報処理方法M1を実行する構成を採用しているが、本発明は、これに限定されない。すなわち、複数のプロセッサを用いて情報処理方法M1を実行する構成を採用してもよい。例えば、取得ステップM11を第1のプロセッサにおいて実行し、評価ステップM12を第2のプロセッサにおいて実行してもよい。この場合、連携して情報処理方法M1を実行する複数のプロセッサは、単一のコンピュータに設けられ、バスを介して相互に通信可能に構成されていてもよいし、複数のコンピュータに分散して設けられ、ネットワークを介して相互に通信可能に構成されていてもよい。一例として、クラウドサーバを構成するコンピュータに内蔵されたプロセッサと、そのクラウドサーバの利用者が所有するコンピュータに内蔵されたプロセッサとが、連携して情報処理方法M1を実行する態様などが考えられる。
【0097】
また、本実施形態においては、情報処理方法M1を実行するプロセッサ(プロセッサ201)と同じコンピュータに内蔵されたメモリ(二次メモリ203)に評価モデルを格納する構成を採用しているが、本発明は、これに限定されない。すなわち、情報処理方法M1を実行するプロセッサと異なるコンピュータに内蔵されたメモリに1または複数の評価モデルを格納する構成を採用してもよい。この場合、1または複数の評価モデルを格納するメモリが内蔵されたコンピュータは、情報処理方法M1を実行するプロセッサが内蔵されたコンピュータとネットワークを介して相互に通信可能に構成される。一例として、クラウドサーバを構成するコンピュータに内蔵されたメモリに1または複数の評価モデルを格納し、そのクラウドサーバの利用者が所有するコンピュータに内蔵されたプロセッサが情報処理方法M1を実行する態様などが考えられる。
【0098】
また、本実施形態においては、単一のメモリ(二次メモリ203)に1または複数の評価モデルを格納する構成を採用しているが、本発明は、これに限定されない。すなわち、複数のメモリに1または複数の評価モデルを分散して格納する構成を採用してもよい。この場合、1または複数の評価モデルを格納する複数のメモリは、単一のコンピュータ(情報処理方法M1を実行するプロセッサが内蔵されたコンピュータであってもよいし、そうでなくてもよい)に設けられていてもよいし、複数のコンピュータ(情報処理方法M1を実行するプロセッサが内蔵されたコンピュータを含んでいてもよいし、そうでなくてもよい)に分散して設けられていてもよい。一例として、クラウドサーバを構成する複数のコンピュータの各々に内蔵されたメモリに1または複数の評価モデルを分散して格納する構成などが考えられる。
【0099】
(機械学習装置40のハードウエア構成)
機械学習装置40は、例えば
図14のようなハードウエア構成を備えていてもよい。
図14は、機械学習装置40のハードウエア構成の一例を示すブロック図である。
【0100】
機械学習装置40は、汎用コンピュータを用いて実現されており、プロセッサ401と、一次メモリ402と、二次メモリ403と、入出力インタフェース404と、通信インタフェース405と、バス406とを備えている。プロセッサ401、一次メモリ402、二次メモリ403、入出力インタフェース404、及び通信インタフェース405は、バス406を介して相互に接続されている。
【0101】
二次メモリ403には、機械学習プログラム及び学習用データセットが格納されている。二次メモリ403は、記憶部41を実現する構成の一例である。学習用データセットは、複数個の学習用データの集合である。プロセッサ401は、二次メモリ403に格納されている機械学習プログラムを一次メモリ402上に展開する。そして、プロセッサ401は、一次メモリ402上に展開された機械学習プログラムに含まれる命令に従って、機械学習方法M2に含まれる各ステップを実行することにより制御部42として機能する。二次メモリ403に格納された学習用データセットは、機械学習方法M2の学習用データセット構築ステップM21にて作成され、機械学習方法M2の学習済モデル構築ステップM22において利用される。また、機械学習方法M2の学習済モデル構築ステップM22にて構築された1または複数の評価モデルも、二次メモリ403に格納される。なお、機械学習プログラムが二次メモリ403に格納されているとは、ソースコード、または、ソースコードをコンパイルすることにより得られた実行形式ファイルが二次メモリ403に記憶されていることを指す。また、1または複数の評価モデルが二次メモリ403に格納されているとは、1または複数の評価モデルを規定するパラメータが二次メモリ403に格納されていることを指す。
【0102】
プロセッサ401、一次メモリ402または二次メモリ403として利用可能なデバイスの具体例としては、情報処理装置20aのハードウエア構成の説明において記載したとおりである。なお、二次メモリ403は、機械学習装置40に内蔵されていてもよいし、入出力インタフェース404または通信インタフェース405を介して機械学習装置40と接続された他のコンピュータ(例えば、クラウドサーバを構成するコンピュータ)に内蔵されていてもよい。なお、本実施形態においては、機械学習装置40における記憶を2つのメモリ(一次メモリ402及び二次メモリ403)により実現しているが、これに限定されない。すなわち、機械学習装置40における記憶を1つのメモリにより実現してもよい。この場合、例えば、そのメモリの或る記憶領域を一次メモリ402として利用し、そのメモリの他の記憶領域を二次メモリ403として利用すればよい。
【0103】
入出力インタフェース404には、入力デバイス及び/又は出力デバイスが接続される。入出力インタフェース404の具体例は、情報処理装置20aのハードウエア構成の説明において記載したとおりである。入出力インタフェース404に接続される入力デバイスとしては、撮像装置10aが挙げられる。機械学習方法M2において撮像装置10aから取得するデータは、機械学習装置40に入力され、一次メモリ402に記憶される。また、入出力インタフェース404に接続される入力デバイスの具体例は、情報処理装置20aのハードウエア構成の説明において記載したとおりである。機械学習方法M2においてユーザから取得するデータは、これらの入力デバイスを介して機械学習装置40に入力され、一次メモリ402に記憶される。また、入出力インタフェース404に接続される出力デバイスの具体例は、情報処理装置20aのハードウエア構成の説明において記載したとおりである。機械学習方法M2においてユーザに提供する情報は、これらの出力デバイスを介して機械学習装置40から出力される。なお、機械学習装置40は、ラップトップ型コンピュータのように、入力デバイスとして機能するキーボードと、出力デバイスとして機能するディスプレイとを、それぞれ内蔵してもよい。或いは、機械学習装置40は、タブレット型コンピュータのように、入力デバイス及び出力デバイスの両方として機能するタッチパネルを内蔵していてもよい。
【0104】
通信インタフェース405には、ネットワークを介して他のコンピュータが有線接続又は無線接続される。通信インタフェース405の具体例は、情報処理装置20aのハードウエア構成の説明において記載したとおりである。インターネットワークは、イントラネットであってもよいし、エクストラネットであってもよいし、インターネットであってもよい。機械学習装置40が他のコンピュータ(例えば、情報処理装置20a)に提供するデータ(例えば、1または複数の評価モデル)は、これらのネットワークを介して送受信される。
【0105】
なお、本実施形態においては、単一のプロセッサ(プロセッサ401)を用いて機械学習方法M2を実行する構成を採用しているが、本発明は、これに限定されない。すなわち、複数のプロセッサを用いて機械学習方法M2を実行する構成を採用してもよい。例えば、学習用データセット構築ステップM21を第1のプロセッサにおいて実行し、学習済モデル構築ステップM22を第2のプロセッサにおいて実行する構成を採用してもよい。この場合、連携して機械学習方法M2を実行する複数のプロセッサは、単一のコンピュータに設けられ、バスを介して相互に通信可能に構成されていてもよいし、複数のコンピュータに分散して設けられ、ネットワークを介して相互に通信可能に構成されていてもよい。一例として、クラウドサーバを構成するコンピュータに内蔵されたプロセッサと、そのクラウドサーバの利用者が所有するコンピュータに内蔵されたプロセッサとが、連携して機械学習方法M2を実行する態様などが考えられる。
【0106】
また、本実施形態においては、機械学習方法M2を実行するプロセッサ(プロセッサ401)と同じコンピュータに内蔵されたメモリ(二次メモリ403)に学習用データセットを格納する構成を採用しているが、本発明は、これに限定されない。すなわち、機械学習方法M2を実行するプロセッサと異なるコンピュータに内蔵されたメモリに学習用データセットを格納する構成を採用してもよい。この場合、学習用データセットを格納するメモリが内蔵されたコンピュータは、機械学習方法M2を実行するプロセッサが内蔵されたコンピュータとネットワークを介して相互に通信可能に構成される。一例として、クラウドサーバを構成するコンピュータに内蔵されたメモリに学習用データセットを格納し、そのクラウドサーバの利用者が所有するコンピュータに内蔵されたプロセッサが機械学習方法M2を実行する態様などが考えられる。
【0107】
また、本実施形態においては、単一のメモリ(二次メモリ403)に学習用データセットを格納する構成を採用しているが、本発明は、これに限定されない。すなわち、複数のメモリに学習用データセットを分散して格納する構成を採用してもよい。この場合、学習用データセットを格納する複数のメモリは、単一のコンピュータ(機械学習方法M2を実行するプロセッサが内蔵されたコンピュータであってもよいし、そうでなくてもよい)に設けられていてもよいし、複数のコンピュータ(機械学習方法M2を実行するプロセッサが内蔵されたコンピュータを含んでいてもよいし、そうでなくてもよい)に分散して設けられていてもよい。一例として、クラウドサーバを構成する複数のコンピュータの各々に内蔵されたメモリに学習用データセットを分散して格納する構成などが考えられる。
【0108】
また、本実施形態においては、情報処理方法M1及び機械学習方法M2を異なるプロセッサ(プロセッサ201及びプロセッサ401)を用いて実行する構成を採用しているが、本発明は、これに限定されない。すなわち、情報処理方法M1及び機械学習方法M2を同一のプロセッサを用いて実行してもよい。この場合、機械学習方法M2を実行することによって、このプロセッサと同じコンピュータに内蔵されたメモリに1または複数の評価モデルが格納さる。そして、このプロセッサは、情報処理方法M1を実行する際に、このメモリに格納された1または複数の評価モデルを利用することになる。
【0109】
〔実施形態3〕
(評価システム1bの構成)
本発明の実施形態3に係る評価システム1bについて、
図15を参照して説明する。
図15は、評価システム1bの構成を表すブロック図である。評価システム1aは、
図15に示すように、撮像装置10aと、情報処理装置20bと、出力装置30aと、を備えている。撮像装置10aおよび出力装置30aについては、実施形態2で説明したとおりである。
【0110】
情報処理装置20bは、情報処理方法M1bを実行するための装置である。情報処理装置20bは、機械学習により構築された評価モデルを用いずに、爪の衛生状態を評価する点が、実施形態2と少なくとも異なる。
【0111】
(情報処理装置20bの構成)
情報処理装置20bの構成について、
図15を参照して説明する。情報処理装置20bは、制御部22b及び記憶部23bを備えている。制御部22bは、情報処理装置20bを統括的に制御する。情報処理装置20bにおいて、制御部22bは、取得部221及び評価部222bを含む。取得部221は、情報処理方法M1bの取得ステップM11を実行する。評価部222bは、情報処理方法M1bの評価ステップM12b及び出力ステップM13を実行する。
【0112】
(情報処理方法M1bの流れ)
情報処理方法M1bは、評価ステップM12の代わりに評価ステップM12bを含む点が、実施形態2に係る情報処理方法M1に対して相違する。以下では、当該相違点についてのみ説明する。
【0113】
(評価ステップM12b)
評価ステップM12bにおいて、評価部222bは、公知の画像解析技術を用いて、取得部221が取得した爪を被写体として含む画像データにおける爪の長さを測定する。また、評価部222bは、記憶部23bに予め格納された爪の長さと衛生状態との対応関係を示す情報を参照して、爪の長さの測定結果から、爪の長さに基づく衛生状態を評価し、その評価結果を示すデータを記憶部23bに書き込む。例えば、評価部222は、爪を被写体として含む画像データにおける爪全体の領域の長さに対する、爪先の相対的な長さを「爪の長さ」として測定してもよい。この場合、記憶部23bには、爪の相対的な長さと衛生状態との対応関係を示す情報が格納されている。
【0114】
同様に、評価部222bは、公知の画像解析技術を用いて、取得部221が取得した爪を被写体として含む画像データにおける爪の色を測定する。記憶部23bに予め格納された爪の色と衛生状態との対応関係を示す情報を参照して、爪の色の測定結果から、爪の色に基づく衛生状態を評価し、その評価結果を示すデータを記憶部23bに書き込む。
【0115】
(実施形態3の効果)
本実施形態は、情報処理装置20bは、機械学習により構築された評価モデルを用いずに爪の衛生状態を評価するので、機械学習装置が不要である。従って、評価システム1bの構築コストを低減することが可能であるというメリットがある。
【0116】
〔ハードウエアによる実現例〕
上述した各実施形態では、情報処理装置20、20a及び20bの制御ブロック(特に制御部22、22b)が、二次メモリ203に記憶されたプログラムを読み込んでプロセッサ201が実行することにより実現される態様について説明した。これに限らず、情報処理装置20、20a及び20bの制御ブロックの一部または全部は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよい。また、実施形態2では、機械学習装置40の制御ブロック(特に制御部42)が、二次メモリ403に記憶されたプログラムを読み込んでプロセッサ401が実行することにより実現される態様について説明した。これに限らず、機械学習装置40の制御ブロックの一部または全部は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよい。
【0117】
以上、実施形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。上記実施例に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。また、その様な変更又は改良を加えることが可能であることが当業者に明らかである。また、その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【0118】
〔まとめ〕
本発明は、
(1)爪を被写体として含む画像データを取得する取得部と、前記画像データを参照して前記爪の長さに基づく前記爪の衛生状態を評価することにより、評価結果を示す情報を生成する評価部と、を備えた情報処理装置、
(2)前記評価部は、前記評価結果を示す情報として、前記爪を有する人に対する屋内への入退場可否を含む情報を生成する、(1)の情報処理装置、
(3)前記屋内が、食品工場の部屋または食品加工場である、(2)の情報処理装置、
(4)前記評価部は、前記画像データに含まれている少なくとも2本以上の指の爪の領域に基づいて、前記爪の衛生状態を評価する、(1)~(3)のいずれか1つの情報処理装置、
(5)前記評価部は、前記画像データを参照して、前記爪の色に基づく前記爪の衛生状態をさらに評価する、(1)~(4)のいずれか1つの情報処理装置、
(6)前記画像データを入力として、前記爪の長さに基づく衛生状態の評価結果を示す第1情報を出力するよう機械学習により構築された第1の評価モデルを利用し、前記評価部は、前記第1情報に基づいて前記評価結果を示す情報を生成する、(1)~(5)のいずれか1つの情報処理装置、
(7)前記画像データを入力として、前記爪の色に基づく衛生状態の評価結果を示す第2情報を出力するよう機械学習により構築された第2の評価モデルを利用し、前記評価部は、前記第1情報及び前記第2情報に基づいて前記評価結果を示す情報を生成する、(6)の情報処理装置、
(8)(1)~(7)のいずれか1つの情報処理装置と、前記爪を含む人体の部位を撮像して前記画像データを生成する撮像装置と、前記評価結果を示す情報を出力する出力装置と、を含む評価システム、
(9)前記撮像装置は、撮像機器と、当該撮像機器に対する前記部位の位置合わせを可能にする位置合わせ台と、外部から前記位置合わせ台に入射する光を遮る遮光壁と、を備えており、前記撮像機器は、前記位置合わせ台を撮像範囲に含むように設置され、前記位置合わせ台は、前記撮像機器に向く面が単色であり、前記遮光壁は、前記位置合わせ台の周囲に設置されている、(8)の評価システム、
(10)前記撮像機器は、撮像ボックスの内部に設置され、前記撮像ボックスは、前記位置合わせ台としての底面と、前記遮光壁としての側面と、前記撮像機器が設置される天面と、を有し、前記側面は前記撮像ボックスの内部に前記部位を挿入可能な開口部を有している、(9)の評価システム、
(11)前記撮像装置は、隣接する爪同士が離間した状態で前記部位を撮影することを可能にするガイド機構を備えている、(9)または(10)の評価システム、
(12)学習用データセットを用いた機械学習によって、爪の長さに基づく衛生状態を評価する第1の評価モデルを構築する構築部を備えており、前記第1の評価モデルの入力は、爪を被写体として含む画像データであり、前記第1の評価モデルの出力は、前記爪の長さに基づく衛生状態の評価結果を示す第1情報である、機械学習装置、
(13)前記構築部は、学習用データセットを用いた機械学習によって、爪の色に基づく衛生状態を評価する第2の評価モデルをさらに構築し、前記第2の評価モデルの入力は、爪を被写体として含む画像データであり、前記第2の評価モデルの出力は、前記爪の色に基づく衛生状態の評価結果を示す第2情報である、(12)の機械学習装置、
(14)爪を被写体として含む画像データを取得する取得ステップと、前記画像データを参照して前記爪の長さに基づく前記爪の衛生状態を評価することにより、評価結果を示す情報を生成する評価ステップと、を含む、情報処理方法、
(15)(1)~(7)のいずれか1つの情報処理装置としてコンピュータを機能させるためのプログラム、
である。
【符号の説明】
【0119】
1 爪の状態検査装置(評価システム)
1a、1b 評価システム
10(10’) 撮像装置(撮像端末)
10a 撮像装置(撮像端末)
20 演算装置(情報処理装置)
20a、20b 情報処理装置
21 学習済みニューラルネットワーク
21a 第1の評価モデル
21b 第2の評価モデル
22、22b 制御部
23、23b 記憶部
30(30’) 入出力装置(入出力端末)(出力装置)
30a 出力装置
40 機械学習装置
101 撮像装置(撮像機器)
102 遮光壁(側面)
103、103a、103b 底面(位置合わせ台)
104 天面
105 撮像ボックス
106 前面
107 開口部
108 LED
109a 突起(ガイド機構)
109b ガイド線(ガイド機構)
201 プロセッサ
202 一次メモリ
203 二次メモリ
204 入出力インタフェース
205 通信インタフェース
206 バス
221 取得部
222、222b 評価部
401 プロセッサ
402 一次メモリ
403 二次メモリ
404 入出力インタフェース
405 通信インタフェース
406 バス
500 画面例
501 屋内への入場不可を示す情報
600 画面例
601 屋内への入場不可を示す情報
R 部屋(屋内)
H 手の画像
P 被検者
S 管理者