IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本電気株式会社の特許一覧

特許7420214学習データ生成装置、学習データ生成方法、学習モデル生成方法、プログラム
<>
  • 特許-学習データ生成装置、学習データ生成方法、学習モデル生成方法、プログラム 図1
  • 特許-学習データ生成装置、学習データ生成方法、学習モデル生成方法、プログラム 図2
  • 特許-学習データ生成装置、学習データ生成方法、学習モデル生成方法、プログラム 図3
  • 特許-学習データ生成装置、学習データ生成方法、学習モデル生成方法、プログラム 図4
  • 特許-学習データ生成装置、学習データ生成方法、学習モデル生成方法、プログラム 図5
  • 特許-学習データ生成装置、学習データ生成方法、学習モデル生成方法、プログラム 図6
  • 特許-学習データ生成装置、学習データ生成方法、学習モデル生成方法、プログラム 図7
  • 特許-学習データ生成装置、学習データ生成方法、学習モデル生成方法、プログラム 図8
  • 特許-学習データ生成装置、学習データ生成方法、学習モデル生成方法、プログラム 図9
  • 特許-学習データ生成装置、学習データ生成方法、学習モデル生成方法、プログラム 図10
  • 特許-学習データ生成装置、学習データ生成方法、学習モデル生成方法、プログラム 図11
  • 特許-学習データ生成装置、学習データ生成方法、学習モデル生成方法、プログラム 図12
  • 特許-学習データ生成装置、学習データ生成方法、学習モデル生成方法、プログラム 図13
  • 特許-学習データ生成装置、学習データ生成方法、学習モデル生成方法、プログラム 図14
  • 特許-学習データ生成装置、学習データ生成方法、学習モデル生成方法、プログラム 図15
  • 特許-学習データ生成装置、学習データ生成方法、学習モデル生成方法、プログラム 図16
  • 特許-学習データ生成装置、学習データ生成方法、学習モデル生成方法、プログラム 図17
  • 特許-学習データ生成装置、学習データ生成方法、学習モデル生成方法、プログラム 図18
  • 特許-学習データ生成装置、学習データ生成方法、学習モデル生成方法、プログラム 図19
  • 特許-学習データ生成装置、学習データ生成方法、学習モデル生成方法、プログラム 図20
  • 特許-学習データ生成装置、学習データ生成方法、学習モデル生成方法、プログラム 図21
  • 特許-学習データ生成装置、学習データ生成方法、学習モデル生成方法、プログラム 図22
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-01-15
(45)【発行日】2024-01-23
(54)【発明の名称】学習データ生成装置、学習データ生成方法、学習モデル生成方法、プログラム
(51)【国際特許分類】
   G06N 20/00 20190101AFI20240116BHJP
   G01N 33/00 20060101ALI20240116BHJP
【FI】
G06N20/00 130
G01N33/00 C
【請求項の数】 8
(21)【出願番号】P 2022505678
(86)(22)【出願日】2020-03-13
(86)【国際出願番号】 JP2020010982
(87)【国際公開番号】W WO2021181643
(87)【国際公開日】2021-09-16
【審査請求日】2022-08-12
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100109313
【弁理士】
【氏名又は名称】机 昌彦
(74)【代理人】
【識別番号】100149618
【弁理士】
【氏名又は名称】北嶋 啓至
(72)【発明者】
【氏名】清水 ひろみ
(72)【発明者】
【氏名】西本 慎之介
(72)【発明者】
【氏名】渡辺 純子
(72)【発明者】
【氏名】江藤 力
(72)【発明者】
【氏名】殿内 規之
(72)【発明者】
【氏名】山田 聡
【審査官】多賀 実
(56)【参考文献】
【文献】特開2019-060870(JP,A)
【文献】米国特許出願公開第2019/0220698(US,A1)
【文献】国際公開第2019/135403(WO,A1)
【文献】国際公開第2020/008711(WO,A1)
【文献】中本 高道,「におい認識技術の最近の研究状況」,電子情報通信学会誌,社団法人電子情報通信学会,1996年10月25日,第79巻, 第10号,pp.1028-1029
(58)【調査した分野】(Int.Cl.,DB名)
G06N 3/00-99/00
G01N 33/00
(57)【特許請求の範囲】
【請求項1】
ニオイデータと前記ニオイデータに関する情報とを取得する取得手段と、
前記ニオイデータに関する情報に基づいて、ラベル候補を生成するラベル候補生成手段と、
前記生成したラベル候補を出力する出力手段と、
前記出力されたラベル候補からラベルの選択を受け付ける受付手段と、
前記選択されたラベルと前記ニオイデータとから学習データを生成する学習データ生成手段とを備え、
前記ニオイデータに関する情報は、前記ニオイデータに関する音声、テキスト、又は、画像のうち少なくとも一つである、
学習データ生成装置。
【請求項2】
前記ニオイデータに関する情報は、ニオイデータとラベルとの関係を学習した学習済みモデルであり、
前記ラベル候補生成手段は、前記取得したニオイデータと、前記学習済みモデルとに基づいて前記ラベル候補を生成し、
請求項1に記載の学習データ生成装置。
【請求項3】
前記学習済みモデルは、ニオイデータと、ニオイの官能評価の結果との関係が学習された、
請求項に記載の学習データ生成装置。
【請求項4】
前記学習済みモデルは、ニオイデータと、前記ニオイデータの測定対象の化学的性質を示すデータとの関係が学習された、
請求項2または3に記載の学習データ生成装置。
【請求項5】
前記学習済みモデルは、ニオイデータとニオイを嗅いだときの生体反応を示すデータとの関係が学習された、
請求項からの何れか1項に記載の学習データ生成装置。
【請求項6】
ニオイデータと前記ニオイデータに関する情報とを取得し、
前記ニオイデータに関する情報に基づいて、ラベル候補を生成し、
前記生成したラベル候補を出力し、
前記出力されたラベル候補からラベルの選択を受け付け、
前記選択されたラベルとニオイデータとから学習データを生成
前記ニオイデータに関する情報は、前記ニオイデータに関する音声、テキスト、又は、画像のうち少なくとも一つである、
学習データ生成方法。
【請求項7】
ニオイデータと前記ニオイデータに関する情報とを取得し、
前記ニオイデータに関する情報に基づいて、ラベル候補を生成し、
前記生成したラベル候補を出力し、
前記出力されたラベル候補からラベルの選択を受け付け、
前記選択されたラベルとニオイデータとから学習データを生成し、
前記生成した学習データに基づいて学習モデルを生成
前記ニオイデータに関する情報は、前記ニオイデータに関する音声、テキスト、又は、画像のうち少なくとも一つである、
学習モデル生成方法。
【請求項8】
ニオイデータと前記ニオイデータに関する情報とを取得する処理と、
前記ニオイデータに関する情報に基づいて、ラベル候補を生成する処理と、
前記生成したラベル候補を出力する処理と、
前記出力されたラベル候補からラベルの選択を受け付ける処理と、
前記選択されたラベルとニオイデータとから学習データを生成する処理とをコンピュータに実行させ、
前記ニオイデータに関する情報は、前記ニオイデータに関する音声、テキスト、又は、画像のうち少なくとも一つである、
ログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、学習データ生成装置、学習データ生成方法、学習モデル生成方法、プログラム記録媒体に関する。
【背景技術】
【0002】
特許文献1は、検出した室内のニオイと、室内のニオイに関する各ユーザの官能評価とを相互に関連づけて評価データを取得する技術を開示する。
【先行技術文献】
【特許文献】
【0003】
【文献】国際公開第2018/168672号
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1においては、事前に用意された官能評価の選択肢が正解ラベルとして用いられる。そのため、特許文献1に記載の技術では、事前に用意された官能評価の選択肢以外の正解ラベルを用いた機械学習を実行することができない。
【0005】
本発明の目的は、所望の正解ラベルを用いた機械学習を実行するための学習データを生成することにある。
【課題を解決するための手段】
【0006】
本発明の学習データ生成装置は、ニオイデータと前記ニオイデータに関する情報とを取得する取得手段と、前記ニオイデータに関する情報に基づいて、ラベル候補を生成するラベル候補生成手段と、前記生成したラベル候補を出力する出力手段と、前記出力されたラベル候補からラベルの選択を受け付ける受付手段と、前記選択されたラベルと前記ニオイデータとから学習データを生成する学習データ生成手段と、を備える。
【0007】
本発明の学習データ生成方法は、ニオイデータと前記ニオイデータに関する情報とを取得し、前記ニオイデータに関する情報に基づいて、ラベル候補を生成し、前記生成したラベル候補を出力し、前記出力されたラベル候補からラベルの選択を受け付け、前記選択されたラベルとニオイデータとから学習データを生成する。
【0008】
本発明の学習モデル生成方法は、ニオイデータと前記ニオイデータに関する情報とを取得し、前記ニオイデータに関する情報に基づいて、ラベル候補を生成し、前記生成したラベル候補を出力し、前記出力されたラベル候補からラベルの選択を受け付け、前記選択されたラベルとニオイデータとから学習データを生成し、前記生成した学習データに基づいて学習モデルを生成する。
【0009】
本発明の学習データ生成プログラム記録媒体は、ニオイデータと前記ニオイデータに関する情報とを取得する処理と、前記ニオイデータに関する情報に基づいて、ラベル候補を生成する処理と、前記生成したラベル候補を出力する処理と、前記出力されたラベル候補からラベルの選択を受け付ける処理と、前記選択されたラベルとニオイデータとから学習データを生成する処理とをコンピュータに実行させるプログラムを記録するプログラム記録媒体である。
【発明の効果】
【0010】
本発明は、所望の正解ラベルを用いた機械学習を実行するための学習データを生成するという効果がある。
【図面の簡単な説明】
【0011】
図1】ニオイを検知するセンサ10及びセンサ10がニオイを検知することにより得られる時系列データを例示する図である。
図2】予測モデルの概略図である。
図3】学習データ生成システム100の概略を示す図である。
図4】実施形態1の学習データ生成装置2000の機能構成を例示する図である。
図5】学習データ生成装置2000を実現するための計算機を例示する図である。
図6】実施形態1の学習データ生成装置2000によって実行される処理の流れを例示する図である。
図7】端末装置11に表示される、ニオイデータに関する情報として音声を取得する画面を例示する図である。
図8】端末装置11に表示されるラベル候補を選択するための画面を例示する図である。
図9】端末装置11に表示される、ニオイデータに関する情報として画像を取得するための画面を例示する図である。
図10】端末装置11に表示される、測定対象が含まれる部分領域の選択を受け付ける画面を例示する図である。
図11】端末装置11に表示される、ラベルの選択を受け付ける画面を例示する図である。
図12】端末装置11に表示される、ニオイデータに関する情報としてテキストを取得する画面を例示する図である。
図13】記憶部2010が記憶する学習データを例示する図である。
図14】実施形態2の学習データ生成装置2000の機能構成を例示する図である。
図15】実施形態2の学習データ生成装置2000によって実行される処理の流れを例示する図である。
図16】学習済みモデルの概略を示す図である。
図17】ラベル空間を例示する図である。
図18】ラベル候補生成部2070による処理の概略を示す図である。
図19】実施形態3の学習データ生成装置2000の機能構成を例示する図である。
図20】実施形態3の学習データ生成装置2000によって実行される処理の流れを例示する図である。
図21】実施形態4の学習データ生成装置2000の機能構成を例示する図である。
図22】実施形態5の学習データ生成装置2000の機能構成を例示する図である。
【発明を実施するための形態】
【0012】
[実施形態1]
以下、本発明に係る実施形態1を説明する。
【0013】
<センサについて>
本実施形態で用いるセンサについて説明する。図1は、ニオイを検知するセンサ10及びセンサ10がニオイを検知することにより得られる時系列データを例示する図である。センサ10は、分子が付着する受容体を有し、その受容体における分子の付着と離脱に応じて検出値が変化するセンサである。なお、センサ10によってセンシングされているガスを、対象ガスと呼ぶ。また、センサ10から出力される検出値の時系列データを、時系列データ20と呼ぶ。ここで、必要に応じ、時系列データ20をYとも表記し、時刻tの検出値をy(t)とも表記する。Yは、y(t)が列挙されたベクトルとなる。
【0014】
例えば、センサ10は、膜型表面応力センサ(Membrane-type Surface stress Sensor; MSS)である。MSSは、受容体として、分子が付着する官能膜を有しており、その官能膜に対する分子の付着と離脱によってその官能膜の支持部材に生じる応力が変化する。MSSは、この応力の変化に基づく検出値を出力する。なお、センサ10は、MSSには限定されず、受容体に対する分子の付着と離脱に応じて生じる、センサ10の部材の粘弾性や動力学特性(質量や慣性モーメント等)に関連する物理量の変化に基づいて検出値を出力するものであればよく、カンチレバー式、膜型、光学式、ピエゾ、振動応答等の様々なタイプのセンサを採用することができる。
【0015】
<予測モデルについて>
本実施形態で用いる予測モデルについて説明する。図2は、予測モデルの概略図である。ここでは、センサ10から出力される検出値の時系列データから、果物の種類を予測する予測モデルを例として示す。図2(A)は、予測モデルを学習するフェーズを示す。図2(A)では、ある果物の種類(リンゴ等)と、センサ10から出力される検出値の時系列データ20との組み合わせを学習データとして、予測モデルが学習される。図2(B)は、予測モデルを利用するフェーズを示す。図2(B)では、予測モデルは、種類が未知である果物から取得された時系列データを入力として受け付け、果物の種類を予測結果として出力する。
【0016】
なお、以下で説明する実施形態においては、予測モデルは、果物の種類を予測するものに限定されない。予測モデルは、センサ10から出力される検出値の時系列データに基づいて、予測結果を出力するものであればよい。例えば、予測モデルは、人の呼気から特定の病気の有無を予測するものであってもよいし、住居内のニオイから有害物質の有無を予測するものであってもよいし、工場内のニオイから工場設備の異常を予測するものであってもよい。
【0017】
<本実施形態の概略>
図3は、学習データ生成システム100の概略を示す図である。学習データ生成システム100は、主に、学習データ生成装置2000と、ニオイを検知することにより時系列データを取得するセンサ10と、検知したニオイに関する情報を受け付ける端末装置11とを有する。学習データ生成装置2000とセンサ10、及び学習データ生成装置2000と端末装置11は、それぞれ通信網等を介してデータ通信を行う。なお、図1では、センサ10及び端末装置11は1台ずつ存在しているが、それぞれ複数台存在してもよい。
【0018】
学習データ生成装置2000は、学習データ生成に関する処理を行う。具体的には、学習データ生成装置2000は、センサ10から時系列データ(「ニオイデータ」とも呼ぶ。)を受信し、評価者12から端末装置11を通じて、ニオイデータに関する情報を受信する。ニオイデータに関する情報の詳細は後述する。
【0019】
ここで、評価者12は、ニオイデータに関する情報を入力し、後述するラベル候補を選択する人物を指す。以下、本実施形態では、ニオイデータに関する情報を入力する評価者と、ラベル候補を選択する評価者は、同一人物と仮定して説明する。しかし、ニオイデータに関する情報を入力する評価者と、ラベル候補を選択する評価者とは異なっていてもよい。
【0020】
学習データ生成装置2000は、ニオイデータに関する情報から、ニオイデータに付与されるラベル候補を生成し、端末装置11に出力する。端末装置11は、画面上に、ラベル候補を表示し、評価者12からラベルの選択を受け付ける。端末装置11は、受け付けたラベルを学習データ生成装置2000に出力する。学習データ生成装置2000は、受け付けたラベルとニオイデータとを組み合わせて、学習データを生成する。
【0021】
<学習データ生成装置2000の機能構成の例>
図4は、実施形態1の学習データ生成装置2000の機能構成を例示する図である。学習データ生成装置2000は、取得部2020、ラベル候補生成部2030、出力部2040、受付部2050、及び学習データ生成部2060を有する。取得部2020は、センサ10から、ニオイデータを取得し、端末装置11から、ニオイデータに関する情報を取得する。ラベル候補生成部2030は、ニオイデータに関する情報に基づいて、ラベル候補を生成する。出力部2040は、ラベル候補生成部2030により生成されたラベル候補を端末装置11に出力する。受付部2050は、端末装置11からラベルの選択を受け付ける。学習データ生成部2060は、選択されたラベルと、ニオイデータとから学習データを生成し、記憶部2010に出力する。
【0022】
<学習データ生成装置2000のハードウェア構成>
図5は、図3及び図4に示した学習データ生成装置2000を実現するための計算機を例示する図である。計算機1000は任意の計算機である。例えば、計算機1000は、Personal Computer(PC)やサーバマシン等の据え置き型の計算機である。その他にも例えば、計算機1000は、スマートフォンやタブレット端末等の可搬型の計算機である。計算機1000は、学習データ生成装置2000を実現するために設計された専用の計算機であってもよいし、汎用の計算機であってもよい。
【0023】
計算機1000は、バス1020、プロセッサ1040、メモリ1060、ストレージデバイス1080、入出力インタフェース1100、及びネットワークインタフェース1120を有する。バス1020は、プロセッサ1040、メモリ1060、ストレージデバイス1080、入出力インタフェース1100、及びネットワークインタフェース1120が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ1040等を互いに接続する方法は、バス接続に限定されない。
【0024】
プロセッサ1040は、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、FPGA(Field-Programmable Gate Array)等の種々のプロセッサである。メモリ1060は、RAM(Random Access Memory)等を用いて実現される主記憶装置である。ストレージデバイス1080は、ハードディスク、SSD(Solid State Drive)、メモリカード、又はROM(Read Only Memory)等を用いて実現される補助記憶装置である。
【0025】
入出力インタフェース1100は、計算機1000と入出力デバイスを接続するためのインタフェースである。例えば、入出力インタフェース1100には、キーボード等の入力装置や、ディスプレイ装置等の出力装置が接続される。その他にも例えば、入出力インタフェース1100には、センサ10が接続される。ただし、センサ10は必ずしも計算機1000と直接接続されている必要はない。例えば、センサ10は、計算機1000と共有している記憶装置に取得したデータを記憶させてもよい。
【0026】
ネットワークインタフェース1120は、計算機1000を通信網に接続するためのインタフェースである。この通信網は、例えば、LAN(Local Area Network)やWAN(Wide Area Network)である。ネットワークインタフェース1120が通信網に接続する方法は、無線接続であってもよいし、有線接続であってもよい。
【0027】
ストレージデバイス1080は、学習データ生成装置2000の各機能構成部を実現するプログラムモジュールを記憶している。プロセッサ1040は、これら各プログラムモジュールをメモリ1060に読み出して実行することで、各プログラムモジュールに対応する機能を実現する。
【0028】
<処理の流れ>
図6は、実施形態1の学習データ生成装置2000によって実行される処理の流れを例示する図である。取得部2020は、ニオイデータとニオイデータに関する情報を取得する(S100)。ラベル候補生成部2030は、ニオイデータに関する情報に基づいて、ラベル候補を生成する(S110)。出力部2040は、生成されたラベル候補を端末装置11に出力する(S120)。受付部2050は、ラベル候補からラベルの選択を受け付ける(S130)。学習データ生成部2060は、選択されたラベルとニオイデータとから学習データを生成する(S140)。
【0029】
<ニオイデータに関する情報が音声である場合>
図7、8、9を用いて、ニオイデータに関する情報が音声である場合の学習データ生成装置2000の動作を説明する。図7は、端末装置11に表示される、ニオイデータに関する情報として音声を取得する画面を例示する図である。図7に示す画面は、例えば、ニオイの評価を依頼する旨のメッセージ11a(「どんなニオイですか?マイクに話してください」等)を含む。
【0030】
評価者12は、測定対象13のニオイの評価(「リンゴのニオイ。甘いニオイがする。」等)を、音声で端末装置11に入力する。端末装置11は、受け付けた音声を、取得部2020に出力する。取得部2020は、取得した音声をラベル候補生成部2030に出力する。
【0031】
ラベル候補生成部2030が、取得した音声に基づいてラベル候補を生成する処理を説明する。ラベル候補生成部2030は、取得した音声を、既存の音声認識の技術を用いることで、テキストに変換する。そして、ラベル候補生成部2030は、変換したテキストに対して、既存の自然言語処理の技術を適用することで、ラベル候補を生成する。ラベル候補を生成するための自然言語処理の技術としては、例えば、表現辞書に基づく文字列マッチング、TF-IDF(Term Frequency - Inverse Document Frequency)、Key-Graph、及び公知の機械学習技術を用いる手法がある。ラベル候補生成部2030は、変換したテキストと生成したラベル候補を出力部2040に出力する。出力部2040は、端末装置11に変換したテキストと生成されたラベル候補を出力する。
【0032】
ここで、ラベル候補生成部2030が、自然言語処理の技術を利用してラベル候補を生成する方法の一例を説明する。まず、ラベル候補生成部2030は、音声から変換されたテキストに対して、形態素解析を実行し、テキストに含まれる単語の品詞情報を取得する。次に、ラベル候補生成部2030は、テキストに含まれる単語のうち、所定の品詞(「名詞」、「形容詞」等)が付与された単語を、ラベル候補として取得する。
【0033】
なお、ラベル候補生成部2030が用いる所定の品詞の決定方法は、限定されない。例えば、ラベル候補生成部2030は、評価者12から、機械学習のタスク設定を更に受け付け、受け付けたタスク設定に基づいて、所定の品詞を決定してもよい。具体的には、評価者12から受け付けたタスク設定が「物体識別」である場合、ラベル候補生成部2030は、物体の名称を表しうる品詞(「名詞」、「固有名詞」等)が付与された単語を、ラベル候補として取得する。また、評価者12から受け付けたタスク設定が「極性分類」である場合、ラベル候補生成部2030は、テキストの極性に影響を与えうる品詞(「形容詞」、「副詞」等)が付与された単語をラベル候補として取得する。
【0034】
図8は、端末装置11に表示されるラベル候補を選択するための画面を例示する図である。図8に示す画面は、例えば、登録するラベルを選択することを指示する旨のメッセージ11b(「登録するラベルを選択してください。」等)、音声の認識結果11c、ラベル候補11dを含む。音声の認識結果11cは、評価者12が入力したニオイの評価に関する音声の認識結果である。ラベル候補11dは、ラベル候補生成部2030により生成されたラベル候補(「リンゴ」、「甘い」等)を示すボタンである。
【0035】
評価者12は、例えば、ラベル候補11dから、登録するラベルのボタンを押下することにより、ラベルを選択する。取得部2020は、選択されたラベルを取得する。
【0036】
なお、図8に示したラベル候補11dに、「該当なし」が含まれていてもよい。評価者12は、ラベル候補11dの中に、適切なラベルが存在しない場合、「該当なし」を選択する。この場合、例えば、図7に示した動作が再度行われる。
【0037】
<ニオイデータに関する情報が画像である場合>
図9、10、11を用いて、ニオイデータに関する情報が画像である場合の学習データ生成装置2000の動作を説明する。図9は、端末装置11に表示される、ニオイデータに関する情報として画像を取得するための画面を例示する図である。図9に示す画面は、例えば、測定対象13を撮像する指示する旨のメッセージ11e(「測定対象の画像を撮影してください。」等)を含む。
【0038】
評価者12は、測定対象13を、端末装置11に備え付けられた撮像装置を用いて、撮像する。端末装置11は、撮像された画像を、取得部2020に出力する。取得部2020は、取得した音声をラベル候補生成部2030に出力する。
【0039】
ラベル候補生成部2030が、取得した画像に基づいてラベル候補を生成する処理を説明する。ラベル候補生成部2030は、取得した画像から、既存の画像認識の技術を用いることで、測定対象が含まれる領域候補となる部分領域を抽出する。部分領域を抽出する画像認識の技術としては、スライディングウィンドウ法、BING(binarized normed gradients)、選択的検索法、分岐限定法等がある。そして、ラベル候補生成部2030は、抽出した部分領域を出力部2040に出力する。出力部2040は、端末装置11に抽出した部分領域を出力する。
【0040】
図10は、端末装置11に表示される、測定対象が含まれる部分領域の選択を受け付ける画面を例示する図である。図10に示す画面は、例えば、測定対象を含む部分領域を選択する旨のメッセージ11f(「測定対象を選択してください。」等)、抽出した部分領域11g、及び抽出した部分領域11hを含む。
【0041】
評価者12は、表示された部分領域のうち、測定対象13を含む部分領域を選択する。端末装置11は、選択された部分領域を、受付部2050に出力する。
【0042】
ラベル候補生成部2030は、取得した部分領域に対して、既存の画像認識の技術を用いることで、ラベル候補を生成する。ラベル候補を生成する画像認識の技術としては、線形分類器、集団学習、及び畳み込みニューラルネットワーク等の非線形分類器を用いる手法等がある。ラベル候補生成部2030は、生成したラベル候補を出力部2040に出力する。出力部2040は、端末装置11にラベル候補を出力する。
【0043】
図11は、端末装置11に表示される、ラベルの選択を受け付ける画面を例示する図である。図11に示す画面は、例えば、ラベルを選択する旨のメッセージ11i(「「リンゴ」を登録しますか?」等)、選択ボタン「はい」11j、及び選択ボタン「いいえ」11kを含む。
【0044】
評価者12は、表示されたラベル候補を選択する場合は、選択ボタン「はい」11jを押下し、選択しない場合は、選択ボタン「いいえ」11kを押下する。評価者12が選択ボタン「はい」11jを押下した場合は、端末装置11は、選択されたラベルを受付部2050に出力する。評価者12が、選択ボタン「いいえ」11kを押下した場合、端末装置11は、画面上に、図9に示した、測定対象13を撮像する指示を再度表示してもよい。
【0045】
なお、図11に示す画面では、一つのラベル候補の選択可否を受け付けている。しかし、ラベル候補生成部2030が、画像に基づいて生成するラベル候補が複数ある場合は、図11に示す画面は、複数のラベル候補を表示してもよい。その場合、評価者12は、表示されたラベル候補から、少なくとも一つ以上のラベルを選択する。そして、端末装置11は、選択されたラベルを受付部2050に出力する。
<ニオイデータに関する情報がテキストである場合>
図12を用いて、ニオイデータに関する情報がテキストである場合の学習データ生成装置2000の動作を説明する。図12は、端末装置11に表示される、ニオイデータに関する情報としてテキストを取得する画面を例示する図である。図12に示す画面は、例えば、測定対象13のニオイの評価を依頼する旨のメッセージ11l(「どんなニオイですか?入力してください」等)を含む。
【0046】
評価者12は、測定対象13のニオイの評価を、画面上に表示されたキーボードを用いて入力する(「リンゴのニオイ」等)。端末装置11は、受け付けたテキストを取得部2020に出力する。取得部2020は、取得した文章をラベル候補生成部2030に出力する。
【0047】
ラベル候補生成部2030が、取得した文章に基づいてラベル候補を生成する処理は、ニオイデータに関する情報が音声の場合において、音声をテキストに変換した後の処理と同様である。
<生成される学習データについて>
学習データ生成部2060が、学習データを生成する処理を説明する。学習データ生成部2060は、選択されたラベルとニオイデータとを対応付けることで、学習データを生成し、記憶部2010に出力する。
【0048】
図13は、記憶部2010が記憶する学習データを例示する図である。図13における各レコードが学習データに対応する。各学習データは、例えば、学習データを識別するためのID、センサ10がニオイを検知したことにより得られるニオイデータ、及び選択されたラベルを含む。
【0049】
なお、各レコードは、ニオイを検知したセンサ10を識別するためのセンサID、測定日、測定対象、及び測定環境を含んでいてもよい。
【0050】
測定日は、例えば、センサ10に対象ガスが噴射された日でもよいし、生成された学習データが記憶部2010に記憶された日でもよい。なお、測定日は、測定時間を含む測定日時であってもよい。
【0051】
測定環境は、ニオイを測定する際の環境に関する情報である。例えば、測定環境として、センサ10が設置された環境の温度、湿度及びサンプリング周期がある。
【0052】
サンプリング周期は、ニオイを測定する間隔を示し、Δt[s]、あるいはその逆数を用いたサンプリング周波数[Hz]として表される。例えば、サンプリング周期は、0.1[s]、0.01[s]等である。
【0053】
また、ニオイがサンプルガスとパージガスを交互にセンサ10に噴射することで測定される場合、サンプルガス及びパージガス噴射時間を、サンプリング周期としてもよい。ここで、サンプルガスとは、図1における対象ガスである。パージガスは、センサ10に付着した対象ガスを除去するためのガス(例えば、窒素)である。例えば、センサ10は、サンプルガスは5秒間、パージガスは5秒間、噴射されることでデータを測定できる。
【0054】
上述した温度、湿度、サンプリング周期等の測定環境は、例えば、センサ10の内部又は外部に備えられた計器によって取得されてもよいし、端末装置11を通じて、ユーザから入力されてもよい。
【0055】
なお、本実施形態においては、温度、湿度、サンプリング周期を測定環境の例として説明したが、他の測定環境の例としては、測定対象とセンサ10の距離、パージガスの種類、キャリアガス、センサの種類(センサID等)、測定時の季節、測定時の気圧、測定時の大気(CO濃度等)及び測定者についての情報がある。キャリアガスは、測定対象のニオイと同時に噴射されるガスであり、例えば窒素や大気を用いる。サンプルガスは、キャリアガスと測定対象のニオイの混合である。
【0056】
また、上述した温度・湿度は、測定対象、キャリアガス、パージガス、センサ10自体、センサ10周辺の大気、センサ10、あるいはセンサ10を制御する機器の設定値から取得されたものであってもよい。
【0057】
<作用・効果>
本実施形態に係る学習データ生成装置2000は、ニオイデータに関する情報に基づいて、ラベル候補を生成し、評価者12が選択したラベルとニオイデータとを対応付けることで、所望の正解ラベルを用いた機械学習を実行するための学習データを生成するという効果がある。
【0058】
[実施形態2]
以下、本発明に係る実施形態2を説明する。実施形態2は、実施形態1と比べて、ラベル候補生成部2070が、学習済みモデルに基づいてラベル候補を生成する点で異なる。以下、詳細を説明する。
<学習データ生成装置2000の機能構成の例>
図14は、実施形態2の学習データ生成装置2000の機能構成を例示する図である。実施形態2の学習データ生成装置2000は、取得部2020、ラベル候補生成部2070、出力部2040、受付部2050、及び学習データ生成部2060を有する。取得部2020は、センサ10からニオイデータを取得し、モデル記憶部2011から後述する学習済みモデルを取得する。ラベル候補生成部2070は、取得したニオイデータと学習済みモデルとに基づいて、ラベル候補を生成する。出力部2040、受付部2050、学習データ生成部2060の動作は、他の実施形態と同様であり、本実施形態では説明を省略する。
【0059】
<処理の流れ>
図15は、実施形態2の学習データ生成装置2000によって実行される処理の流れを例示する図である。取得部2020は、ニオイデータと学習済みモデルとを取得する(S200)。ラベル候補生成部2070は、ニオイデータと学習済みモデルとに基づいて、ラベル候補を生成する(S210)。S220、S230、及びS240に係る処理は、他の実施形態と同様であり、本実施形態では説明を省略する。
【0060】
<学習済みモデルの概略>
モデル記憶部2011が記憶する学習済みモデルの詳細を説明する。図16は、学習済みモデルの概略を示す図である。学習済みモデルは、ニオイデータの特徴量を規定する波形空間上の値に、ラベル空間上の値を割り当てる機械学習モデルである。ラベル空間の詳細は後述する。
【0061】
学習済みモデルの学習方法としては、深層学習モデル等の公知の機械学習の手法がある。例えば、学習済みモデルが、教師あり機械学習によって学習されたモデルである場合、学習データは、図16に示す波形空間における「コーヒー」を示す値と、ラベル空間における「コーヒー」を示す値とを対応付けたデータである。
【0062】
ラベル空間について説明する。ラベル空間は、ニオイの特徴を示すベクトル空間であり、学習済みモデルの予測結果として得られる値が定義される空間である。ラベル空間の値を用いてニオイを表現することにより、複数のニオイの関係を定量的に表すことが可能となる。例えば、図16に示すラベル空間上の「コーヒー」と「お茶」又は、「ゴム」と「タイヤ」のように、あるラベル空間において近い距離に位置するラベルは、そのラベル空間において近いニオイを示している。また、図16に示すラベル空間上の「コーヒー」と「タイヤ」又は、「お茶」と「ゴム」のように、あるラベル空間において逆方向に位置するラベルは、そのラベル空間において対照的な性質のニオイを示していると考えることができる。但し、同じニオイであっても、ラベル空間が違えば、それを表現する値は異なる。本実施形態では、以下に述べるように、複数のラベル空間を使用した学習済みモデルを使用することができる。
【0063】
<物質の構造や化学的性質を示す空間を用いた学習済みモデル>
学習済みモデルのラベル空間が、物質の構造や化学的性質によって定義される空間である場合を説明する。図17は、ラベル空間を例示する図である。図17(A)は、物質の化学的性質として「分子量」及び「沸点」を軸とするベクトル空間をラベル空間とし、この空間上でラベル「エチレン」及び「エタノール」を表現した例を示す。分子量及び沸点以外に使用可能な軸としては、組成式、示性式、構造式、官能基の種類・数、炭素数、不飽和度、濃度、水に対する溶けやすさ、極性、融点、密度、分子軌道等が挙げられる。また、物質の構造や化学的性質を示す空間は、分子構造を高次元の実数ベクトルで表現する手法であるmol2vecで定義される空間であってもよい。
【0064】
<官能評価指標を示す空間を用いた学習済みモデル>
学習済みモデルのラベル空間が、人間の感覚を用いて対象のニオイを判定する検査で得られた指標(官能評価指標)によって定義される空間である場合を説明する。図17(B)は、官能評価指標の一例として「不快」及び「あまい」を軸とするベクトル空間をラベル空間とし、この空間上でラベル「チョコ」及び「芳香剤」を表現した例を示す。なお、官能評価としては、例えば、2点識別法や3点識別法等の識別型試験、スコアリング法やQDA(Quantitative Descriptive Analysis)法等の記述型試験、時間強度試験、TDS(Temporal Dominance of Sensations)、TCATA(Temporal Check All That Apply)等のタイムダイナミック法、一般パネルを用いた嗜好型の官能評価方法等が挙げられる。
【0065】
<においを嗅いだときの反応を示す空間を用いた学習済みモデル>
学習済みモデルのラベル空間が、人間がニオイを嗅いだときに人体に生じる何らかの生体反応によって定義される空間である場合を説明する。生体反応としては、例えば、人間がニオイを嗅いだときの脳波、機能的核磁気共鳴画像(fMRI:functionalMagnetic Resonance Imaging)、心拍間隔(RRI:R-R Interval)がある。ラベル空間は、上記の生体反応の特徴量を規定する波形空間である。
【0066】
<単語埋め込み空間を用いた学習済みモデル>
学習済みモデルのラベル空間が、単語埋め込み(単語分散表現)によって定義される空間である場合を説明する。単語埋め込み(単語分散表現)とは、単語の意味を高次元の実数ベクトルとして表す手法であり、word2vec、GloVe、fastText及びBERT(Bidirectional Encoder Representations from Transformers)等の手法が知られている。
【0067】
但し、単語埋め込み(単語分散表現)の性質は、それを学習する際に使用する文章(コーパス)に依存するため、学習済みモデルのラベル空間として単語埋め込み空間を用いる場合は、ニオイに関連する文章を使用して単語埋め込み(単語分散表現)の学習を行う必要がある。ニオイに関連する文章とは、例えば、嗅覚に関する論文等の研究文書、化粧品のレビューコメント、食料品カタログ、グルメガイドのレビュー記事等がある。
【0068】
<ラベル候補生成部2070の動作の例>
図18は、ラベル候補生成部2070による処理の概略を示す図である。図18を参照して、ラベル候補生成部2070による処理を具体的に説明する。ここでは、ラベル候補生成部2070が、単語埋め込み空間を用いた学習済みモデルを用いる場合を例として説明する。
【0069】
図18に示すように、ラベル候補生成部2070は、取得部2020からニオイデータを取得する。ラベル候補生成部2070は、取得したニオイデータの特徴量を算出する。算出された特徴量は、図18に示すように、波形空間上で、取得したニオイデータを示す値22に対応する。次に、ラベル候補生成部2070は、ニオイデータを示す値22と学習済みモデルとを用いて、ラベル空間上の予測値24を算出する。そして、ラベル候補生成部2070は、最近傍探索を行い、例えば、「タイヤ」に対応する点26を、予測値の近傍点として取得する。ラベル候補生成部2070は、「タイヤ」をラベル候補として生成する。
【0070】
なお、ラベル候補生成部2070がニオイデータの特徴量を算出する方法としては、例えば、センサ10を用いて複数回測定対象を検出することにより得られたニオイデータの平均値、検出値の形状における特徴を示す値、ニオイデータを指数成分に分解したときの成分構成の値、最大値、最小値、中央値等がある。また、ラベル候補生成部2070は、取得したニオイデータの値を特徴量としてもよい。
【0071】
また、ラベル候補生成部2070が取得するラベル候補は一つに限定されない。ラベル候補生成部2070は、例えば、K近傍法を用いて複数の近傍点を取得し、複数のラベル候補を生成してもよい。
【0072】
<作用・効果>
本実施形態に係る学習データ生成装置2000は、ニオイデータとニオイの特徴を示すベクトル空間とを対応付ける学習済みモデルを用いて、ラベル候補を生成する。すなわち、学習データ生成装置2000は、複数のニオイの関係を定量的に考慮してラベル候補を生成することができるため、所望の正解ラベルを用いた機械学習を実行するための学習データを生成するという効果がある。
【0073】
[実施形態3]
以下、本発明に係る実施形態3を説明する。実施形態3は、他の実施形態と比べて、学習部2080を有する点で異なる。以下、詳細を説明する。
【0074】
<学習データ生成装置2000の機能構成の例>
図19は、実施形態3の学習データ生成装置2000の機能構成を例示する図である。実施形態3の学習データ生成装置2000は、取得部2020、ラベル候補生成部2030、出力部2040、受付部2050、学習データ生成部2060、及び学習部2080を有する。学習部2080は、記憶部2010から、学習データを取得し、機械学習を実行する。取得部2020、ラベル候補生成部2030、出力部2040、受付部2050、学習データ生成部2060の動作は、他の実施形態と同様であり、本実施形態では説明を省略する。
【0075】
<処理の流れ>
図20は、実施形態3の学習データ生成装置2000によって実行される処理の流れを例示する図である。学習部2080は、学習データを取得する(S300)。学習部2080は、取得した学習データに基づいて、機械学習を実行する(S310)。なお、学習部2080が機械学習を実行する手法としては、深層学習やSVM(Support Vector Machine)等があり、特に限定されない。
【0076】
[実施形態4]
以下、本発明に係る実施形態4を説明する。
<学習データ生成装置2000の機能構成の例>
図21は、実施形態4の学習データ生成装置2000の機能構成を例示する図である。実施形態2の学習データ生成装置2000は、取得部2020、ラベル候補生成部2030、出力部2040、受付部2050、及び学習データ生成部2060を有する。各部の動作は、他の実施形態と同様であり、本実施形態では説明を省略する。
【0077】
[実施形態5]
以下、本発明に係る実施形態5を説明する。
<学習データ生成装置2000の機能構成の例>
図22は、実施形態5の学習データ生成装置2000の機能構成を例示する図である。実施形態5の学習データ生成装置2000は、取得部2020、ラベル候補生成部2030、出力部2040、受付部2050、学習データ生成部2060、及び学習部2080を有する。各部の動作は、他の実施形態と同様であり、本実施形態では説明を省略する。
【0078】
なお、本願発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【0079】
<付記>
上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明におけるレプリケーション方法などの概略を説明する。但し、本発明は、以下の構成に限定されない。
【0080】
(付記1)
ニオイデータと前記ニオイデータに関する情報とを取得する取得手段と、
前記ニオイデータに関する情報に基づいて、ラベル候補を生成するラベル候補生成手段と、
前記生成したラベル候補を出力する出力手段と、
前記出力されたラベル候補からラベルの選択を受け付ける受付手段と、
前記選択されたラベルと前記ニオイデータとから学習データを生成する学習データ生成手段と、
を備える学習データ生成装置。
【0081】
(付記2)
前記ニオイデータに関する情報は、前記ニオイデータに関する音声であり、
前記ラベル候補生成手段は、前記音声に基づいて前記ラベル候補を生成する、
付記1に記載の学習データ生成装置。
【0082】
(付記3)
前記ニオイデータに関する情報は、前記ニオイデータに関するテキストであり、
前記ラベル候補生成手段は、前記テキストに基づいて前記ラベル候補を生成する、
付記1又は2に記載の学習データ生成装置。
【0083】
(付記4)
前記ニオイデータに関する情報は、前記ニオイデータの測定対象を含む画像であり、
前記ラベル候補生成手段は、前記画像に基づいて前記生成候補を出力する、
付記1から3の何れか1項に記載の学習データ生成装置。
【0084】
(付記5)
前記ニオイデータに関する情報は、ニオイデータとラベルとの関係を学習した学習済みモデルであり、
前記ラベル候補生成手段は、前記取得したニオイデータと、前記学習済みモデルとに基づいて前記ラベル候補を生成し、
付記1から4の何れか1項に記載の学習データ生成装置。
【0085】
(付記6)
前記学習済みモデルは、ニオイデータと、ニオイの官能評価の結果との関係が学習された、
付記5に記載の学習データ生成装置。
【0086】
(付記7)
前記学習済みモデルは、ニオイデータと、前記ニオイデータの測定対象の化学的性質を示すデータとの関係が学習された、
付記5から6の何れか1項に記載の学習データ生成装置。
【0087】
(付記8)
前記学習済みモデルは、ニオイデータとニオイを嗅いだときの生体反応を示すデータとの関係が学習された、
付記5から7の何れか1項に記載の学習データ生成装置。
【0088】
(付記9)
ニオイデータと前記ニオイデータに関する情報とを取得し、
前記ニオイデータに関する情報に基づいて、ラベル候補を生成し、
前記生成したラベル候補を出力し、
前記出力されたラベル候補からラベルの選択を受け付け、
前記選択されたラベルとニオイデータとから学習データを生成する、
学習データ生成方法。
【0089】
(付記10)
ニオイデータと前記ニオイデータに関する情報とを取得し、
前記ニオイデータに関する情報に基づいて、ラベル候補を生成し、
前記生成したラベル候補を出力し、
前記出力されたラベル候補からラベルの選択を受け付け、
前記選択されたラベルとニオイデータとから学習データを生成し、
前記生成した学習データに基づいて学習モデルを生成する、
学習モデル生成方法。
【0090】
(付記11)
ニオイデータと前記ニオイデータに関する情報とを取得する処理と、
前記ニオイデータに関する情報に基づいて、ラベル候補を生成する処理と、
前記生成したラベル候補を出力する処理と、
前記出力されたラベル候補からラベルの選択を受け付ける処理と、
前記選択されたラベルとニオイデータとから学習データを生成する処理と、
をコンピュータに実行させるプログラムを記録するプログラム記録媒体。
【符号の説明】
【0091】
10 センサ
11 端末装置
11a ニオイの評価を依頼する旨のメッセージ
11b 登録するラベルを選択することを指示する旨のメッセージ
11c 音声の認識結果
11d ラベル候補
11e 測定対象13を撮像する指示する旨のメッセージ
11f 測定対象を含む部分領域を選択する旨のメッセージ
11g 抽出した部分領域
11h 抽出した部分領域
11i ラベルを選択する旨のメッセージ
11j 選択ボタン「はい」
11k 選択ボタン「いいえ」
11l 測定対象13のニオイの評価を依頼する旨のメッセージ
12 評価者
13 測定対象
20 時系列データ
22 ニオイデータを示す値
24 ラベル空間上の予測値
26 「タイヤ」に対応する点
100 学習データ生成システム
1000 計算機
1020 バス
1040 プロセッサ
1060 メモリ
1080 ストレージデバイス
1100 入出力インタフェース
1120 ネットワークインタフェース
2000 学習データ生成装置
2010 記憶部
2011 モデル記憶部
2020 取得部
2030 ラベル候補生成部
2040 出力部
2050 受付部
2060 学習データ生成部
2070 ラベル候補生成部
2080 学習部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22