(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024161842
(43)【公開日】2024-11-20
(54)【発明の名称】匂い推定装置、匂い推定システム、匂い推定方法及び匂い推定プログラム
(51)【国際特許分類】
G06N 20/00 20190101AFI20241113BHJP
【FI】
G06N20/00 130
【審査請求】未請求
【請求項の数】8
【出願形態】OL
(21)【出願番号】P 2023076934
(22)【出願日】2023-05-08
(71)【出願人】
【識別番号】522239878
【氏名又は名称】株式会社EnergyColoring
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】高橋 真吾
(72)【発明者】
【氏名】相馬 達也
(72)【発明者】
【氏名】西村 想
(72)【発明者】
【氏名】正沢 道太郎
(57)【要約】
【課題】AIが推定する匂いの主観データと、人間による匂いの主観データとの差を小さくする。
【解決手段】情報処理装置10は、匂いセンサから端末を通じて連続的に送信される、匂いを連続的にセンシングしたセンサデータから、匂いの主観データを推定する学習済みモデル104を用いて、前記匂いの推定主観データを求めるAI推定部105と、匂いを嗅いだユーザにより前記端末に入力された、前記匂いの主観及び前記匂いを評価した評価日時の情報を含む入力主観データにおける前記評価日時の前記推定主観データと前記入力主観データとに差分があれば、前記匂いに対応する前記センサデータの入力により前記入力主観データを出力するよう学習済みモデル104を再学習するAI学習部103と、を備える。
【選択図】
図4
【特許請求の範囲】
【請求項1】
匂いセンサから端末を通じて連続的に送信される、匂いを連続的にセンシングしたセンサデータから、匂いの主観データを推定する学習済みモデルを用いて、前記匂いの推定主観データを求める推定部と、
前記匂いを嗅いだユーザにより前記端末に入力された、前記匂いの主観及び前記匂いを評価した評価日時の情報を含む入力主観データにおける前記評価日時の前記推定主観データと前記入力主観データとに差分があれば、前記匂いに対応する前記センサデータの入力により前記入力主観データを出力するよう前記学習済みモデルを再学習する学習部と、
を備える匂い推定装置。
【請求項2】
前記入力主観データを前記端末に入力させるよう通知する通知部をさらに備える、請求項1に記載の匂い推定装置。
【請求項3】
前記通知部は、前記学習済みモデルが出力した前記推定主観データの確度が所定の閾値以下であった場合に、前記入力主観データを前記端末に入力させるよう通知する、請求項2に記載の匂い推定装置。
【請求項4】
前記通知部は、前記学習済みモデルが出力した前記推定主観データの確度が所定の閾値以下であった時間が所定の時間継続した場合に、前記入力主観データを前記端末に入力させるよう通知する、請求項3に記載の匂い推定装置。
【請求項5】
前記センサデータは、前記匂いセンサがセンシングした時刻の情報を含む、請求項1に記載の匂い推定装置。
【請求項6】
匂いを連続的にセンシングしてセンサデータを得る匂いセンサと、
前記匂いセンサと接続されて前記センサデータを取得する端末と、
前記端末から無線通信によりセンサデータを取得する匂い推定装置と、
を備え、
前記匂い推定装置は、
匂いセンサから端末を通じて連続的に送信される、匂いを連続的にセンシングした前記センサデータから、匂いの主観データを推定する学習済みモデルを用いて、前記匂いの推定主観データを求める推定部と、
前記匂いを嗅いだユーザにより前記端末に入力された、前記匂いの主観及び前記匂いを評価した評価日時の情報を含む入力主観データにおける前記評価日時の前記推定主観データと前記入力主観データとに差分があれば、前記匂いに対応する前記センサデータの入力により前記入力主観データを出力するよう前記学習済みモデルを再学習する学習部と、
を備える匂い推定システム。
【請求項7】
プロセッサが、
匂いセンサから端末を通じて連続的に送信される、匂いを連続的にセンシングしたセンサデータから、匂いの主観データを推定する学習済みモデルを用いて、前記匂いの推定主観データを求め、
前記匂いを嗅いだユーザにより前記端末に入力された、前記匂いの主観及び前記匂いを評価した評価日時の情報を含む入力主観データにおける前記評価日時の前記推定主観データと前記入力主観データとに差分があれば、前記匂いに対応する前記センサデータの入力により前記入力主観データを出力するよう前記学習済みモデルを再学習する
処理を実行する匂い推定方法。
【請求項8】
コンピュータに、
匂いセンサから端末を通じて連続的に送信される、匂いを連続的にセンシングしたセンサデータから、匂いの主観データを推定する学習済みモデルを用いて、前記匂いの推定主観データを求め、
前記匂いを嗅いだユーザにより前記端末に入力された、前記匂いの主観及び前記匂いを評価した評価日時の情報を含む入力主観データにおける前記評価日時の前記推定主観データと前記入力主観データとに差分があれば、前記匂いに対応する前記センサデータの入力により前記入力主観データを出力するよう前記学習済みモデルを再学習する
処理を実行させる匂い推定プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、匂い推定装置、匂い推定システム、匂い推定方法及び匂い推定プログラムに関する。
【背景技術】
【0002】
匂いを検出する匂いセンサによる出力と、同じ匂いを嗅いだ人間との感覚の違いに着目した技術が開示されている。特許文献1は、匂いセンサのデータと、人間による匂いの主観的なデータとを取得してAI(Artificial Intelligence;人工知能)にて学習する技術を開示している。また特許文献2は、匂いセンサが検出した匂いのデータと、ユーザにその匂いが好きか嫌いかを入力させるようにする技術を開示している。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】国際公開第2022/176923号
【特許文献2】国際公開第2021/171987号
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、AIが推定した匂いの主観データと、人間が判定した匂いの主観データとには差が生じる場合がある。特許文献1では、指標毎の評価と、においセンサにより検出されたにおい情報との組を教師データとして機械学習しているが、差の発生を放置すると、AIによる推定結果が正確でないために、特許文献1で開示された技術では、匂いセンサが設置された空間における匂いの変化を正しく検知できなくなるおそれがある。また、特許文献2で開示された技術は、匂いが好きか嫌いかをユーザに入力させるものであり、AIが推定した匂いの主観データと、人間が判定した匂いの主観データとの差分を得るものではない。
【0005】
本開示は、上記の点に鑑みてなされたものであり、AIが推定する匂いの主観データと、人間による匂いの主観データとの差を小さくする匂い推定装置、匂い推定システム、匂い推定方法及び匂い推定プログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本開示の第1態様に係る匂い推定装置は、匂いセンサから端末を通じて連続的に送信される、匂いを連続的にセンシングしたセンサデータから、匂いの主観データを推定する学習済みモデルを用いて、前記匂いの推定主観データを求める推定部と、前記匂いを嗅いだユーザにより前記端末に入力された、前記匂いの主観及び前記匂いを評価した評価日時の情報を含む入力主観データにおける前記評価日時の前記推定主観データと前記入力主観データとに差分があれば、前記匂いに対応する前記センサデータの入力により前記入力主観データを出力するよう前記学習済みモデルを再学習する学習部と、を備える。
【0007】
本開示の第2態様に係る匂い推定装置は、第1態様に係る匂い推定装置であって、前記入力主観データを前記端末に入力させるよう通知する通知部をさらに備える。
【0008】
本開示の第3態様に係る匂い推定装置は、第2態様に係る匂い推定装置であって、前記通知部は、前記学習済みモデルが出力した前記推定主観データの確度が所定の閾値以下であった場合に、前記入力主観データを前記端末に入力させるよう通知する。
【0009】
本開示の第4態様に係る匂い推定装置は、第3態様に係る匂い推定装置であって、前記通知部は、前記学習済みモデルが出力した前記推定主観データの確度が所定の閾値以下であった時間が所定の時間継続した場合に、前記入力主観データを前記端末に入力させるよう通知する。
【0010】
本開示の第5態様に係る匂い推定装置は、第1態様に係る匂い推定装置であって、前記センサデータは、前記匂いセンサがセンシングした時刻の情報を含む。
【0011】
本開示の第6態様に係る匂い推定システムは、匂いを連続的にセンシングしてセンサデータを得る匂いセンサと、前記匂いセンサと接続されて前記センサデータを取得する端末と、前記端末から無線通信によりセンサデータを取得する匂い推定装置と、を備え、前記匂い推定装置は、匂いセンサから端末を通じて連続的に送信される、匂いを連続的にセンシングしたセンサデータから、匂いの主観データを推定する学習済みモデルを用いて、前記匂いの推定主観データを求める推定部と、前記匂いを嗅いだユーザにより前記端末に入力された、前記匂いの主観及び前記匂いを評価した評価日時の情報を含む入力主観データにおける前記評価日時の前記推定主観データと前記入力主観データとに差分があれば、前記匂いに対応する前記センサデータの入力により前記入力主観データを出力するよう前記学習済みモデルを再学習する学習部と、を備える。
【0012】
本開示の第7態様に係る匂い推定方法は、プロセッサが、匂いセンサから端末を通じて連続的に送信される、匂いを連続的にセンシングしたセンサデータから、匂いの主観データを推定する学習済みモデルを用いて、前記匂いの推定主観データを求め、前記匂いを嗅いだユーザにより前記端末に入力された、前記匂いの主観及び前記匂いを評価した評価日時の情報を含む入力主観データにおける前記評価日時の前記推定主観データと前記入力主観データとに差分があれば、前記匂いに対応する前記センサデータの入力により前記入力主観データを出力するよう前記学習済みモデルを再学習する処理を実行する。
【0013】
本開示の第8態様に係る匂い推定プログラムは、コンピュータに、匂いセンサから端末を通じて連続的に送信される、匂いを連続的にセンシングしたセンサデータから、匂いの主観データを推定する学習済みモデルを用いて、前記匂いの推定主観データを求め、前記匂いを嗅いだユーザにより前記端末に入力された、前記匂いの主観及び前記匂いを評価した評価日時の情報を含む入力主観データにおける前記評価日時の前記推定主観データと前記入力主観データとに差分があれば、前記匂いに対応する前記センサデータの入力により前記入力主観データを出力するよう前記学習済みモデルを再学習する処理を実行させる。
【発明の効果】
【0014】
本開示によれば、AIが推定する匂いの主観データと、人間による匂いの主観データとの差を小さくする匂い推定装置、匂い推定システム、匂い推定方法及び匂い推定プログラムを提供することができる。
【図面の簡単な説明】
【0015】
【
図1】開示の技術の実施形態に係る情報処理装置を備えた匂い検出システムの概略構成を示す図である。
【
図2】情報処理装置のハードウェア構成を示すブロック図である。
【
図3】携帯端末のハードウェア構成を示すブロック図である。
【
図4】情報処理装置及び携帯端末の機能構成の例を示すブロック図である。
【
図5】情報処理装置による匂い推定処理の流れを示すフローチャートである。
【
図6A】携帯端末が入力主観データを入力させる際に提示するキーワードの入力画面の例を示す図である。
【
図6B】携帯端末が入力主観データを入力させる際に提示するキーワードの入力画面の例を示す図である。
【
図6C】携帯端末が入力主観データを入力させる際に提示するキーワードの入力画面の例を示す図である。
【
図6D】携帯端末が入力主観データを入力させる際に提示するキーワードの入力画面の例を示す図である。
【発明を実施するための形態】
【0016】
以下、本開示の実施形態の一例を、図面を参照しつつ説明する。なお、各図面において同一または等価な構成要素および部分には同一の参照符号を付与している。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。
【0017】
図1は、本実施形態に係る情報処理装置を備えた匂い検出システムの概略構成を示す図である。本実施形態に係る匂い検出システムは、情報処理装置10、匂いセンサ20、携帯端末30及び表示装置40を備える。
【0018】
情報処理装置10は、本開示の匂い推定装置の一例であり、匂いセンサ20でセンシングされた匂いが、人間の主観ではどのような匂いであるかを推定する装置である。情報処理装置10は、匂いセンサ20でセンシングされた匂いが、人間の主観ではどのような匂いであるかを推定するために、予め機械学習により生成された学習済みモデルを用いる。情報処理装置10は、匂いセンサ20が設置されている場所とは異なる場所に設置される装置であり、例えばクラウドサーバであってもよい。
【0019】
匂いセンサ20は、設置された空間の匂いを常時センシングするセンサである。つまり、匂いセンサ20は、ワンショットで放出された匂いのセンシングのために設けられているのではなく、設置された空間の匂いを常にセンシングするために設けられている。匂いセンサ20は、例えば、匂い成分を構成する分子の付着及び離脱に応じて信号を出力する膜型表面応力センサであり、匂いセンサ20からは当該分子の付着及び離脱に応じた電圧波形を有する電気信号がセンシング結果として出力される。匂いセンサ20は、例えば膜型表面応力センサの他に、カンチレバー式センサ、光学式センサ、ピエゾセンサ、振動応答センサなどの様々なタイプのセンサが用いられてもよい。
【0020】
匂いセンサ20は携帯端末30に接続されており、匂いセンサ20によるセンシング結果は携帯端末30に送られる。携帯端末30は、無線通信によって、匂いセンサ20によるセンシング結果をセンサデータとして情報処理装置10に常時送信する。そして情報処理装置10は、携帯端末30から送られてきたセンサデータを取得し、匂いセンサ20でセンシングされた匂いが、人間の主観ではどのような匂いであるかを常時推定する。情報処理装置10による推定結果を推定主観データとする。情報処理装置10は、推定主観データを表示装置40又は携帯端末30に出力する。
【0021】
携帯端末30は、例えばスマートフォン等の機器であり、匂いセンサ20と有線で接続されている。携帯端末30は、匂いセンサ20によるセンシング結果を情報処理装置10に常時送信する機能に加え、匂いセンサ20が置かれている空間における匂いがどのような匂いであるか、すなわちユーザの主観でどのような匂いであるかをユーザに入力させる機能を有する。匂いセンサ20は、ユーザにより入力された、どのような匂いであるかどうかのデータを入力主観データとする。
【0022】
ここで、ユーザにより入力された入力主観データと、情報処理装置10が推定した推定主観データとが常に一致するとは限らず、入力主観データと推定主観データとが相違する場合がある。情報処理装置10は、入力主観データと推定主観データとが相違する場合に、同じ匂いに対応するセンサデータの入力により当該入力主観データを出力するよう学習済みモデルを再学習する。
【0023】
情報処理装置10は、入力主観データと推定主観データとが相違する場合に、同じ匂いに対応するセンサデータの入力により当該入力主観データを出力するよう学習済みモデルを再学習することで、学習済みモデルを再学習しない場合と比較して匂いの推定精度を向上させることができる。
【0024】
図2は、情報処理装置10のハードウェア構成を示すブロック図である。
【0025】
図2に示すように、情報処理装置10は、CPU(Central Processing Unit)11、ROM(Read Only Memory)12、RAM(Random Access Memory)13、ストレージ14、入力部15、表示部16及び通信インタフェース(I/F)17を有する。各構成は、バス19を介して相互に通信可能に接続されている。
【0026】
CPU11は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、CPU11は、ROM12またはストレージ14からプログラムを読み出し、RAM13を作業領域としてプログラムを実行する。CPU11は、ROM12またはストレージ14に記録されているプログラムにしたがって、上記各構成の制御および各種の演算処理を行う。本実施形態では、ROM12またはストレージ14には、匂いセンサ20でセンシングされた匂いが人間の主観ではどのような匂いであるかを推定する匂い推定プログラムが格納されている。
【0027】
ROM12は、各種プログラムおよび各種データを格納する。RAM13は、作業領域として一時的にプログラムまたはデータを記憶する。ストレージ14は、HDD(Hard Disk Drive)、SSD(Solid State Drive)またはフラッシュメモリ等の記憶装置により構成され、オペレーティングシステムを含む各種プログラム、および各種データを格納する。
【0028】
入力部15は、マウス等のポインティングデバイス、およびキーボードを含み、各種の入力を行うために使用される。
【0029】
表示部16は、たとえば、液晶ディスプレイであり、各種の情報を表示する。表示部16は、タッチパネル方式を採用して、入力部15として機能しても良い。
【0030】
通信インタフェース17は、携帯端末30等の他の機器と通信するためのインタフェースであり、たとえば、イーサネット(登録商標)、FDDI、Wi-Fi(登録商標)等の規格が用いられる。
【0031】
図3は、携帯端末30のハードウェア構成を示すブロック図である。
【0032】
図3に示すように、携帯端末30は、CPU31、ROM32、RAM33、ストレージ34、入力部35、表示部36及び通信インタフェース(I/F)37を有する。各構成は、バス39を介して相互に通信可能に接続されている。
【0033】
CPU31は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、CPU31は、ROM32またはストレージ34からプログラムを読み出し、RAM33を作業領域としてプログラムを実行する。CPU31は、ROM32またはストレージ34に記録されているプログラムにしたがって、上記各構成の制御および各種の演算処理を行う。本実施形態では、ROM32またはストレージ34には、匂いセンサ20から取得したセンサデータに対する処理を行うデータ処理プログラムが格納されている。
【0034】
ROM32は、各種プログラムおよび各種データを格納する。RAM33は、作業領域として一時的にプログラムまたはデータを記憶する。ストレージ34は、フラッシュメモリ等の記憶装置により構成され、オペレーティングシステムを含む各種プログラム、および各種データを格納する。
【0035】
入力部35は、各種の入力を行うために使用される。
【0036】
表示部36は、たとえば、液晶ディスプレイであり、各種の情報を表示する。表示部36は、タッチパネル方式を採用して、入力部35として機能しても良い。
【0037】
通信インタフェース37は、情報処理装置10等の他の機器と通信するためのインタフェースであり、当該通信には、たとえば、4G、5G、又はWi-Fi(登録商標)等の無線通信の規格が用いられる。
【0038】
上記の匂い推定プログラムを実行する際に、情報処理装置10は、
図2に示したハードウェア資源を用いて、各種の機能を実現する。また上記のデータ処理プログラムを実行する際に、携帯端末30は、
図3に示したハードウェア資源を用いて、各種の機能を実現する。情報処理装置10及び携帯端末30が実現する機能構成について説明する。
【0039】
図4は、情報処理装置10及び携帯端末30の機能構成の例を示すブロック図である。
【0040】
図4に示すように、情報処理装置10は、機能構成として、データ受信部101、102、AI学習部103、学習済みモデル104、AI推定部105、通知部106及びデータベース110を有する。各機能構成は、CPU11がROM12またはストレージ14に記憶された匂い推定プログラムを読み出し、実行することにより実現される。
【0041】
また、
図4に示すように、携帯端末30は、連続データ取得部301、データ送信部302、304、キーワード入力部303、時刻付与部305及び推定活用部306を有する。各機能構成は、CPU31がROM32またはストレージ34に記憶されたデータ処理プログラムを読み出し、実行することにより実現される。
【0042】
まず、情報処理装置10の機能構成について説明する。データ受信部101は、匂いセンサ20でセンシングされ、携帯端末30を通じて送信されたセンサデータを受信する。データ受信部101が受信したセンサデータは、データベース110における、センサデータを格納するためのセンサデータベース111に格納される。データ受信部101が受信するセンサデータには、携帯端末30においてセンサデータを取得した日時の情報が付加されている。またデータ受信部101が受信するセンサデータには、匂いセンサ20を識別する情報、又は、匂いセンサ20が設置されている場所を識別する情報が付加されてもよい。
【0043】
データ受信部102は、匂いセンサ20が置かれている空間において、ユーザが感じた匂いを携帯端末30に入力した入力主観データを受信する。データ受信部102が受信した入力主観データは、データベース110における、入力主観データを格納するための主観データベース112に格納される。データ受信部101が受信する入力主観データには、ユーザが匂いを主観的に評価した評価日時の情報が含まれる。
【0044】
AI学習部103は、センサデータベース111に格納された任意の数のセンサデータを用いた機械学習により、学習済みモデル104を生成する。学習済みモデル104は、データ受信部101が受信したセンサデータから、推定主観データを求めるための学習済みモデルである。学習済みモデル104は、匂いセンサ20の種類に応じて生成され得る。
【0045】
また、AI学習部103は、入力主観データに含まれる評価日時におけるセンサデータによる、学習済みモデル104を用いて求められた推定主観データが、当該入力主観データと相違していれば、当該評価日時におけるセンサデータから入力主観データを求めるよう、学習済みモデル104を再学習する。学習済みモデル104の再学習とは、当該評価日時におけるセンサデータと同じセンサデータを用いて、同じ評価日時の入力主観データを同じ主観データを出力するよう、学習済みモデル104のパラメータを調整することをいう。AI学習部103は、推定主観データと入力主観データとに相違があれば、学習済みモデル104を再学習することで、再学習しない場合と比較して推定主観データの推定精度を向上させることができる。
【0046】
AI推定部105は、AI学習部103での機械学習により生成された学習済みモデル104を用いて、センサデータから推定主観データを求める。学習済みモデル104を用いて推定主観データを求めるとは、携帯端末30から取得したセンサデータを学習済みモデル104へ入力し、学習済みモデル104から推定主観データを出力させることをいう。AI推定部105が求めた推定主観データは、例えば表示装置40の表示部401に表示される。推定主観データの表示は、例えばWebブラウザ上で行われる。またAI推定部105が求めた推定主観データは、例えば携帯端末30に送られる。AI推定部105が推定主観データを求めるために用いる学習済みモデル104は、推定主観データに加え、当該推定主観データの確度の情報を出力するよう、機械学習により生成されていてもよい。
【0047】
なお、AI推定部105が学習済みモデル104を用いて推定する推定主観データは、後述する携帯端末30での主観データの入力に用いられるキーワードに対応したものである。従って、学習済みモデル104は、センサデータから、携帯端末30での主観データの入力に用いられるキーワードを出力するように、予め機械学習されたものである。
【0048】
通知部106は、携帯端末30への情報の通知を行う。本実施形態では、通知部106は、入力主観データを携帯端末30に入力させるよう通知する。通知部106は、学習済みモデル104が出力した推定主観データの確度が所定の閾値以下であった場合に、入力主観データを携帯端末30に入力させるよう通知してもよい。また通知部106は、学習済みモデル104が出力した推定主観データの確度が所定の閾値以下であった時間が所定の時間継続した場合に、入力主観データを携帯端末30に入力させるよう通知してもよい。
【0049】
なお、本実施形態では、情報処理装置10の内部に学習済みモデル104が存在する例を示しているが、本開示は係る例に限定されない。学習済みモデル104は情報処理装置10とは別の装置により生成され、保存されてもよい。
【0050】
続いて、携帯端末30の機能構成について説明する。連続データ取得部301は、匂いセンサ20から送られる匂いのセンシング結果を常時取得する。連続データ取得部301が取得したセンシング結果は、時刻付与部305によって取得日時が付与されてセンサデータとなる。
【0051】
データ送信部302は、連続データ取得部301からセンサデータを取得して、情報処理装置10へ常時送信する。
【0052】
キーワード入力部303は、匂いセンサ20が置かれている空間の匂いについて主観的なキーワードでユーザに入力させる。キーワード入力部303は、後述するキーワード入力画面を提示し、ユーザに選択させる。キーワード入力部303によってユーザに入力されたキーワードは、時刻付与部305によって取得日時が付与されて入力主観データとなる。なお、キーワード入力部303がユーザに入力させる匂いの主観的なキーワードの数は1つに限られず、複数のキーワードを入力させてもよい。またキーワード入力部303は、キーワードを入力させる際に、キーワードを入力するユーザの嗜好に関する情報を入力させてもよい。ユーザの嗜好に関する情報には、飲酒、喫煙の有無などが含まれる。
【0053】
キーワード入力部303を通じたユーザによるキーワードの入力タイミングは任意のタイミングであってもよいが、情報処理装置10が効果的に入力主観データを取得するために、情報処理装置10からの上記通知を取得したタイミングでキーワードをユーザに入力させてもよい。また、情報処理装置10での推定主観データの生成結果が明らかに匂いセンサ20が設置されている空間の匂いと異なることにユーザが気付いた場合に、その場でユーザが携帯端末30を操作することで、キーワード入力部303を通じたユーザによるキーワードの入力が可能であってもよい。
【0054】
データ送信部304は、キーワード入力部303から入力主観データを取得して、入力主観データを取得したタイミングで情報処理装置10へ送信する。
【0055】
なお、ユーザがウェアラブルデバイス等でバイタルセンサを身に着けている場合は、携帯端末30は、入力主観データの送信時に、同じタイミングで測定されたユーザの心拍、血圧、体温その他のバイタルデータも同時に情報処理装置10に送信してもよい。また、上記ウェアラブルデバイス又は携帯端末30が、気温、湿度、大気圧、標高等を測定する環境センサを備えている場合は、携帯端末30は、入力主観データの送信時に、同じタイミングで測定された環境データも同時に情報処理装置10に送信してもよい。情報処理装置10は、機械学習による学習済みモデル104の生成において、携帯端末30から送信されたバイタルデータ又は環境データを用いてもよい。
【0056】
時刻付与部305は、連続データ取得部301がセンシング結果を取得したタイミング、及び、キーワード入力部303がユーザからキーワードの入力を受けたタイミングで日時の情報を付与する。センシングデータは連続的、定期的に測定されるデータである。一方、ユーザが入力する入力主観データは、不定期に測定されるデータである。センシングデータと入力主観データとを紐付けるために、本実施形態では、同じ装置である携帯端末30にセンサデータ及び入力主観データを取得し、同じ時刻を用いる。なお、本実施形態では、時刻付与部305は日時の情報を付与しているが、センシングデータと入力主観データとを紐付けることができる情報であれば、時刻付与部305が付与する情報は係る例に限定されない。例えば、時刻付与部305は、端末固有の番号及び時刻の情報を付与してもよく、端末固有の番号及び時刻の情報から、ハッシュ値の算出等の任意の算出方法で算出した固有のID情報を付与してもよい。
【0057】
推定活用部306は、情報処理装置10のAI推定部105が推定した、匂いセンサ20が置かれている空間における匂いの推定主観データに基づいた処理を実行する。また、推定活用部306は、情報処理装置10の通知部106から通知された、推定主観データに関する情報に基づいた処理を実行する。
【0058】
推定活用部306は、例えば、AI推定部105が推定した、匂いセンサ20が置かれている空間における匂いの推定主観データを表示部36に提示する処理を実行してもよい。推定活用部306は、また例えば、AI推定部105が推定した、匂いセンサ20が置かれている空間における推定主観データの確度が所定の閾値以下だったと通知部106から通知された場合、入力主観データを入力させるような画面を表示部36に提示してもよい。
【0059】
なお、本実施形態では、匂いセンサ20が接続されている携帯端末30と、主観データを入力するための携帯端末30とは同一の装置であるとしたが、匂いセンサ20が接続されている装置と、主観データを入力するための装置は異なる装置であってもよい。ただし、匂いセンサ20が接続されている装置と、主観データを入力するための装置とが異なっている場合、匂いセンサ20が設置された場所と、主観データを入力する場所とが同一であることが担保されていることが望ましい。
【0060】
次に、情報処理装置10の作用について説明する。
【0061】
図5は、情報処理装置10による匂い推定処理の流れを示すフローチャートである。CPU11がROM12又はストレージ14から匂い推定プログラムを読み出して、RAM13に展開して実行することにより、匂い推定処理が行われる。
【0062】
CPU11は、ステップS101において、匂いセンサ20でセンシングされて、携帯端末30から送信されたセンサデータから、匂いの主観データを推定し、推定主観データを生成する。CPU11は、センサデータから匂いの主観データを推定する際に、予め機械学習により生成された学習済みモデル104を用いる。学習済みモデル104を用いた推定とは、学習済みモデル104へセンサデータを入力し、学習済みモデル104から推定主観データを出力させることをいう。
【0063】
ステップS101に続いて、CPU11は、ステップS102において、ステップS101で推定した推定主観データと同じ評価日時における、携帯端末30で入力された入力主観データを取得する。
【0064】
ステップS102に続いて、CPU11は、ステップS103において、推定主観データと入力主観データとの間に差分が有るかどうかを判断する。
【0065】
ステップS103の判断の結果、推定主観データと入力主観データとの間に差分が無い、すなわち、推定主観データと入力主観データとが一致していれば(ステップS103;Yes)、CPU11は一連の処理を終了する。なお、一致とは完全に一致していなくてもよく、入力主観データとして複数のキーワードが入力されていれば、入力主観データの所定量以上一致していれば一致しているとしてもよい。
【0066】
一方、ステップS103の判断の結果、推定主観データと入力主観データとの間に差分がある、すなわち、推定主観データと入力主観データとが一致しなければ(ステップS103;No)、CPU11は、ステップS104において、学習済みモデル104の再学習を行う。学習済みモデル104の再学習とは、ステップS101での推定主観データの出力に用いたセンサデータと同じセンサデータを用いて、ステップS102で取得した入力主観データを同じ主観データを出力するよう、学習済みモデル104のパラメータを調整することをいう。
【0067】
情報処理装置10は、推定主観データと入力主観データとに相違があれば、学習済みモデル104を再学習することで、再学習しない場合と比較して推定主観データの推定精度を向上させることができる。
【0068】
続いて、携帯端末30が入力主観データを入力させる際に提示するキーワードの入力画面の例を示す。
図6A~
図6Dは、携帯端末30が所定のタイミングで入力主観データを入力させる際に提示するキーワードの入力画面の例を示す図である。
【0069】
携帯端末30は、複数のキーワードを選択させる際に、予め定めた数のキーワードを必ず入力させるようにしてもよい。また携帯端末30は、複数のキーワードを選択させる際に、各キーワードに順位付けをさせてもよい。また携帯端末30は、キーワードを提示する際に、予め用意したキーワードの中から選択して提示してもよい。例えばキーワードが100個ある場合、携帯端末30は、その中から20個をランダムに選択して提示してもよい。
【0070】
携帯端末30は、入力主観データを入力させる際に、予め用意した匂いに関するキーワードを提示し、ユーザに選択させる。
図6Aに示した画面においてユーザが「甘い」を選択すると、携帯端末30は、
図6Bに示した様に、「甘い」というキーワードは選択できない状態にする。携帯端末30は、一度選択されたキーワードを選択出来ない状態にするには、
図6Bのようにバツ印を付ける他に、他のキーワードと違う色で提示することで選択できない旨を示す態様も採り得る。
【0071】
なお、携帯端末30は、
図6A~6Dに示したキーワードの選択が完了した時点で、その選択されたキーワードについてさらに詳細に質問するための画面を表示してもよい。例えば「甘い」というキーワードが選択された場合、甘い匂いにも、果物のような匂い、バニラのような匂い、重い感じの匂い、軽い感じの匂い等、様々な感じ方がある。そこで、携帯端末30は、どのような甘い匂いであるかを詳細に質問するための画面を提示してもよい。
【0072】
このように、携帯端末30は予め用意したキーワードを提示することで、匂いの主観に関する入力主観データの入力を容易にしたり、入力されるキーワードにバラつきが生じるのを防いだりすることができる。
【0073】
以上説明したように本開示の実施形態に係る情報処理装置10は、匂いセンサ20から携帯端末30を通じて送られてくるセンサデータを用いて、匂いセンサ20が置かれている空間における匂いの主観データを推定する。そして、本開示の実施形態に係る情報処理装置10は、推定主観データと、実際の入力主観データとに差分があれば、推定結果として実際の入力主観データを推定するよう、学習済みモデル104を再学習する。本開示の実施形態に係る情報処理装置10は、推定主観データと、実際の入力主観データとに差分があれば学習済みモデル104を再学習することで、AIが推定する匂いの主観データと、人間による匂いの主観データとの差を小さくすることができる。
【0074】
以上、添付図面を参照しながら本開示の実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらの変更例または修正例についても、当然に本開示の技術的範囲に属するものと了解される。
【0075】
また、上記実施形態において記載された効果は、説明的又は例示的なものであり、上記実施形態において記載されたものに限定されない。つまり、本開示に係る技術は、上記実施形態において記載された効果とともに、又は上記実施形態において記載された効果に代えて、上記実施形態における記載から、本開示の技術分野における通常の知識を有する者には明らかな他の効果を奏しうる。
【0076】
なお、上記各実施形態でCPUがソフトウェア(プログラム)を読み込んで実行した匂い推定処理を、CPU以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、FPGA(Field-Programmable Gate Array)等の製造後に回路構成を変更可能なPLD(Programmable Logic Device)、及びASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、匂い推定処理を、これらの各種のプロセッサのうちの1つで実行してもよいし、同種又は異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGA、及びCPUとFPGAとの組み合わせ等)で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
【0077】
また、上記各実施形態では、匂い推定処理のプログラムがROMまたはストレージに予め記憶(インストール)されている態様を説明したが、これに限定されない。プログラムは、CD-ROM(Compact Disk Read Only Memory)、DVD-ROM(Digital Versatile Disk Read Only Memory)、及びUSB(Universal Serial Bus)メモリ等の非一時的(non-transitory)記録媒体に記録された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
【符号の説明】
【0078】
10 情報処理装置
20 匂いセンサ
30 携帯端末
40 表示装置