IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社レボーンの特許一覧

特許7074365香り品質特定システム、高機能携帯端末及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-05-16
(45)【発行日】2022-05-24
(54)【発明の名称】香り品質特定システム、高機能携帯端末及びプログラム
(51)【国際特許分類】
   G06F 16/907 20190101AFI20220517BHJP
   G01N 27/12 20060101ALI20220517BHJP
   G01N 27/416 20060101ALI20220517BHJP
   G01N 5/02 20060101ALN20220517BHJP
【FI】
G06F16/907
G01N27/12 A
G01N27/416 311G
G01N5/02 A
【請求項の数】 4
(21)【出願番号】P 2019559633
(86)(22)【出願日】2018-12-10
(86)【国際出願番号】 JP2018045363
(87)【国際公開番号】W WO2019117099
(87)【国際公開日】2019-06-20
【審査請求日】2020-06-09
(31)【優先権主張番号】P 2017236603
(32)【優先日】2017-12-11
(33)【優先権主張国・地域又は機関】JP
【新規性喪失の例外の表示】特許法第30条第2項適用 平成29年10月23日、電通アイソバー株式会社が、ウェブサイト(https://www.makuake.com/project/kiokunokaori/等)にて公表
(73)【特許権者】
【識別番号】517372106
【氏名又は名称】株式会社レボーン
(74)【代理人】
【識別番号】110002789
【氏名又は名称】特許業務法人IPX
(72)【発明者】
【氏名】松岡 広明
(72)【発明者】
【氏名】小出 哲彰
【審査官】鹿野 博嗣
(56)【参考文献】
【文献】特開2014-085114(JP,A)
【文献】特開2005-242657(JP,A)
【文献】特開2007-309752(JP,A)
【文献】特開2006-275862(JP,A)
【文献】米国特許出願公開第2016/0132482(US,A1)
【文献】特開2010-087940(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 16/907
G01N 27/12
G01N 27/416
G01N 5/02
(57)【特許請求の範囲】
【請求項1】
物体の名詞、前記名詞を表す形容詞が入力可能な入力部と、
前記物体から放たれる香り成分に基づく数値を測定する測定部と、
ユーザにより前記入力部に入力された前記名詞及び前記形容詞前記ユーザの操作により前記測定部が測定した数値を組み合わせて組合せデータとして蓄積させるデータ蓄積部と、
前記ユーザにより前記入力部に入力された検索される物体の検索物名詞、前記検索物名詞を表す検索物形容詞が入力されると共に、前記ユーザの操作により前記測定部が測定した前記検索される物体のから放たれる香り成分に基づく数値である検索物数値を受信したときに、前記検索物名詞、前記検索物形容詞および前記検索物数値を前記組合せデータと照合し、前記組合せデータに基づいて、前記検索物形容詞および前記検索物数値の香りの品質を示す前記検索物名詞を有する物体、または前記検索物数値の香りの品質を示す前記検索物名詞を有する物体を特定するデータ照合部と、
を備えることを特徴とする香り品質特定システム。
【請求項2】
前記データ蓄積部は、前記名詞、前記形容詞および前記数値の間で、前記名詞、前記形容詞および前記数値を再帰型ニューラルネットワークにより学習し、前記組合せデータを作成して蓄積させることを特徴とする請求項1に記載の香り品質特定システム。
【請求項3】
請求項1又は請求項2に記載の香り品質特定システムを備える高機能携帯端末。
【請求項4】
ユーザから検索される物体の検索物名詞、前記検索物名詞を表す検索物形容詞の入力を受け付け、
前記ユーザから検索される前記物体から放たれる香り成分に基づく数値である検索物数値を受信し、
前記検索物名詞、前記検索物形容詞および前記検索物数値を、物体の名詞、前記名詞を表す形容詞、および物体から放たれる香り成分に基づく値を組み合わせた組合せデータと照合し、前記組合せデータに基づいて、前記検索物形容詞および前記検索物数値の香りの品質を示す前記検索物名詞を有する物体、または前記検索物数値の香りの品質を示す前記検索物名詞を有する物体を特定する処理をコンピュータに実行させ
前記組合せデータは、予め前記ユーザから受け付けたものである
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、香りを放つ物体に関する名詞情報、形容詞情報、香り数値情報を相互に関連付けたデータに基づいて香りを有する物体を特定する香り品質特定システム、高機能携帯端末及びプログラムに関する。
【背景技術】
【0002】
従来、撮影した画像データと共に検知した香りに関する情報を記録する特許文献1のような技術が開示されている。特許文献1には、香り成分を検知して香り成分の検出値を香り情報として記録するRAMと、被写体光を撮像した撮像信号を画像処理して画像ファイルを生成するCPUと、を備え、CPUが、香り情報と画像ファイルとを関連付けて記録するカメラに関する発明が開示されている。
【0003】
特に、特許文献1に記載の発明では、香り情報に相当する芳香剤名称と、香り情報に相当する芳香剤名称に含まれる香り成分の名称と、画像ファイルとが関連付けられている。そして、画像ファイルを再生するときに、表示された芳香剤名称を選択することによって芳香剤を噴霧する。このことから、特許文献1に記載の発明は、「画像ファイル」と「香り成分の名称」とが一緒に記録されることになる。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2010-87940号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、このような技術では、画像ファイルの画像中のどの物体が香りを放つのかまでは特定することができない場合がある。例えば、香りを放つ物体が画像中にある場合には、香りを放つ物体を視覚により特定することができるかもしれないが、香りを放つ物体が画像中にない場合には、香りを放つ物体を視覚により特定することができない。この場合に、「この香りを放つ物体が何」であるかがまず分からない。また、この場合に、芳香剤名称が分かっていても「香りを放つ物体とは無関係の画像データ」と「芳香剤名称」との関連付けが記録されるだけであり、「香りを放つ物体」と「芳香剤名称」との関連付けがされないことになる。この結果、前述のように香りを放つ物体が特定されないことになる。
【0006】
この一方で、香りを放つ物体がある場合に、「この物体が何」であって「この物体の香りが何」であるかを知りたいニーズもある。例えば、雑貨屋に行って良い香りのエリアを通ったときに、この香りのする物体を手に取って良く見たとして、「この香りのする物体が石鹸」であって「この物体の香りがバラの品種のルージュロワイアル」であるということが分からない場合がある。この場合に、ユーザは、「この物体が何」というのが「石鹸」であり、「この物体の香りが何」というのが「ルージュロワイアルの香り」であるという情報を知りたくなるはずである。
【0007】
そこで、本発明は、香りを放つ物体がある場合に、従来よりも「物体」と「香り」の関連付けの確実性を向上させて香りを放つ物体を特定し易くすることができる香り品質特定システムを提供することを目的とする。
【課題を解決するための手段】
【0008】
上記目的を達成するため、本発明の香り品質特定システムは、物体の名詞、前記名詞を表す形容詞が入力可能な入力部と、前記物体から放たれる香り成分に基づく数値を測定する測定部と、前記入力部に入力された前記名詞、前記形容詞、および前記測定部が測定した数値のうちの少なくとも2つを組み合わせて組合せデータとして蓄積させるデータ蓄積部と、検索される物体の検索物名詞、前記検索物名詞を表す検索物形容詞が入力されると共に、検索される物体の前記数値である検索物数値を受信したときに、前記検索物名詞、前記検索物形容詞および前記検索物数値を前記組合せデータと照合し、前記組合せデータに基づいて、前記検索物形容詞および前記検索物数値の香りの品質を示す前記検索物名詞を有する物体を特定するデータ照合部と、を備えることを特徴とする。
【発明の効果】
【0009】
本発明によれば、従来よりも「物体」と「香り」の関連付けの確実性を向上させて香りを放つ物体を特定し易くすることができる。
【図面の簡単な説明】
【0010】
図1A】本発明の一実施例に係る香り品質特定システムの構成を示す模式図である。
図1B】水晶振動子センサの構成を示す概略図である。
図2A】水晶振動子センサの共振周波数の変化を示すグラフである。
図2B】水晶振動子センサの共振周波数の変化を示すグラフである。
図3】水晶振動子センサの共振周波数の変化を示すグラフである。
図4】各々の水晶振動子センサが検知したバラの香り毎の共振周波数の基準値と、複数の水晶振動子センサが検知したバラの香り毎の共振周波数の基準値の平均値と、を示す表である。
図5A】香り品質特定システムが処理する物体の名詞、形容詞、物体の香りの情報を送信する経路を示すブロック図である。
図5B】名詞と形容詞の物体との関係性の深層学習の手順を示すブロック図である。
図5C】名詞と香り数値の物体との関係性の深層学習の手順を示すブロック図である。
図6】名詞情報、形容詞情報、香り数値情報の組合せデータである。
図7A】ユーザが検索用語を入力する前の入出力部に表示される検索画面である。
図7B】ユーザが検索用語を入力した後の入出力部に表示される検索画面である。
図8A】入力層が名詞、中間層が香り数値、出力層が形容詞の再帰型ニューラルネットワークを説明するための図である。
図8B】入力層が形容詞、中間層が香り数値、出力層が名詞の再帰型ニューラルネットワークを説明するための図である。
図8C】入力層が名詞、中間層が形容詞、出力層が香り数値の再帰型ニューラルネットワークを説明するための図である。
図8D】入力層が香り数値、中間層が形容詞、出力層が名詞の再帰型ニューラルネットワークを説明するための図である。
図8E】入力層が香り数値、中間層が名詞、出力層が形容詞の再帰型ニューラルネットワークを説明するための図である。
図8F】入力層が形容詞、中間層が名詞、出力層が香り数値の再帰型ニューラルネットワークを説明するための図である。
【発明を実施するための形態】
【0011】
以下、本発明の香り品質特定システムについて、図面を参照しながら詳細に説明していく。なお、以下に示す実施形態は本発明の実施形態の一例であって、本発明は、以下の実施形態に限定して解釈されるものではない。また、本実施形態で参照する図面において、同一の構成または機能を有する部分には同一の符号を付し、説明を省略する場合がある。
【0012】
図1Aに示されるように、香り品質特定システム100は、香り成分移動装置10と、測定部30と、人工知能部50と、入出力部70と、を備える。
【0013】
(香り成分移動装置)
香り成分移動装置10は、香りを有する物体1を収納可能な筐体11と、測定部30との間を繋ぐチューブ12と、チューブ12の途中に配置されるポンプ13と、を備える。香り成分移動装置10は、筐体11の内部の気体を測定部30に移動させることができる装置である。例えば、香り成分移動装置10は、測定部30の内部の圧力を低下させることにより、気体を測定部30に移動させる。
【0014】
(測定部)
測定部30は、物体1から放たれる香り成分に基づく数値を測定する部分であり、複数のガスセンサ31と、複数の水晶振動子センサ32と、香り数値算出部33と、を備える。
【0015】
複数のガスセンサ31の各々は、二酸化炭素、一酸化炭素、メタン、ブタン、アンモニア等の物体1から放たれるガスを検知するセンサである。動植物等がこれらのガスを放出するときには香り放つものもあれば香りを放たないものもあるが、どのようなガス成分が入った香りでも検知できるようにするために、複数のガスセンサ31が設けられている。ガスセンサ31のいずれかはアンモニア(匂いあり)を検知し、ガスセンサ31のいずれかは二酸化炭素(無臭)を検知するというように、各々のガスセンサ31は異なるガスを検知する。これらのガスセンサ31は、物体1から放たれる香り分子と共に放出される気体を検知する。ガスセンサ31としては、例えば、電気化学式センサが用いられる。電気化学式センサは、検知極と、対極と、検知極と対極との間に設けられたイオン伝導体と、を有し、検知極と対極とが電気的に接続された短絡電流を測定する構成になっており、検知対象ガスに曝されたときに、電流値の変化を検知する。この電流値変化のデータがガスの検知に用いられる。
【0016】
複数の水晶振動子センサ32の各々は、物体1から放たれる香り成分を検知するセンサである。各々の水晶振動子センサ32a~32gは、非特異的吸着性を有する薄膜により形成された水晶振動子34(図1B参照)を有する。複数の水晶振動子センサ32の各々は、香り成分が水晶振動子34に付着していない状態から香り成分が水晶振動子34に付着した状態になるまでの時間に対する共振周波数の変化を検知する。
【0017】
水晶振動子センサ32a~32gが有する水晶振動子34の各々には、複数の香り成分を検知することができる特定の化合物が蒸着されている。水晶振動子センサ32a~32gが有する水晶振動子34の各々に蒸着されている化合物は、互いに異なる化合物である。従って、水晶振動子センサ32a~32gの各々が検知することができる香り成分も互いに異なる。水晶振動子センサ32a~32gが有する水晶振動子34の各々に蒸着される化合物には、例えば、Dフェニルアラニン、D-チロシン、DL-セスチジン、Dグルコース、アデニン、ポリエチレンがある。
【0018】
例えば、水晶振動子センサ32aが香り成分「A、B、C、D、E」を検知し、水晶振動子センサ32bが香り成分「A、B、F、G、H」を検知し、水晶振動子センサ32cが香り成分「A、B」を検知する例を説明する。そして、バラの品種「ルージュロワイアル」の香り成分が「A、B」であり、バラの品種「ローズマリー」の香り成分が「C、D、E」であり、バラの品種「デンティ・ベス」の香り成分が「F、G、H」であるとする。
【0019】
この場合に、「ルージュロワイアル」の香り成分「A、B」は、水晶振動子センサ32a、32b、32cによって検知することができる。しかし、「ローズマリー」の香り成分「C、D、E」は、水晶振動子センサ32aにより検知することができるが、水晶振動子センサ32b、32cでは検知することができない。また、「デンティ・ベス」の香り成分「F、G、H」は、水晶振動子センサ32bにより検知することができるが、水晶振動子センサ32a、32cでは検知することができない。このように、水晶振動子センサ32a~32cは、同じ香り成分を検知できることもあれば、同じ香り成分を検知できないこともある。なお、同じ香り成分を検知するとしても、各々の水晶振動子センサ32a~32cは、異なる共振周波数で検知することになる。また、同じ香り成分を検知できないとしても、各々の水晶振動子センサ32a~32cは、異なる香り成分を検知することになる。
【0020】
香り数値算出部33は、複数のガスセンサ31が検知したガスに基づく電流値信号を受信すると共に、電流値信号に基づいた数値を電流値データとして保有する。香り数値算出部33は、複数の水晶振動子センサ32が検知した香り成分に基づく共振周波数信号を受信し、共振周波数信号に基づいた数値(以下、「香り数値」という場合もある)を共振周波数データ(以下、「香り数値情報」という場合もある)として保有する。この共振周波数データは、水晶振動子34に香り分子が付着していない状態から水晶振動子34に香り分子が付着する状態までの時間に対する共振周波数の変化を示す。
【0021】
(入出力部)
入出力部70は、ユーザが物体1の名詞とその名詞が表す形容詞を入力可能な部分であり、ユーザが香りを有する物体1の名詞、形容詞、香り数値、あるいは、名詞、形容詞、香り数値の特徴を有する物体1の画像等を出力可能な部分でもある。
【0022】
図2Aに示されるように、香り数値算出部33は、水晶振動子センサ32aが検知する検知結果に基づいてグラフK1~K5に示される共振周波数データ(時間に対する共振周波数の変化を示すデータ)を保有する。図2Bに示されるように、香り数値算出部33は、水晶振動子センサ32bが検知する検知結果に基づいてグラフK1~K5に示される共振周波数データ(時間に対する共振周波数の変化を示すデータ)を保有する。図3に示されるように、香り数値算出部33は、水晶振動子センサ32cが検知する検知結果に基づいてグラフK1~K5に示される共振周波数データ(時間に対する共振周波数の変化を示すデータ)を保有する。
【0023】
K1は、ルージュロワイアルの香り成分のデータであり、K2はジャンヌダルクの香り成分のデータであり、K3はシェドラーブルの香り成分のデータであり、K4はサダークレディの香り成分のデータであり、K5はウィッシングの香り成分のデータである。ルージュロワイア、ジャンヌダルク、シェドラーブル、サダークレディ、ウィッシングは、バラの品種である。水晶振動子センサ32c~32gについても同様に香り成分のデータが計測された(図4参照)。
【0024】
図4は、図2A及び図2BのグラフK1~K5と図3のグラフK1~K3の基準値を示す表である。ここでは、100秒経過後に共振周波数を安定して示す数値を、基準値と呼ぶ。例えば、水晶振動子センサ32aが検知したルージュロワイアルの共振周波数の基準値は、1990760Hzである。水晶振動子センサ32bが検知したルージュロワイアルの共振周波数の基準値は、1977230Hzである。水晶振動子センサ32cが検知したルージュロワイアルの共振周波数の基準値は、1994785Hzである。香り数値算出部33は、これらの水晶振動子センサ32a~32gが検知した検知結果をベクトルで表現される香り数値として保有する。図4の表は、ジャンヌダルク、シェドラーブル、サダークレディ、ウィッシングについても同様に見る。
【0025】
(人工知能部)
ここで、図1Aの説明に戻る。図1Aに示されるように、人工知能部50は、データ蓄積部51と、データ照合部52と、を有する。データ蓄積部51は、入出力部70(入力部・出力部)から入力された物体の名詞(名詞ラベル)の情報、その名詞を表す形容詞(形容表現)の情報、測定部30が測定した香り数値の情報を受信する。そして、データ蓄積部51は、これらの名詞の情報、形容詞の情報、香り数値の情報を組み合わせて組合せデータ(図6参照)として蓄積させる。データ蓄積部51は、名詞、形容詞および香り数値の間で、名詞、形容詞および香り数値を再帰型ニューラルネットワークにより学習し、組合せデータを作成して蓄積させる。データ蓄積部51は、入出力部70に入力された名詞、形容詞、および測定部30が測定した香り数値の全てを組み合わせて組合せデータとして蓄積させる場合が多いが、そのうちの2つを組み合わせて組合せデータとして蓄積させる場合もある(図6のID3、ID4参照)。名詞、形容詞、香り数値の全てが常に揃うとは限らないからである。
【0026】
名詞の情報には、例えば、料理名(カレー)、花などの品種(ローズ、バラ)、生産者名(有佳子さん)、ロット番号(製品番号)、菓子名(プリングルスのサワークリーム&オニオン)等が該当する。形容詞の情報には、名詞の物体に対して嗅覚、味覚、視覚によって得られる表現の情報が含まれる。
【0027】
(データ蓄積部)(名詞情報と形容詞情報との間の深層学習について)
データ蓄積部51は、物体1の名詞と形容詞とが同時に入力されて名詞情報と形容詞情報とを受信したときに、名詞情報と形容詞情報とを組み合わせた組合せデータを作成する。データ蓄積部51は、入力層に名詞情報を用い、出力層に形容詞情報を用い、香り数値情報を受信した場合には中間層に香り数値情報を用いて、再帰型ニューラルネットワークにより深層学習する。データ蓄積部51は、この再帰型ニューラルネットワークにより深層学習して得られたデータを組合せデータとして随時蓄積していく。
【0028】
図6図8A図8Bを用いながら、この内容を説明する。例えば、データ蓄積部51は、図6のID1に記載される名詞情報「ルージュロワイアル」と形容詞情報「フルーティ」を受信する。この場合に、データ蓄積部51は、名詞情報「ルージュロワイアル」と形容詞情報「フルーティ」とにより組合せデータを作成する。そして、データ蓄積部51は、入力層に名詞「ルージュロワイアル」を用い、出力層に形容詞「フルーティ」を用い、香り数値情報を受信した場合には中間層に香り数値情報を用いて、名詞情報「ルージュロワイアル」から形容詞情報「フルーティ」に至る深層学習を行う。このように名詞→香り数値→形容詞の流れで深層学習することにより名詞と形容詞との間で、その形容詞がその名詞を表現する確率が向上するようにされている。
【0029】
また、データ蓄積部51は、入力層に名詞「バラ、生花、愛」を用い、出力層に形容詞「フルーティ、いい香り、甘い、濃厚な、いい匂い」を用い、中間層に香り数値情報を用いて、名詞情報から形容詞情報に至る深層学習を行う。このように名詞→香り数値→形容詞の流れで深層学習をする。前述の例は、中間層が香り数値情報のID1についての説明であるが、ID2、ID3、ID4に関しても同様に行っていく。
【0030】
データ蓄積部51は、前述のように名詞を入力部、形容詞を出力部、香り数値を中間層とした再帰型ニューラルネットワークにより深層学習をする(図8A)と共に、これとは反対に形容詞を入力部、名詞を出力部、香り数値を中間層とした再帰型ニューラルネットワークにより深層学習をし(図8B)、名詞と形容詞との関係を学習していく。
【0031】
(データ蓄積部)(名詞情報と香り数値情報との間の深層学習について)
データ蓄積部51は、物体1の名詞が入力されて名詞情報を受信すると共に、測定部30が測定した香り数値情報を受信したときに、名詞情報と香り数値情報とを組み合わせた組合せデータを作成する。データ蓄積部51は、入力層に名詞情報を用い、出力層に香り数値情報を用い、形容詞情報を受信した場合には中間層に形容詞情報を用いて、再帰型ニューラルネットワークにより深層学習する。データ蓄積部51は、この再起型ニューラルネットワークにより深層学習して得られたデータを組合せデータとして随時蓄積していく。
【0032】
図6図8C図8Dを用いながら、この内容を説明する。例えば、データ蓄積部51は、図6のID1に記載される名詞情報「ルージュロワイアル」の入力情報を受信すると共に、香り数値情報「1990760」を受信する。この場合に、データ蓄積部51は、名詞情報「ルージュロワイアル」と香り数値情報「1990760」とにより組合せデータを作成する。そして、データ蓄積部51は、入力層に名詞「ルージュロワイアル」を用い、出力層に香り数値情報「1990760」を用い、形容詞情報を受信した場合には中間層に形容詞情報を用いて、名詞情報「ルージュロワイアル」から香り数値情報「1990760」に至る深層学習を行う。このように名詞→形容詞→香り数値の流れで深層学習することにより名詞と香り数値との間で、その香り数値がその名詞を表現する確率が向上するようにされている。
【0033】
また、データ蓄積部51は、入力層に名詞「バラ、生花、愛」を用い、出力層に香り数値情報「1977230、1977230、1994785、・・・1996620、1988760」(ここでは、図6のid1の香り数値情報を例示))を用い、中間層に形容詞情報を用いて、名詞情報から形容詞情報に至る深層学習をする。出力層に設ける香り数値情報は、図6のid2、id3が用いられても良い。また、前述の例は、出力層が香り数値情報のID1についての説明であるが、ID2、ID3、ID4に関しても同様に行っていく。
【0034】
データ蓄積部51は、前述のように名詞を入力部、香り数値を出力部、形容詞を中間層とした再帰型ニューラルネットワークにより深層学習をする(図8C)と共に、これとは反対に香り数値を入力部、名詞を出力部、形容詞を中間層とした再帰型ニューラルネットワークにより深層学習をし(図8D)、名詞と香り数値との関係を学習していく。
【0035】
(データ蓄積部)(香り数値情報と形容詞情報との間の深層学習について)
データ蓄積部51は、測定部が測定した香り数値情報を受信すると共に、物体1の形容詞が入力されて形容詞情報を受信したときに、香り数値情報と形容詞情報とを組み合わせた組合せデータを作成する。データ蓄積部51は、入力層に香り数値情報を用い、出力層に形容詞情報を用い、名詞情報を受信した場合には中間層に名詞情報を用いて、再起型ニューラルネットワークにより深層学習をする。データ蓄積部51は、この再帰型ニューラルネットワークにより深層学習して得られたデータを組合せデータとして随時蓄積していく。
【0036】
図6図8E図8Fを用いながら、この内容を説明する。例えば、データ蓄積部51は、図6のID1に記載される香り数値情報「1990760」(図6参照)を受信すると共に、形容詞情報「フルーティ」(図6参照)を受信する。この場合に、データ蓄積部51は、香り数値情報「1990760」と形容詞情報「フルーティ」とにより組合せデータを作成する。そして、データ蓄積部51は、入力層に香り数値情報「1990760」を用い、出力層に形容詞情報「フルーティ」を用い、名詞情報を受信した場合には中間層に名詞情報を用いて、香り数値情報「1990760」から形容詞情報「フルーティ」に至る深層学習を行う。このように香り数値→名詞→形容詞の流れで深層学習をすることにより香り数値と形容詞との間で、その形容詞がその香り数値を表現する確率が向上するようにされている。
【0037】
また、データ蓄積部51は、入力層に香り数値情報「1977230、1977230、1994785、・・・1996620、1988760」(ここでは、図6のid1の香り数値情報を例示))を用い、出力層に形容詞情報「フルーティ、いい香り、甘い、濃厚な、いい匂い」を用い、中間層に名詞情報を用いて、香り数値情報から形容詞情報に至る深層学習を行う。このように、香り数値情報→名詞情報→形容詞情報の流れで深層学習をする。入力層に設ける香り数値情報は、図6のid2、id3が用いられても良い。また、前述の例は、入力層が香り数値情報のID1についての説明であるが、ID2、ID3、ID4に関しても同様に行っていく。
【0038】
データ蓄積部51は、前述のように香り数値を入力部、形容詞を出力部、名詞を中間層とした再帰型ニューラルネットワークにより深層学習をする(図8E)と共に、これとは反対に形容詞を入力部、香り数値を出力部、名詞を中間層とした再帰型ニューラルネットワークにより深層学習をし(図8F)、香り数値と形容詞との関係を学習していく。
【0039】
データ蓄積部51は、前述のような名詞、形容詞および香り数値の間の情報をインターネット情報から収集して、組合せデータを作成して随時蓄積させている。データ蓄積部51は、名詞情報と形容詞情報との組み合わせ情報を、ツイッター(登録商標)で検索される組み合わせや、ツイッターでツイートされる文章等から収集して深層学習してデータ化し、蓄積している。データ蓄積部51は、前述のような名詞、形容詞および香り数値の間の情報を、その他では、自動応答システム(チャットボット)をはじめとする香り品質特定システム100の応答履歴を起点としたシステムから収集する。
【0040】
次に、図5A~Cを用いながら、香り品質特定システム100の動作を説明する。図5Aに示されるように、ユーザが、香り成分移動装置10の中に、香り情報を測定する物体1を入れ、物体1の香りが筐体11内に充満する(M1)。ユーザは、ポンプ13を駆動させ(M2)、香り成分移動装置10内の香り成分が含まれた空気を測定部30に送り込む。
【0041】
測定部30の中では、ガスセンサ31が空気内の一酸化炭素、二酸化炭素、アンモニア等を検知する(M3のM31)。同時に、水晶振動子センサ32が空気内の香り成分の共振周波数を検知する(M3のM32)。ここでは、水晶振動子センサ32が香り成分としてルージュロワイアルを検知した場合を想定する。
【0042】
この一方で、名詞と形容詞(M4)は、インターネットを通じて(M5)、人工知能部50のデータ蓄積部51に送信され、特徴学習モデル(再起型のニューラルネットワークであるLSTM)が実行される(M6)。または、ユーザが物体1の名詞と形容詞(M4)を高機能携帯端末(スマートフォン等)の入出力部70を用いて(M5)人工知能部50のデータ蓄積部51に送信し、特徴学習モデル(再帰型ニューラルネットワークであるLSTM)を実行させる(M6)。学習した物体1の名詞と形容詞との関係は、人工知能部50のデータ照合部52に送信される(M7)。
【0043】
人工知能部50は、名詞情報、形容詞情報、香り数値情報を組み合わせた組合せデータをデータ蓄積部51に蓄積させる。
【0044】
図5Aの人工知能部50のデータ蓄積部51は、図5Bに示されるように、言語入力層(M12)に名詞(M11)を用い、言語出力層(M16)に形容詞で表される物体の情報(M15)を用い、特徴学習モデル(再帰型ニューラルネットワークであるLSTM)(M17)により名詞と形容詞との関係性を深層学習する。また、データ蓄積部51は、言語入力層(M14)に形容詞(M13)を用い、言語出力層(M16)に名詞で表される物体の情報(M15)を用い、特徴学習モデル(再帰型ニューラルネットワークであるLSTM)(M17)により名詞と形容詞との関係性を深層学習する。
【0045】
図5Aの人工知能部50のデータ蓄積部51は、図5Cに示されるように、言語入力層(M22)に名詞(M21)を用い、香り数値出力層(M26)に香り数値で表される物体の情報(M25)を用い、特徴学習モデル(再帰型ニューラルネットワークであるLSTM)(M27)により名詞と香り数値との関係性を深層学習する。また、データ蓄積部51は、香り数値入力層(M24)に香り数値(M23)を用い、言語出力層(M26)に名詞で表される物体の情報(M25)を用い、特徴学習モデル(再帰型ニューラルネットワークであるLSTM)(M27)により香り数値と名詞との関係性を深層学習する。
【0046】
図6に示されるように、組合せデータは、複数の名詞情報と、複数の形容詞情報と、複数の香り数値情報と、を組み合わせた情報である。ID1の名詞情報には、「ルージュロワイアル」「バラ」「生花」「愛」が含まれている。データ蓄積部51は、「ルージュロワイアル」「バラ」「生花」「愛」が使用頻度により互いに関連付けが強いものとして分類している。「ルージュロワイアル」は、「バラ」の品種であり、「生花」に用いられ、「愛」という花言葉を持つので、この関係が生じる。また、データ蓄積部51に入力される名詞情報または形容詞情報または香り数値情報の入力内容ごとの入力の頻度によって、入力された名詞情報同士に関係が生じ、形容詞同士に関係が生じ、香り数値情報同士に関係が生じる。深層学習を行うに際して、組合せデータとして頻出される可能性のある「ルージュロワイアル、バラ」は強い関係をもつように深層学習され、「ルージュロワイアル、ご飯」のような入力の頻度が低い組合せデータについては、弱い関係しか有さないように深層学習が行われる。
【0047】
次に、ID1の形容詞情報には、「フルーティ」「いい香り」「甘い」「濃厚な」「いい匂い」が含まれている。データ蓄積部51は、「ルージュロワイアル」を表現する形容詞として「フルーティ」「いい香り」「甘い」「濃厚な」「いい匂い」が用いられると判断する。形容詞情報としては、「フルーティ」「いい香り」は1番の表現者により表現され、「甘い」「濃厚な」は2番の表現者により表現され、「いい匂い」は3番の表現者により表現されたことも記録されている。
【0048】
次に、ID1の香り形容詞情報には、IDと、timestamp(香り測定時間)、水晶振動子センサ32a~32gが検知した共振周波数、average(共振周波数の平均値)、ondition_id(気温、湿度等の環境分類を示すid)が含まれている。図6中のs1は、水晶振動子センサ32aに対応し、s2は、水晶振動子センサ32bに対応し、s3は、水晶振動子センサ32cに対応し、s4は、水晶振動子センサ32dに対応し、s5は、水晶振動子センサ32eに対応し、s6は、水晶振動子センサ32fに対応し、s7は、水晶振動子センサ32gに対応する。
【0049】
(データ照合部)
データ照合部52は、ユーザが物体1を検索した物体1の名詞(検索物名詞)、この名詞を表す形容詞(検索物形容詞)の入力情報を受信し、ユーザが物体1を調査するために測定部30が測定した物体1の香り数値(検索物数値)を受信する。例えば、データ照合部52は、ユーザが検索する名詞「バラ」、形容詞「フルーティ」の入力情報を受信し、測定部30が香り数値「1990760」を受信する。
【0050】
そして、データ照合部52は、検索された物体の名詞、形容詞および香り数値を、蓄積されている組合せデータと照合する。データ照合部52は、その組合せデータに基づいて、検索物の形容詞および検索物の香り数値を示す検索物の名詞を有する物体1を特定する。例えば、前述の例で考えると、以下のようになる。データ照合部52は、検索物の名詞「バラ」を、図6のID1の名詞情報「バラ」およびID2の名詞情報「バラ」と照合する。また、データ照合部52は、検索物の形容詞「フルーティ」を、図6のID1の形容詞「フルーティ」およびID2の形容詞「フルーティ」と照合する。さらに、データ照合部52は、検索物の香り数値「1990760」を、図6の香り数値の平均値「1990760」と照合する。
【0051】
データ照合部52は、検索物の名詞と形容詞から「バラ」であることを判断できても「ルージュロワイアル」であるか「ジャンヌダルク」であるかを判断できない。しかし、データ照合部52は、香り数値の平均値から「ルージュロワイアル」であると判断する。データ照合部52は、ルージュロワイアルのバラを入出力部70に出力する。
【0052】
(実施例1)
次に、ユーザが「良い香りがするもの」を花屋に行って見つけたが、「この香りと同等の香りがする新しい石鹸」を雑貨屋に行って探す場合を想定して、香り品質特定システム100に関するユーザの使用態様と香り品質特定システム100の動作を説明していく。また、実際には、雑貨屋であれば、石鹸の成分が石鹸の包装用紙に記載されている場合が多いため、「良い香りと同等の香り」が包装用紙で特定されるものであるが、ここでは、包装用紙に「良い香りと同等の香り」の内容が記載されていない石鹸が店内に並んでいる場合を想定して説明していく。
【0053】
ユーザが花屋を歩いているときに、自分の気に入った香りがするものを見つける。ユーザは、スマートフォン80の入出力部70の画面上で「香りアプリ」を起動させる。ユーザは、香り成分移動装置10の筐体11に良い香りがするものを収納する。ユーザが、ポンプ13を駆動させて筐体11の空気を測定部30に流入させる。測定部30は、ガスセンサ31と水晶振動子センサ32により石鹸の香りを検知し、香り数値算出部33により石鹸の香り数値を測定し、データ蓄積部51に香り数値情報「1990760」を送信する。データ蓄積部51は、形容詞情報「フルーティ、いい香り、甘い、濃厚な、いい匂い」と香り数値情報「1990760」との組合せデータを作成する。
【0054】
それから、ユーザは、雑貨屋に行って石鹸を見ている。ユーザは、図7Aに示されるように、画面中には、「何をお探しですか?」という文章と「その香りはどのような香りですか?その他に特徴はありますか?」という文章が表示される。図7Bに示されるように、ユーザが「何をお探しですか?」の入力欄に名詞「石鹸」を入力し、「その香りはどのような香りですか?その他に特徴はありますか?」の入力欄に形容詞「フルーティ 甘い」を入力する。入出力部70は、名詞情報「石鹸」と形容詞情報「フルーティ 甘い」をデータ照合部52に送信する。
【0055】
データ照合部52は、花屋で照合した形容詞情報「フルーティ、いい香り、甘い、濃厚な、いい匂い」と香り数値情報「1990760」との組合せデータの部分と、雑貨屋で検索した名詞情報「石鹸」と形容詞情報「フルーティ 甘い」との組合せデータの部分とを更に組み合わせる。そして、データ照合部52は、名詞情報「石鹸」、形容詞情報「フルーティ、甘い」、香り数値情報「1990760」を導出する。データ照合部52は、名詞情報から名詞が「石鹸」であり、形容詞情報と香り数値情報から香りが「ルージュロワイアル」であることを特定する。人工知能部50は、画面上に、「ルージュロワイアルの石鹸」を表示しつつ、ルージュロワイアルという文字が包装用紙に記載された石鹸を表示する。ユーザは、石鹸が「ルージュロワイアルの石鹸」であることを認識する。
【0056】
(実施例2)
次に、ユーザが「良い香りがするもの」を雑貨屋に行って見つけたが、それが何かわからない場合の香り品質特定システム100に関するユーザの使用態様と香り品質特定システム100の動作を説明していく。この場合は、実際には、良い香りがするものが何かは包装用紙に記載されている場合が多いため、物体が特定されるものであるが、ここでは、包装用紙で包装されていないものが店内に並んでいる場合を想定して説明していく。
【0057】
ユーザが雑貨屋を歩いているときに、自分の気に入った香りがするものを見つける。ユーザは、香り成分移動装置10の筐体11に自分の気に入った香りがするものを収納する。ユーザが、ポンプ13を駆動させて筐体11の空気を測定部30に流入させる。測定部30は、ガスセンサ31と水晶振動子センサ32によりその香りがするものを検知し、香り数値算出部33によりその香りがするものの香り数値を測定し、データ蓄積部51に香り数値情報「1990760」を送信する。
【0058】
この一方で、ユーザは、スマートフォンの入出力部70の画面上で「香りアプリ」を起動させる。図7Aに示されるように、画面中には、「何をお探しですか?」という文章と、「その香りはどのような香りですか?その他に特徴はありますか?」という文章と、が表示される。図7Bに示されるように、ユーザが「何をお探しですか?」の入力欄に名詞「不明」を入力し、「その香りはどのような香りですか?その他に特徴はありますか?」の入力欄に「フルーティ」を入力する。入出力部70は、名詞情報「不明」、形容詞情報「フルーティ」をデータ照合部52に送信する。
【0059】
データ照合部52は、名詞情報「不明」、形容詞情報「フルーティ」、香り数値情報「1990760」をデータ蓄積部51の組合せデータと照合する。そして、人工知能部50は、名詞情報からは名詞が特定されず、形容詞情報からも香りが特定されず、香り数値情報から香りが「ルージュロワイアル」であることを特定する。名詞情報は検索の段階では分からないが、データ照合部52は、名詞情報「石鹸」、形容詞情報「フルーティ」、香り数値情報「1990760」の組合せデータに該当するものを有するのであれば、「ルージュロワイアルの石鹸」であると結論を出す可能性がある。ただし、「ルージュロワイアルのバラ」であると結論を出す可能性もある。
【0060】
(実施例3)
実施例3では、実施例2の事例において、データ照合部52は、組合せデータに形容詞情報と香り数値情報とを組み合わせたデータがあるもののこれらと名詞情報とを組み合わせた組合せデータが無い場合を想定して説明する。この場合には、名詞情報を特定するために、画面中に、「それは、四角いですか?」、「それは、固いですか?」、「それは、すべり易いですか?」、「それは、白いですか?」という文章が表示される。データ蓄積部51は、「それは四角いですか?」に対するユーザの回答「四角い」、「それは固いですか?」に対するユーザの回答「固い」、「それは、すべり易いですか?」に対する回答「すべり易い」、「それは、白いですか?」に対するユーザの回答「白い」といった形容詞情報を中間層、香り数値情報「1990760」を入力層、名詞情報「不明」を出力層として、再帰型ニューラルネットワークにより名詞「石鹸」を特定する。ユーザは、知りたかったものが「ルージュロワイアルの石鹸」であることを認識する。
【0061】
前述してきた香り品質特定システム100によれば、従来よりも「物体」と「香り」の関連付けの確実性を向上させて香りを放つ物体1を特定し易くすることができる。例えば、ルージュロワイアルの石鹸がある場合に、名詞「石鹸」と香り数値「1990760」の関連付けの確実性が、形容詞「フルーティ、いい香り、甘い、濃厚な、いい匂い」等により向上し、香りを放つ物体1が特定され易くなる。
【0062】
(変形例)
なお、上記実施形態では、水晶振動子センサが用いられて香り成分が検知される構成であったが、これに限定されず、香り分子まで細かく検知される構成、または半導体式センサ、接触燃焼式センサ、電気化学式センサ、光センサが用いられて香り成分または香り分子または香りを有する物体が発するガスが検知される構成であっても良い。
【0063】
半導体式センサは、酸化物半導体の表面が可燃性ガスに曝されると、酸化物半導体の電気抵抗が変化するので、その抵抗値の変化を検知する。この抵抗値変化のデータが香り分子の検知に用いられる。接触燃焼式センサは、可燃性ガスに曝されると、可燃性ガスに対して反応する検知片と可燃性ガスに対して反応しない補償片のうち、検知片の方のみ抵抗上昇することでブリッジ回路のバランスが崩れて、不均衡電圧値の変化を検知する。この電圧値変化のデータが香り分子の検知に用いられる。
【0064】
上記実施形態では、データ蓄積部51は、IINIOI AI と名付けられた出願人が開発する独自のシステムであるが、その他の深層学習またはデータベースによるシステムであっても良い。
【0065】
上記実施形態では、水晶振動子センサ32が7つ用いられていたので香りデータが7次元の構成であったが、上記実施形態に限定されなくても良い。すなわち、水晶振動子センサ32が8つ以上用いられた8次元以上の構成であっても良い。データ蓄積部51は、水晶振動子センサ32の種類が多くなればなる程、香り数値情報を細かく保有できることになる。また、データ照合部52は、水晶振動子センサ32の種類が多くなればなる程、香り数値を細かく照合できることになる。
【0066】
上記実施形態では、データ蓄積部51は、入力層に名詞情報、出力層に形容詞情報、中間層に香り数値情報を用いる構成であったが、この構成に限定されなくても良い。この場合に、中間層の訓練に、香り数値情報と名詞情報との間の学習済みネットワークが用いられて転移学習させたり、香り数値情報と形容詞情報との間の学習済みネットワークが用いられて転移学習させたりしても良い。これは、入力層に形容詞情報、出力層に名詞情報、中間層に香り数値情報を用いる構成であっても同様である。
【0067】
上記実施形態では、データ蓄積部51は、入力層に名詞情報、出力層に香り数値情報、中間層に形容詞情報を用いる構成であったが、この構成に限定されなくても良い。この場合に、中間層の訓練に、形容詞情報と名詞情報との間の学習済みネットワークが用いられて転移学習させたり、形容詞情報と香り数値情報との間の学習済みネットワークが用いられて転移学習させたりしても良い。これは、入力層に香り数値情報、出力層に名詞情報、中間層に形容詞情報を用いる構成でも同様である。
【0068】
上記実施形態では、データ蓄積部51は、入力層に香り数値情報、出力層に形容詞情報、中間層に名詞情報を用いる構成であったが、この構成に限定されなくても良い。この場合に、中間層の訓練に、名詞情報と香り数値情報との間の学習済みネットワークが用いられて転移学習させたり、名詞情報と形容詞情報との間の学習済みネットワークが用いられて転移学習させたりしても良い。これは、入力層に形容詞情報、出力層に香り数値情報、中間層に名詞情報を用いる構成でも同様である。
【0069】
上記実施形態では、香り品質特定システム100が香り成分移動装置10を有する構成であったが、この構成に限定されなくても良い。香り品質特定システム100に香りを吸入する香り吸入機構が設けられれば良い。
【0070】
上記実施形態では、香り品質特定システム100が、香り成分移動装置10、香り測定部30、人工知能部50、入出力部70が別体で構成される構成であったが、この構成に限定されなくても良い。全ての構成がスマートフォン等の高機能通信端末に内蔵される構成であっても良い。
【0071】
上記実施形態では、データ照合部52は、検索する物体1の香り数値情報を、データ蓄積部51の香り数値情報の平均値と照合していたが、この構成に限定されなくても良い。例えば、データ蓄積部51の香り数値情報の平均値の代わりに、各々の水晶振動子センサ32a~32gが検知した香り数値に重み付けをした数値を足し合わせた数値、各々の水晶振動子センサ32a~32gが検知した香り数値に重み付けをした数値を掛け合わせた数値、が用いられても良い。
【0072】
上記実施形態では、香り品質特定システム100が物体1の名詞、形容詞及び香り数値の関係性を学習する深層学習処理、及び深層学習により作成した組み合わせデータを用いて物体1を特定する物体特定処理の2つの処理を行ったが、香り品質特定システム100は、2つの処理をそれぞれサーバ装置及びクライアントが行うサーバ/クライアントシステムとして構成されても良い。具体的には、サーバ装置が深層学習を行って組合せデータを作成し、インターネット等の公衆通信網を介してユーザの高機能携帯端末に「香りアプリ」(プログラム)及び組合せデータを配信し、インストールさせる。高機能携帯端末は、ユーザから検索対象の物体1の名詞、形容詞の入力を受け付けると共に、検索対象の物体1の香り数値を測定部30から受信して組合せデータと照合し、物体1を特定する。このように、深層学習を行うハードウェア(データ蓄積部51)と、物体1を特定するハードウェア(データ照合部52)とは異なっていても良い。
【0073】
なお、高機能携帯端末には組合せデータをインストールせず、サーバ装置が組合せデータを保持し、高機能携帯端末は物体1の特定時にサーバ装置にアクセスして組合せデータとの照合を行うようにしても良いことは勿論である。
【符号の説明】
【0074】
1 物体
10 香り成分移動装置
100 香り品質特定システム
11 筐体
12 チューブ
13 ポンプ
30 測定部
31 ガスセンサ
32 水晶振動子センサ
32a~32g 水晶振動子センサ
33 数値算出部
34 水晶振動子
50 人工知能部
51 データ蓄積部
52 データ照合部
70 入出力部
K1~K5 グラフ
図1A
図1B
図2A
図2B
図3
図4
図5A
図5B
図5C
図6
図7A
図7B
図8A
図8B
図8C
図8D
図8E
図8F