IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社香味醗酵の特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023177337
(43)【公開日】2023-12-13
(54)【発明の名称】システおよび管理装置
(51)【国際特許分類】
   G06Q 50/10 20120101AFI20231206BHJP
【FI】
G06Q50/10
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2023090043
(22)【出願日】2023-05-31
(31)【優先権主張番号】P 2022089248
(32)【優先日】2022-05-31
(33)【優先権主張国・地域又は機関】JP
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.PYTHON
(71)【出願人】
【識別番号】517289479
【氏名又は名称】株式会社香味醗酵
(74)【代理人】
【識別番号】100190621
【弁理士】
【氏名又は名称】崎間 伸洋
(74)【代理人】
【識別番号】100212510
【弁理士】
【氏名又は名称】笠原 翔
(72)【発明者】
【氏名】久保 賢治
(72)【発明者】
【氏名】浅井 直人
【テーマコード(参考)】
5L049
【Fターム(参考)】
5L049CC12
(57)【要約】
【課題】目標の匂いもしくは味の再現、または匂いもしくは味の管理を適切に行う。
【解決手段】メタバース空間でのサービスにおいてメタバース空間での情報に基づく匂い再現または味再現を行うシステムであって、非代替性トークンは、匂い情報または味情報のコードデータと関連付けられている。コードデータを利用し、第1の利用者とは異なり、メタバース空間でのサービスを利用する第2の利用者に対して、匂い情報または味情報に対応する匂いまたは味の再生処理を実行するための第1の再生デバイスをさらに備え、ブロックチェーンへ第1利用者と第2の再生デバイスを特定する情報を認証情報として含む使用要求が送信され、ブロックチェーン内の非代替性トークンの所有情報に基づく確認結果に応じて、第1の再生デバイスが、再生処理を実行する。
【選択図】図31A
【特許請求の範囲】
【請求項1】
メタバース空間でのサービスにおいて前記メタバース空間での情報に基づく匂い再現または味再現を行うシステムであって、
ピアツーピアの通信で、ブロックチェーンを構成する複数のノードのそれぞれに対応する複数のコンピュータと、
前記ブロックチェーンに対してトランザクションを発行可能であって、前記匂い情報または味情報の原所有者からの発行要求に応じて、前記ブロックチェーンに非代替性トークンを登録し、前記非代替性トークンの前記所有情報に基づく前記正当性の確認をするための管理装置とを備え、
前記非代替性トークンは、前記匂い情報または味情報のコードデータと関連付けられており、
前記ブロックチェーンは、前記コードデータが前記原所有者から第1の利用者に移転することに応じて、前記非代替性トークンの所有情報の変更を記録し、前記非代替性トークンに基づいて、前記匂い情報または味情報の使用の正当性の確認結果を返信し、
前記コードデータを利用し、前記第1の利用者とは異なり、前記メタバース空間でのサービスを利用する第2の利用者に対して、前記匂い情報または味情報に対応する匂いまたは味の再生処理を実行するための第1の再生デバイスをさらに備え、
前記第1の利用者の装置からの使用要求として、前記ブロックチェーンへ前記第1利用者と前記第2の再生デバイスを特定する情報を認証情報として含む使用要求が送信され、前記ブロックチェーン内の前記非代替性トークンの前記所有情報に基づく前記確認結果に応じて、前記第1の再生デバイスが、前記再生処理を実行する、システム。
【請求項2】
前記第1の再生デバイスは、前記メタバース空間における前記第2の利用者に対応するアバターに関する空間情報に応じて、前記再生処理を制御し、
前記空間情報は、前記メタバース空間のアバターの環境として、設定される仮想的な温度、湿度または風速の設定を含む、請求項1記載のシステム。
【請求項3】
前記第1の利用者の装置は、前記第2の利用者に対して、仮想空間の画像および音声を配信するためのサーバー装置であり、
前記サーバー装置から配信される画像に応じて、前記使用要求を前記管理装置に発信して、前記第1の再生デバイスに連動した再生処理を実行させる、請求項1記載のシステム。
【請求項4】
前記第1の利用者の装置および前記第2の利用者の装置に対して、 前記メタバース空間の画像および音声を配信するためのサーバー装置をさらに備え、
前記メタバース空間における前記第1の利用者のアバターが、前記メタバース空間の前記第2の利用者のアバターに、所定の距離以内に近づくことに応じて、前記サーバー装置が、前記使用要求を前記管理装置に発信して、前記第1の再生デバイスに連動した再生処理を実行させる、請求項1記載のシステム。
【請求項5】
前記メタバース空間でのサービスを利用する第1の利用者に対して、前記コードデータを利用し、前記匂い情報または味情報に対応する匂いまたは味の再生処理を実行するための第2の再生デバイスをさらに備え、
前記メタバース空間における前記第2の利用者のアバターが、前記メタバース空間の前記第1の利用者のアバターに、所定の距離以内に近づくことに応じて、前記サーバー装置が、前記使用要求を前記管理装置に発信して、前記第2の再生デバイスに連動した再生処理を実行させる、請求項4記載のシステム。
【請求項6】
前記第1の再生デバイスは、前記メタバース空間における前記第2の利用者に対応する使用条件に応じて、前記再生処理を制御し、
前記使用条件の情報は、前記記匂いまたは味の再生処理の上限値が含まれ、
前記管理装置は、前記第1の利用者の装置からの前記使用要求について、前記正当性の確認される回数または再生時間の少なくとも一方が、前記上限値を超えた場合、前記正当性が確認されたときでも、再生を許可する前記確認結果を前記再生デバイスに送信しない、請求項2~4のいずれか1項に記載のシステム。
【請求項7】
前記管理装置は、前記コードデータが前記原所有者から前記利用者に移転することに応じて、前記非代替性トークンの前記所有情報の変更のトランザクションを発信する、請求項1記載のシステム。
【請求項8】
前記管理装置は、前記使用要求に応じて、前記ブロックチェーン内に保持される前記非代替性トークンの前記所有情報により、前記利用者が前記非代替性トークンの所有者であることを確認する、請求項7記載のシステム。
【請求項9】
前記管理装置は、前記正当性が確認されることに応じて、
前記第1の再生デバイスが、前記複数種類の匂いまたは味の受容に関する物質を使用して、前記再生処理を実行するための前記コードデータを、前記第1の再生デバイスに送信する、請求項8に記載のシステム。
【請求項10】
メタバース空間でのサービスにおいて前記メタバース空間での情報に基づく匂い再現または味再現の管理を行う管理装置であって、
ネットワークを介して通信を実行するためのインタフェースと、
前記インタフェースを介して、ブロックチェーンに対してトランザクションを発行し、前記匂いの再現または味の再現を実行する再生デバイスの動作を制御するための演算装置とを備え、
前記演算装置は、
前記匂い情報または味情報の原所有者からの発行要求に応じて、前記ブロックチェーンに非代替性トークンを登録し、
前記非代替性トークンは、前記匂い情報または味情報のコードデータと関連付けられており、
前記コードデータが前記原所有者から第1の利用者に移転することに応じて、前記非代替性トークンの所有情報の変更を前記ブロックチェーンに記録し、
前記第1の利用者の装置からの使用要求として、前記ブロックチェーンへ前記第1利用者と前記再生デバイスを特定する情報を認証情報として含む使用要求が送信され、前記ブロックチェーン内の前記非代替性トークンの前記所有情報に基づく前記確認結果に応じて、前記再生デバイスに、前記コードデータを配信し、
前記コードデータは、前記再生デバイスが、前記第1の利用者とは異なり、前記メタバース空間でのサービスを利用する第2の利用者に対して、前記匂い情報または味情報に対応する匂いまたは味の再生処理を実行するためのものである、管理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、匂いや味の情報に基づいて、匂いや味の再生処理を管理するための情報処理を実行するシステムおよび管理装置に関する。
【背景技術】
【0002】
近年、匂いの数値による表現(定量化)方法に関する技術が提案されている。例えば、特許文献1には、所定の受容体を網羅的に配置した受容体アレイに対して、所定のリガンドを作用させ、各受容体の活性度を測定する技術が開示されている。また、特許文献1には、目標物質と標準物質について測定した各受容体の活性化度を基準に、2つ以上の標準物質(香料)を組み合わせて、目標物質の匂いを再現する方法が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】国際公開第2019/035476号
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、目標の匂いもしくは味を適切に再現すること、または匂いもしくは味そのものを適切に管理することは行われていなかった。
【0005】
また、ゲームだけでなく、その他のエンターテインメント、さらには、ショッピングの世界などで、仮想空間や拡張現実に関する技術の発展が著しい。
【0006】
この背景から、VR(Virtual Reality)ゴーグルなど人間の五感にアクセスできるデバイスが様々登場している。しかし、嗅覚に関するVRデバイスは,まだまだ、開発途上という段階である。
【0007】
上記のとおり、出願人は、人間の嗅覚に基づいて匂いを再現する技術を開発している。そこで、仮想空間や拡張現実の世界において、匂いやあるいは味を再現することへの応用が想定される。
【0008】
しかしながら、このように、匂いもしくは味を遠隔で適切に再現することになれば、匂いもしくは味を再現するための情報(以下、「匂い等情報」と呼ぶ)そのものに、経済的な価値が生じることが想定される。
【0009】
この場合、匂い等情報の所有者を適切に保護したり、匂い等情報を経済的な取引の対象とするための方法やシステムについては、検討されていない。
【0010】
本発明は、このような状況に鑑みてなされたものであり、目標の匂いもしくは味の再現、または匂いもしくは味の管理を適切に行うことを目的とする。
【0011】
本発明は、また、匂い等情報を経済的に取引することを可能とするシステム、装置を提供することを目的とする。
【課題を解決するための手段】
【0012】
上記目的を達成するため、本発明の一局面に従うとメタバース空間でのサービスにおいてメタバース空間での情報に基づく匂い再現または味再現を行うシステムであって、ピアツーピアの通信で、ブロックチェーンを構成する複数のノードのそれぞれに対応する複数のコンピュータと、ブロックチェーンに対してトランザクションを発行可能であって、匂い情報または味情報の原所有者からの発行要求に応じて、ブロックチェーンに非代替性トークンを登録し、非代替性トークンの所有情報に基づく正当性の確認をするための管理装置とを備え、非代替性トークンは、匂い情報または味情報のコードデータと関連付けられており、ブロックチェーンは、コードデータが原所有者から第1の利用者に移転することに応じて、非代替性トークンの所有情報の変更を記録し、非代替性トークンに基づいて、匂い情報または味情報の使用の正当性の確認結果を返信し、コードデータを利用し、第1の利用者とは異なり、メタバース空間でのサービスを利用する第2の利用者に対して、匂い情報または味情報に対応する匂いまたは味の再生処理を実行するための第1の再生デバイスをさらに備え、第1の利用者の装置からの使用要求として、ブロックチェーンへ第1利用者と第2の再生デバイスを特定する情報を認証情報として含む使用要求が送信され、ブロックチェーン内の非代替性トークンの所有情報に基づく確認結果に応じて、第1の再生デバイスが、再生処理を実行する。
【0013】
好ましくは、第1の再生デバイスは、メタバース空間における第2の利用者に対応するアバターに関する空間情報に応じて、再生処理を制御し、空間情報は、メタバース空間のアバターの環境として、設定される仮想的な温度、湿度または風速の設定を含む。
【0014】
好ましくは、第1の利用者の装置は、第2の利用者に対して、仮想空間の画像および音声を配信するためのサーバー装置であり、サーバー装置から配信される画像に応じて、使用要求を管理装置に発信して、第1の再生デバイスに連動した再生処理を実行させる。
【0015】
好ましくは、第1の利用者の装置および第2の利用者の装置に対して、メタバース空間の画像および音声を配信するためのサーバー装置をさらに備え、メタバース空間における第1の利用者のアバターが、メタバース空間の第2の利用者のアバターに、所定の距離以内に近づくことに応じて、サーバー装置が、使用要求を管理装置に発信して、第1の再生デバイスに連動した再生処理を実行させる。
【0016】
好ましくは、メタバース空間でのサービスを利用する第1の利用者に対して、コードデータを利用し、匂い情報または味情報に対応する匂いまたは味の再生処理を実行するための第2の再生デバイスをさらに備え、メタバース空間における第2の利用者のアバターが、メタバース空間の第1の利用者のアバターに、所定の距離以内に近づくことに応じて、サーバー装置が、使用要求を管理装置に発信して、第2の再生デバイスに連動した再生処理を実行させる。
【0017】
好ましくは、第1の再生デバイスは、メタバース空間における第2の利用者に対応する使用条件に応じて、再生処理を制御し、使用条件の情報は、記匂いまたは味の再生処理の上限値が含まれ、管理装置は、第1の利用者の装置からの使用要求について、正当性の確認される回数または再生時間の少なくとも一方が、上限値を超えた場合、正当性が確認されたときでも、再生を許可する確認結果を再生デバイスに送信しない。
【0018】
好ましくは、管理装置は、コードデータが原所有者から利用者に移転することに応じて、非代替性トークンの所有情報の変更のトランザクションを発信する。
【0019】
好ましくは、管理装置は、使用要求に応じて、ブロックチェーン内に保持される非代替性トークンの所有情報により、利用者が非代替性トークンの所有者であることを確認する。
【0020】
好ましくは、管理装置は、正当性が確認されることに応じて、第1の再生デバイスが、複数種類の匂いまたは味の受容に関する物質を使用して、再生処理を実行するためのコードデータを、第1の再生デバイスに送信する。
【0021】
この発明の他の局面に従うと、メタバース空間でのサービスにおいてメタバース空間での情報に基づく匂い再現または味再現の管理を行う管理装置であって、ネットワークを介して通信を実行するためのインタフェースと、インタフェースを介して、ブロックチェーンに対してトランザクションを発行し、匂いの再現または味の再現を実行する再生デバイスの動作を制御するための演算装置とを備え、演算装置は、匂い情報または味情報の原所有者からの発行要求に応じて、ブロックチェーンに非代替性トークンを登録し、非代替性トークンは、匂い情報または味情報のコードデータと関連付けられており、コードデータが原所有者から第1の利用者に移転することに応じて、非代替性トークンの所有情報の変更をブロックチェーンに記録し、第1の利用者の装置からの使用要求として、ブロックチェーンへ第1利用者と再生デバイスを特定する情報を認証情報として含む使用要求が送信され、ブロックチェーン内の非代替性トークンの所有情報に基づく確認結果に応じて、再生デバイスに、コードデータを配信し、コードデータは、再生デバイスが、第1の利用者とは異なり、メタバース空間でのサービスを利用する第2の利用者に対して、匂い情報または味情報に対応する匂いまたは味の再生処理を実行するためのものである。
【発明の効果】
【0022】
本発明によれば、目標の匂いもしくは味の再現、または匂いもしくは味の管理を適切に行うことができる。
【図面の簡単な説明】
【0023】
図1】本実施形態に係る匂い再現方法の概要を示す図である。
図2A】本実施形態に係る匂い再現方法の概要を示す図である。
図2B】本実施形態に係る匂い再現方法の概要を示す図である。
図3】噴霧制御システムの構成の概略を示す図である。
図4】サーバのハードウェア構成を示すブロック図である。
図5】サーバの機能的構成の一例を示す機能ブロック図である。
図6】噴霧制御処理の動作を示すフローチャートである。
図7】別の実施形態に係る匂い再現方法の概要を示す図である。
図8】変換装置の構成を示すブロック図である。
図9】変換装置を用いて変換した際の目的変数の値と変換後の値との相関を示すグラフの一例である。
図10】変換装置を用いて変換した際の目的変数の値と変換後の値との相関を示すグラフの一例である。
図11】変換装置を用いて変換した際の目的変数の値と変換後の値との相関を示すグラフの一例である。
図12】変換装置を用いて変換した際の目的変数の値と変換後の値との相関を示すグラフの一例である。
図13】予測モデル作製装置の構成を示すブロック図である。
図14】変換装置を用いて変換した際の目的変数の値と変換後の値との相関を示すグラフの一例である。
図15】変換装置を用いて変換した際の目的変数の値と変換後の値との相関を示すグラフの一例である。
図16A】第3実施形態の概要を示すシステム構成図である。
図16B】第3実施形態の概要を示すシステム構成図である。
図17】管理サーバ3000の機能的な構成を説明するための機能ブロック図である。
図18】第3実施形態に係るブロックチェーンおよび非代替性トークン(NFT)を利用した匂いコード(匂い情報)の取引の第1の例を示す図である。
図19】第3実施形態に係るブロックチェーンおよび非代替性トークン(NFT)を利用した匂いコード(匂い情報)の取引の第2の例を示す図である。
図20A】スマートコントラクトにより、NFTの管理を実施するためのシステムの構成を示す図である。
図20B】スマートコントラクトにより、NFTの管理を実施するためのシステムの構成を示す図である。
図21A】スマートコントラクトにより、NFTの管理を実施する処理のフローを示す図である。
図21B】スマートコントラクトにより、NFTの管理を実施する処理のフローを示す図である。
図22】第3実施形態に係るNFTを売却した場合のトランザクションを示す図である。
図23】第3実施形態に係る能動的に匂いを再現する場合のフロー図を示す図である。
図24】第3実施形態に係る匂い再現デバイスを使用した場合のトランザクションの第1の例を示す図である。
図25】第3実施形態に係る匂い再現デバイスを使用した場合のトランザクションの第2の例を示す図である。
図26】第3実施形態に係る匂い再現デバイスを使用した場合のトランザクションの第3の例を示す図である。
図27】第3実施形態に係る匂い再生装置REを使用した場合のトランザクションの第4の例を示す図である。
図28】第3実施形態に係るブロックチェーンおよび非代替性トークン(NFT)を利用した匂いコード(匂い情報)の取引の第3の例を示す図である。
図29】第3実施形態に係る受動的に匂いを再現する場合のフロー図を示す図である。
図30】第4実施形態の概要を示す概念図である。
図31A】第5実施形態の概要を示す図である。
図31B】第5実施形態の概要を示す図である。
図32】第5実施形態の変形例の構成を説明するための概念図である。
図33A】第5実施形態の変形例において、メタバース環境に関するシステムの構成を示す図である。
図33B】第5実施形態の変形例において、メタバース環境に関するシステムの構成を示す図である。
図34】第6実施形態の概要を示す概念図である。
図35A】IPFSを用いたNFT管理の一例を示す図である。
図35B】IPFSを用いたNFT管理の一例を示す図である。
【発明を実施するための形態】
【0024】
(第1実施形態)
<概要>
【0025】
一般に、受容体が嗅覚受容体である場合、鼻腔内にある嗅神経細胞の表面に発現する嗅覚受容体と呼ばれるタンパク質に、匂い分子が結合することに起因して、嗅神経細胞内にて情報伝達が惹起され、匂い情報が脳内へ伝達される。嗅覚受容体はゲノム解析からヒトで約400種類存在すると考えられており、特定の匂い分子に対しある嗅覚受容体群が異なる程度で活性化し、これらの刺激が脳に伝達されて組み合わせることによって、脳内にて種々の匂いを識別すると理解される。
【0026】
本実施形態では、上述のような嗅覚受容体(OR:Olfactory Receptor)を網羅的に配置した受容体アレイに対して、所定のリガンドを作用させ、各受容体の活性度を測定した結果に基づいて、匂いを再現する例について説明する。本実施形態では、所定の受容体として、嗅覚受容体のうち、ヒトの知覚に影響が多い複数の受容体(例えば、30種類の受容体)を用いる例について説明する。なお、嗅覚受容体に限られず、味覚受容体についても同様に実施することができる。以下、本実施形態について、図面を用いて説明する。
【0027】
図1は、本実施形態に係る情報処理装置が適用される匂い再現方法の概要を示す図である。図1では、飲食店における飲食物(例えば、ラーメン)を紹介するコンテンツを視聴者に対して配信するとともに、当該飲食物の匂いを所定の装置を用いて視聴者側に再現する例が示されている。なお、コンテンツとしては、例えば、地上波放送、衛星放送、インターネット等を通じて配信されるコンテンツ等が挙げられる。
【0028】
図1の例では、所定のカメラで飲食店において飲食物を来店者摂取する映像を撮像するとともに、匂い捕集装置COで当該飲食物の匂い(例えば、気体)を捕集する。
【0029】
捕集された匂いは、受容体情報決定装置2において解析され、所定の受容体の応答情報に変換される。
【0030】
変換された応答情報は、サーバ1に対して送信される。そして、当該サーバ1から各コンテンツ再生装置REに対して、コンテンツとともに、応答情報(匂い等情報であり、一例としては、匂いコード)が送信される。
【0031】
コンテンツ再生装置REは、コンテンツの視聴要求に基づいて、所定の表示装置TVに対して上述のコンテンツを送信する。また、コンテンツ再生装置REは、匂い噴霧装置3に対して、上述のコンテンツに対応する応答情報に基づく噴霧情報を送信する。
【0032】
匂い噴霧装置3には、複数種類の匂いカートリッジCAが設けられており、当該複数種類の匂いカートリッジCAから抽出した香料(例えば、気体、液体または粉末等)を、可変噴霧ノズル(ノズルNO)を介して噴霧(噴出、噴射)する。応答情報および噴霧情報について図2Aおよび図2Bを用いて説明する。
【0033】
なお、本実施形態では、放出装置(匂い噴霧装置3)から香料が放出される例について説明するが、香料に限定されず、放出される対象は、匂いまたは味の受容に関する物質であればよい。ここで、匂いまたは味の受容に関する物質には、アゴニスト(agonist)、アンタゴニスト(antagonist)、モジュレータ(Modulator)等が含まれるものとする。
【0034】
アゴニストは、嗅覚受容体または味覚受容体と結合した際に作用を増強したり発現したりする物質である。
【0035】
アンタゴニストは、アゴニストの結合を妨げて嗅覚受容体または味覚受容体の作用を抑制または阻害する物質である。
【0036】
モジュレータは、それ自体が刺激応答しないが、アゴニストまたはアンタゴニストの刺激応答を増幅又は減少させる物質である。換言すると、モジュレータは、リガンド結合部位とは異なる部位に結合して、嗅覚受容体または味覚受容体の作用を上げたり、下げたりする物質である。
【0037】
図2Aおよび図2Bは、捕集した匂いから、特徴量を抽出して、応答情報を生成して、最終的に噴霧情報を生成するまでの流れの一例を説明する図である。
【0038】
符号ST1では、受容体情報決定装置2は、所定の受容体を網羅的に配置した受容体アレイに対して、所定のリガンド(匂い分子)を作用させ、各受容体の活性度(一次受容体応答情報)を測定する。各受容体の活性度の測定方法は特に限定されず、例えば、特許文献1に記載または後述のように、実際の試験によってデータを取得してもよく、マニュアル入力されたデータや、機械学習モデルから得られた仮想データを収集することにより行われてもよい。
【0039】
符号ST2では、受容体情報決定装置2は、測定された各受容体の活性度に基づいて、目標の匂いの特徴量を抽出する。特徴量の抽出方法は特に限定されないが、例えば、特許文献1に記載の手法等を用いることができる。
【0040】
特徴量は、嗅覚受容体の被験物質に対する応答特性(応答情報;受容体応答情報)であって、例えば、各受容体における応答強度、応答強度の面積、応答持続性、応答速度、ピーク時間、応答の立ち上り(タイミング)、ピーク数等が挙げられる。
【0041】
符号ST3では、上述の特徴量に基づいて、各受容体の応答情報(二次受容体応答情報)を生成する。図2Aおよび図2Bの例では、受容体OR1~OR4の4種類を例示しているが、受容体の種類(数)は特に限定されない。また、図2Aおよび図2Bの例では、各受容体の特徴量を2進数で例示しているが、特徴量の数値化方法は特に限定されず、例えば、10進数等の他の進数で示してもよく、文字列で示してもよい。
【0042】
応答情報は、換言すると、複数種類の受容体における匂い分子に対する特徴量であって、例えば、応答強度、応答強度の面積、応答持続性、応答速度、ピーク時間、応答の立ち上り、ピーク数のうち少なくとも1つの特徴量を示す情報である。なお、応答情報は、上記のものに限定されず、複数種類の受容体における匂い分子に対する様々なパラメータであってもよい。
【0043】
符号ST4,ST5では、上述の応答情報は、エンコードされて、N次元コード(Nは1以上の整数)に変換され、送信される。
【0044】
N次元コードは、本実施形態では、二次元コードである例について説明する。本実施形態に係る二次元コードは、対象データに対応するビット列を、シンボルの構成単位である白又は黒のセルをマトリックス状に配置したパターンとして表したデータ部と、データ部から分離して配置される一以上のファインダパターンとを備える。そして、上述のデータ部には、細胞外の物質(例えば、匂い分子)に対して応答性のある嗅覚受容体または味覚受容体を用いて得られる受容体応答情報に基づく情報(例えば、上述の応答特性、応答情報)が含まれるものとする。
【0045】
すなわち、符号ST4は、情報処理装置(サーバ1)の制御方法であって、上述の(受容体)応答情報に対して所定のエンコードを行うことにより、(受容体)応答情報をN次元コード(例えば、二次元コード)に変換するエンコードステップと捉えることもできる。
【0046】
符号ST6では、視聴者側において、上述のN次元コードがデコードされて、元の応答情報に変換される。
【0047】
すなわち、符号ST6は、情報処理装置(サーバ1)の制御方法であって、上述のN次元コード(例えば、二次元コード)に対して所定のデコードを行うことにより、N次元コードを(受容体)応答情報に変換するデコードステップと捉えることもできる。
【0048】
符号ST7では、例えば、上述のサーバ1によって、応答情報から、再現した匂いを噴霧させるための噴霧情報に変換される。図2Aおよび図2Bでは、受容体OR1~OR4に対応するカートリッジCA1~CA4の噴霧情報が示されている。すなわち、受容体OR1を刺激するための香料がカートリッジCA1に充填されている。
【0049】
なお、図2Aおよび図2Bでは、受容体とカートリッジとが1対1に対応する例について説明しているが、これに限定されず、受容体の種類(数)より多い種類のカートリッジを用いてもよく、少ない種類のカートリッジを用いてもよい。すなわち、1つのカートリッジCAが、複数の受容体の応答を与え(アゴナイズ)又は調整(アンタゴナイズ又はモジュレート)できてもよい。このように、複数の受容体を刺激するカートリッジCAを用いることにより、匂い噴霧装置3のサイズを小さくすることや、コストを抑えることができる。
【0050】
例えば、受容体OR1,OR3を刺激する場合に、下記のカートリッジCAを用いて匂いの噴霧を行ってもよい。
・受容体OR1,OR3を刺激する物質が充填されたカートリッジCA
【0051】
また、例えば、受容体OR1~OR5を刺激する場合に、下記3種類のカートリッジCAを用いて匂いの噴霧を行ってもよい。
・受容体OR1,OR3,OR5,OR6を刺激する物質(アゴニスト)が充填されたカートリッジCA
・受容体OR2,OR4,OR6を刺激する物質(アゴニスト)が充填されたカートリッジCA
・受容体OR6に対する他の物質の結合を妨げる物質(アンタゴニスト)が充填されたカートリッジCA
【0052】
噴霧情報は、複数種類の香料の1つまたは2つ以上の香料を組み合わせて噴霧することにより、目標の匂いを再現させるための情報であって、例えば、香料の噴霧時間、噴霧量、噴霧温度、噴霧回数、噴霧口絞り量、噴霧方向等が挙げられる。
【0053】
符号ST8では、上述の噴霧情報に基づいて、匂い噴霧装置3が香料を噴霧することにより、目標の匂いを再現した匂い(香り)を、コンテンツの視聴者に対して提供する。
【0054】
匂い噴霧装置3としては、表示装置(テレビ)、スマートフォン、投影装置(プロジェクタ)、HMD(ヘッドマウントディスプレイ)等、様々な装置が想定される。
【0055】
なお、コンテンツに関連しなくてもよい。例えば、所定のユーザが指定した匂いが噴霧されてもよい。この場合、あらかじめ匂い項目と、当該匂い項目に該当する応答情報または噴霧情報が所定の記憶部に保持されているものとする。
【0056】
なお、上述の例では、目標の匂いを電子データに置き換えたN次元コードをデジタル匂い情報として用いているが、例えば、上述の抽出された特徴量(符号ST2)、または二次受容体応答情報(符号ST3)をデジタル匂い情報として用いてもよい(流通させてもよい)。すなわち、上述の特徴量、二次受容体応答情報、またはN次元コードは、それぞれ、サーバ1(情報処理装置)に用いられる受容体応答情報のデータ構造を示すものと捉えることもできる。
【0057】
なお、本実施形態のように、目標の匂いを再現する場合は、匂いの受容に関する物質(例えば、香料)を噴霧(放出)するが、変形例として後述する目標の味を再現する場合は、味の受容に関する物質(例えば、調味料)を放出するものとする。すなわち、本実施形態で用いる「噴霧」は、「放出」の下位概念である。
【0058】
<システム構成>
【0059】
図3は、本実施形態に係る噴霧制御システム(匂い再現システム)のシステム構成の概要を示す図である。
【0060】
本実施形態に係る噴霧制御システムは、サーバ1と、捕集装置COと、受容体情報決定装置2と、コンテンツ再生装置REと、表示装置TVと、匂い噴霧装置3とが、インターネット等の所定のネットワークNを介して相互に接続されることで構成される。
【0061】
サーバ1は、受容体情報決定装置2とコンテンツ再生装置RE、表示装置TV、匂い噴霧装置3の各動作と協働して各種処理を実行する。
【0062】
匂い捕集装置COは、コンテンツの対応する匂いを捕集する。図1に示すように、コンテンツに関する映像を撮影するときにリアルタイムで匂いを捕集してもよく、コンテンツに関する映像の撮影とは別のタイミングで匂いを捕集してもよい。
【0063】
受容体情報決定装置2は、上述の匂い捕集装置COによって捕集された匂いを解析する。受容体情報決定装置2は、匂い(例えば、気体や液体)に含まれる成分を分析してもよいが、本実施形態では、上述の匂い(匂い分子)に対して応答性のある嗅覚受容体を用いて得られる受容体応答情報(受容体を網羅的に配置した受容体アレイに対して、所定のリガンドを作用させ、各受容体の活性度を測定した結果)を解析する。これにより、匂いを再現する際に、目標の匂いとは異なる成分を用いて、当該目標の匂いを再現することができる。
【0064】
なお、受容体情報決定装置2は、特許文献1に記載のように受容体を用いて応答特性を解析してもよく、匂い分子に含まれる成分から応答特性を解析してもよい。
【0065】
コンテンツ再生装置REは、映像コンテンツ等を表示装置TVに表示(再生)させる。また、コンテンツ再生装置REは、当該映像コンテンツにおける、所定のタイミングで匂い噴霧装置3から香料が噴霧されるよう、噴霧情報を匂い噴霧装置3に送信する。
【0066】
なお、本実施形態では、例えば、デジタルサイネージのような表示装置TVも想定しているため、コンテンツ再生装置REが設けられているが、サーバ1から直接、表示装置TVにコンテンツが送信されてもよく、また、サーバ1から直接、匂い噴霧装置3に噴霧情報が送信されてもよい。
【0067】
表示装置TVは、コンテンツを表示する。本実施形態では、表示装置TVには、後述する匂い噴霧装置3が設けられている例について説明するが、表示装置TVと匂い噴霧装置3とは、独立した別の装置であってもよい。また、表示装置TVは、ディスプレイ装置である例について説明するが、これに限定されず、例えば、プロジェクタ等の投影装置であってもよい。
【0068】
匂い噴霧装置3は、噴霧情報に基づいて香料を噴霧することにより、目標の匂いを再現する。本実施形態では、匂い噴霧装置3には、カートリッジCA(匂いカートリッジ)を装着させるための装着部(不図示)、およびノズルNO(可変噴霧ノズル)が設けられている例について説明するが、これに限定されない。
【0069】
カートリッジCAは、所定の情報処理装置(サーバ1、コンテンツ再生装置RE等)が噴霧させる香料を充填させるためのカートリッジであって、特定の受容体のみを選択的に応答させる組成物が充填されたカートリッジである。なお、当該組成物は、特定の受容体のみを選択的に応答させるものに限定されず、複数の受容体を応答させる組成物であってもよい。なお、匂い噴霧装置3には、組成が異なる複数種類のカートリッジCAが装着される。
【0070】
ノズルNOは、所定の情報処理装置(サーバ1、コンテンツ再生装置RE等)による噴霧制御(噴霧情報)に基づいて、所定の香料を噴霧させる噴霧口である。
【0071】
<ハードウェア構成>
【0072】
図4は、本実施形態に係るサーバ1のハードウェア構成を示すブロック図である。サーバ1は、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、バス14と、入出力インタフェース15と、出力部16と、入力部17と、記憶部18と、通信部19と、ドライブ20と、を備えている。
【0073】
CPU11は、ROM12に記録されているプログラム、又は、記憶部18からRAM13にロードされたプログラムに従って各種の処理を実行する。RAM13には、CPU11が各種の処理を実行する上において必要なデータ等も適宜記憶される。CPU11、ROM12及びRAM13は、バス14を介して相互に接続されている。このバス14にはまた、入出力インタフェース15も接続されている。
【0074】
入出力インタフェース15には、出力部16、入力部17、記憶部18、通信部19及びドライブ20が接続されている。出力部16は、ディスプレイやスピーカ等で構成され、各種情報を画像や音声として出力する。入力部17は、キーボードやマウス等で構成され、各種情報を入力する。記憶部18は、ハードディスクやDRAM(Dynamic Random Access Memory)等で構成され、各種データを記憶する。通信部19は、インターネットを含むネットワークNを介して他の装置との間で通信を行う。
【0075】
ドライブ20には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア21が適宜装着される。ドライブ20によってリムーバブルメディア21から読み出されたプログラムは、必要に応じて記憶部18にインストールされる。また、リムーバブルメディア21は、記憶部18に記憶されている各種データも、記憶部18と同様に記憶することができる。
【0076】
なお、図示はしないが、捕集装置CO、受容体情報決定装置2、コンテンツ再生装置RE、表示装置TV、匂い噴霧装置3は、図4に示すハードウェア構成を有する。
【0077】
<機能構成>
【0078】
図5は、本実施形態に係るサーバ1における機能的構成の一例を示す機能ブロック図である。
【0079】
サーバ1のCPU11においては、動作する際に、応答情報取得部31、撮像画像取得部32、機種情報取得部33、噴霧情報決定部34、噴霧制御部35、表示制御部36等が機能する。
【0080】
応答情報取得部31は、細胞外の物質に対して応答性のある嗅覚受容体(または味覚受容体)を含む複数種類の受容体を用いて得られる受容体応答情報を取得する。具体的には、応答情報取得部31は、受容体情報決定装置2を用いて解析された上述の応答情報を取得する。
【0081】
なお、取得された応答情報(受容体応答情報)は、応答情報DB41に格納される。ここで、応答情報は、上述のコンテンツ(またはコンテンツの時間情報)と紐づけられて保存されるものとする。このようにすることで、例えば、コンテンツにおいて適切なタイミングで、目標の匂いを再現することができる。
【0082】
撮像画像取得部32は、音声情報および映像情報のうち少なくとも一方を含むコンテンツを取得する。コンテンツは、例えば、リアルタイムの場合は図1に示すビデオカメラによって撮像された画像情報である。また、コンテンツは、例えば、リアルタイムではない場合、地上波方法、衛星放送、または種々の配信サーバから配信されるコンテンツである。なお、目標の匂いを再現することのみが行われる場合は、撮像画像取得部32による各種コンテンツの取得は行われなくてもよい。
【0083】
機種情報取得部33は、表示装置TV、匂い噴霧装置3等の機種情報を取得する。これにより、例えば、後述する噴霧情報を決定する処理において、匂い噴霧装置3に適した噴霧情報を決定することができる。具体的には、匂い噴霧装置3のカートリッジCAの種類に応じた噴霧情報を決定することができる。なお、取得された機種情報は、機種情報DB42に格納される。
【0084】
なお、機種情報取得部33は、香料(カートリッジ)の情報を取得してもよい。これにより、例えば、後述する噴霧情報を決定する処理において、受容体情報と、噴霧情報との対応付けにおいて、カートリッジ(の種類)に応じたテーブル(または学習モデル)を参照可能となる。
【0085】
噴霧情報決定部34は、応答情報に応じて、複数種類の香料における匂い噴霧に関する噴霧情報を決定する。
【0086】
例えば、噴霧情報決定部34は、上述の応答情報および所定の対応付けテーブル(不図示)に基づいて、噴霧情報を決定する。なお、対応付けテーブルには、あらかじめ、応答情報と、噴霧情報とが対応付けられて、対応付けDB43に記憶されているものとする。
【0087】
ここで、例えば、対応付けテーブルには、応答情報と噴霧情報とが下記の相関関係となるように対応付けられているものとする。
・「応答強度」が高い程、「香料噴霧量」が多い
・「応答強度の面積(積分値)」が高い程、「香料噴霧量」が多い
・「応答持続性」が高い程、「香料噴霧時間」が長い
・「応答速度」が速い程、「香料噴霧温度」が高い
・「ピーク時間」が速い程、「香料噴霧温度」が高い
・「応答の立ち上り」が多い程、「香料噴霧温度」が高い
・「ピーク数」が多い程、「香料噴霧回数」が多い
・「応答強度」が高い程、「噴霧口絞り量」が少ない
なお、応答情報と噴霧情報との下記の相関関係は一例であって、下記に限定されるものではなく、これらの情報を組み合わせてもよい。例えば、「応答速度」と「応答の立ち上がり」が多い程、「香料噴霧温度」が高い等、の組合せが考えられる。
【0088】
また、例えば、噴霧情報決定部34は、学習モデルを用いて、応答情報に基づく、噴霧情報を決定する。なお、学習モデルは、受容体応答情報と、当該受容体応答情報に対応する噴霧情報とを教師データとした機械学習により予め生成され、対応付けDB43に記憶されているものとする。
【0089】
なお、噴霧情報決定部34は、上述の機種情報を考慮して噴霧情報を決定してもよい。すなわち、噴霧情報決定部34は、機種情報に含まれるカートリッジCAの数(種類)に応じた上述の対応付けテーブルまたは学習モデルを用いて噴霧情報を決定してもよい。
【0090】
また、噴霧情報決定部34は、上述の応答情報に加えて、空間パラメータに応じて、匂い噴霧に関する噴霧情報を決定してもよい。
【0091】
空間パラメータは、匂いを噴霧する空間の状態または匂いを噴霧する対象(対象者または対象物)との位置関係に関するパラメータであって、具体的には、匂いを噴霧する部屋や空間の広さ、匂い噴霧装置3と鼻との距離、風量、風向、温度、湿度等の様々なパラメータである。空間パラメータは、匂い噴霧装置3やその他の外部装置に設けられるセンサによってセンシングされた空間パラメータを、所定の取得部(不図示)が取得するとよい。
【0092】
例えば、噴霧情報決定部34は、映画館のような人の鼻(顔)の位置がある程度特定できる場合(直接噴霧する場合)は、鼻との距離や温度、湿度等に基づいて、噴霧方向、噴霧量、噴霧濃度等を制御するとよい。
【0093】
また、例えば、噴霧情報決定部34は、スポーツスタジアムのような広い空間の場合(間接的に噴霧する場合)は、空間の広さ、風量、風向、温度、湿度等に基づいて、噴霧方向、噴霧量、噴霧濃度等を制御するとよい。
【0094】
なお、環境パラメータと、噴霧情報との対応付けは、上述のような対応テーブルを用いて行われてもよく、学習モデルを用いて行われてもよい。
【0095】
噴霧制御部35は、噴霧情報に基づいて、複数種類の香料(複数種類のカートリッジCA)のうち少なくとも1つの香料を噴霧させる。換言すると、噴霧制御部35は、噴霧情報を、匂い噴霧装置3(表示装置TV)に送信する。
【0096】
表示制御部36は、上述のコンテンツを表示装置TVに送信する。なお、表示制御部36は、コンテンツと、噴霧情報の識別情報とを対応付けるものとする。これにより、例えば、コンテンツの表示中における複数のタイミングで、複数種類の目標の匂いを複数回、噴霧させることができる。
【0097】
<処理内容>
【0098】
図6は、本実施形態に係る噴霧制御処理の一例を示す図である。本実施形態では、サーバ1によって噴霧制御処理が行われる例について説明するが、これに限定されず、例えば、匂い噴霧装置3において、噴霧制御処理が行われてもよい。
【0099】
ステップS11において、応答情報取得部31は、目標の匂いに対応する受容体の応答情報を取得する。
【0100】
ステップS12において、撮像画像取得部32は、映像情報をコンテンツとして取得する。
【0101】
ステップS13において、機種情報取得部33は、匂い噴霧装置3等の機種情報を取得する。
【0102】
ステップS14において、噴霧情報決定部34は、応答情報に応じて、複数種類の香料における匂い噴霧に関する噴霧情報を決定する。
【0103】
ステップS15において、噴霧制御部35は、噴霧情報を、匂い噴霧装置3(表示装置TV)に送信する。
【0104】
ステップS16において、表示制御部36は、コンテンツを表示装置TVに送信する。
【0105】
<本実施形態の有利な効果>
【0106】
上述の実施形態によれば、コンテンツ再生時(視聴時)に、コンテンツの経時的な位置(時間軸)と対応付けて香料を噴霧することができる。これにより、視覚や聴覚だけでなく、嗅覚を用いてコンテンツを視聴することができるため、コンテンツへの没入感や、撮影現場との一体感を向上させることができる。また、例えば、VRゴーグル(HMD)が上述の匂い噴霧装置として機能することで、没入感をより高めることができる。
【0107】
また、上述の実施形態よれば、映像と同期させて目的の匂いを放出する事で、例えば、広告宣伝効果が望める。例えば、屋外でも、匂い噴霧機能を搭載したディスプレイ型を用意して、所定のメニューを選択してもらう(顧客にボタンを選択してもらう)ことで、料理の映像と共にその料理に合った匂いを瞬時に再構成して噴霧する事ができる。この再構成のパターンを変更することで様々な料理の匂いに対応する事ができる。
【0108】
また、上述の実施形態よれば、遠隔地にいる友人と匂いを介したコミュニケーションができる。例えば、ある体験を説明する際に言葉やジャスチャー、映像や写真だけでなく、匂いを要素として取り入れることで、体験の共有に厚みが生まれる。これにより、円滑かつより深いコミュニケーションが可能となる。
【0109】
また、上述の実施形態は、プレゼンテーションにも使用することができる。例えば、商品開発をした際に、オンラインミーティングにて説明する場合もあると考えられる。特に、食品や化粧品では香りは重要なファクターとなり得る。しかしながら、遠隔地にいる人間は直接匂いを嗅ぐことは困難である。そこで、上述の実施形態を適用することにより、遠隔地にいる、画面の向こう側の人間に対して、画面共有するような形で匂いを共有する事ができる事が可能になり、商談成功確率が上がると期待できる。
【0110】
以上、本発明の一実施形態について説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【0111】
(変形例)
【0112】
なお、上述の実施形態では、噴霧時間等に応じて、ノズルNOが香料を噴霧する例について説明したが、ノズルNOは、所定の人感センサによって取得された情報に基づいて、人が存在する方向に対して香料を噴霧してもよい。また、屋外にいる場合に、風向センサを用いて、当該風向に応じて、噴霧方向を決定してもよい。これにより、コンテンツを視聴するユーザに対して、より精度良く目標の匂いを再現させることができる。
してもよい。
【0113】
また、上述の実施形態では、コンテンツに紐づく目標の匂いを再現する例について説明したが、これに限定されない。例えば、所定の匂い(例えば、「醤油ラーメンの匂い」)を独立させ、所定のストレージ(ライブラリ)から取得して、再現させてもよい。これにより、希少な天然香料などを置き換えた(カートリッジCAの)香料によって再現したり、有毒な匂いを無毒な香料で再現することができる。また、これにより、あらかじめ設定された(あらかじめ用意される応答情報を用いて)「気持ちの落ち着く香料」、「集中力を高める香料」、「安眠を促す香料」等を用いて、ユーザにリラックス効果をもたらすこともできる。
【0114】
また、上述の実施形態では、匂いに基づくアラート機能については示していないが、匂いに基づいて、感染症チェッカー、ガンチェッカー、パーキンソン病チェッカー、健康管理トイレとして、サーバ1を機能させてもよい。例えば、匂いを採取して、遠隔地にいる医療従事者等に当該匂いを再現させて、診断に用いることが想定される。
【0115】
また、上述の実施形態では、ヒトにおける嗅覚受容体や味覚受容体によって、応答情報を生成する例について説明したが、ヒト以外の受容体によって応答情報を生成してもよい。これにより、例えば、忌避剤(例えば、虫よけ剤)や、誘引剤に応用することができる。また、これにより、害獣対策に適用することができる。
【0116】
また、上述の実施形態では、コンテンツに対応するタイミングで、目標の匂いを再現する例について説明したが、様々なタイミングで匂いを噴霧してもよい。
【0117】
例えば、ユーザの操作に応じて、匂い噴霧装置3からサーバ1にリクエストが送信され、当該リクエストを受け付けると、上述の噴霧制御部35が噴霧情報を送信し、当該噴霧情報を受け付けると、匂い噴霧装置3は目標の匂いを再現してもよい。
【0118】
また、例えば、あらかじめ匂い噴霧装置3は噴霧情報を受け付けておき、ユーザの操作に応じて、匂い噴霧装置3の制御により、目標の匂いを再現してもよい。
【0119】
また、上述の実施形態では、噴霧制御部35は、噴霧情報を送信する例について説明したが、目標の匂いの噴霧に関する上限回数に基づいて噴霧回数を管理してもよい。
【0120】
例えば、噴霧制御部35は、所定の記憶部に記憶される上限回数、および噴霧済回数に基づいて、噴霧情報を送信するか否かを判断してもよい。
【0121】
なお、上述の上限回数および噴霧済回数の管理は、匂い噴霧装置3で管理されてもよい。この場合、噴霧制御部35は、上述の噴霧情報とともに、上述の上限回数を送信する。そして、匂い噴霧装置3は、所定の記憶部に記憶される上限回数、および噴霧済回数に基づいて、噴霧情報を送信するか否かを判断してもよい。
【0122】
また、上述の実施形態では、目標の匂いを再現するために香料を噴霧(放出)させる匂い噴霧制御について説明したが、目標の味を再現するために調味料を放出させる味放出制御にも適用することができる。
【0123】
すなわち、上述の匂い分子に対する応答情報の代わりに味に対する応答情報として、応答強度、応答強度の面積、応答持続性、応答速度、ピーク時間、応答の立ち上り、ピーク数等の情報が入力される。
【0124】
また、上述の匂い噴霧情報の代わりに味放出情報として、味の受容に関する物質(例えば、調味料)における放出時間、放出量、放出温度、放出回数、放出口絞り量等の情報が出力される。
【0125】
また、上述の実施形態では、映像コンテンツ等を再生する際に、匂い(または味)を再現する例について説明したが、所謂メタバース等の仮想空間において適用することもできる。
【0126】
例えば、アバターを利用した仮想空間での旅行(国内旅行、海外旅行、宇宙旅行等)において、当該アバターの言動に合わせて、香水等の匂いを放出することが考えられる。また、例えば、所定の香水の匂いコードをブロックチェーン化技術によりNFT(Non-Fungible Token)化し、著作権として有効にしたり、仮想通貨として流通させることも考えられる。
【0127】
これにより。匂いや味を伴う商品(例えば、香水など)の流通において、実際の商品の輸送を省き、即時で消費者に届けることができる。
【0128】
また、上述の実施形態では、対応テーブルや学習モデルを用いて、応答情報を噴霧情報に変換しているが、これらを用いずに、応答情報をそのまま送信してもよい。この場合、匂い噴霧装置3では、受容体ORに1対1に対応するカートリッジCAを用いることで匂いをある程度再現することが考えられる。
【0129】
これにより、例えば、廉価版の匂い噴霧装置3に対しては、対応テーブル等を用いずに応答情報を送信する等、状況に応じて使い分けることができる。
【0130】
(第2実施形態)
【0131】
図7は、第2実施形態に係る情報処理装置が適用される匂い再現方法の概要を示す図である。図7では、飲食店における飲食物(例えば、ラーメン)を紹介するコンテンツを視聴者に対して(リアルタイムに)配信するとともに、当該飲食物の匂いを所定の装置を用いて視聴者側に再現する例が示されている。なお、コンテンツとしては、例えば、地上波放送、衛星放送、インターネット等を通じて配信されるコンテンツ等が挙げられる。
【0132】
図7の例では、所定のカメラで飲食店において飲食物を来店者摂取する映像を撮像するとともに、匂い捕集装置COで当該飲食物の匂い(例えば、気体)を捕集する。
【0133】
捕集された匂いは、リアルタイム匂い解析装置NA(ガス検出装置U100)において解析され、受容体情報決定装置2(変換装置)において所定の受容体の応答情報に変換される。
【0134】
変換された応答情報は、サーバ1に対して送信される。そして、当該サーバ1から各コンテンツ再生装置REに対して、コンテンツとともに、噴霧情報が送信される。
【0135】
コンテンツ再生装置REは、コンテンツの視聴要求に基づいて、所定の表示装置TVに対して上述のコンテンツを送信する。また、コンテンツ再生装置REは、匂い噴霧装置3に対して、上述のコンテンツに対応する噴霧情報を送信する。
【0136】
匂い噴霧装置3には、複数種類の匂いカートリッジCAが設けられており、当該複数種類の匂いカートリッジCAから抽出した香料(例えば、液体または粉末)を、可変噴霧ノズル(ノズルNO)を介して噴霧(噴出、噴射)する。
【0137】
図7の受容体情報決定装置2(変換装置)について、図8から図15を参照して説明する。
【0138】
まず、各実施形態の変換装置U1、予測モデル作製装置U2、変換情報作製方法、予測モデル作製方法、及びプログラムを説明するのに先立って、変換装置U1の概要を説明する。
【0139】
まず、変換装置U1を用いる目的を説明する。
【0140】
匂いの種類を特定するシステムとして、ガスセンサを用いることが提案されている。しかしながら、ガスセンサのみでは正確に人間が感じている匂いの種類を判別、特定する事は難しい。なぜなら、ガスセンサの検出素子が人間の感覚(嗅覚)に沿わない物質で構成されているためである。そのため、様々な検出素子や分析方法が提案されたとしても、匂いの種類を特定、判別する事は難しい。
【0141】
ガスセンサの出力と人間の官能試験を機械学習などで強制的に情報を結びつけるアプローチが存在するが、官能試験のデータは個々人によって評価にバラツキが発生するため、上記アプローチによる高精度な判定は未だ達成されていない。SMILES表記といった分子の化学構造を英数表記で文字列化した表記方法を採用する事で、ガスセンサ出力と官能試験結果間の結びつきを強めるアプローチも存在する。しかしながら、予測精度は向上するものの、匂いが無い分子の情報を混在させる事実から高精度な匂いの種類の特定、判別、予測をすることは叶わなかった。これに対し、ガスセンサ出力を人間の嗅覚の定量的な数値で表現できれば、高精度に人間の嗅覚に則った匂いの判定が可能となる。
【0142】
変換装置U1は、例えば、所定の匂い分子に対して所定のガス検出機能を有する装置(以下、ガス検出装置U100ともいう)から出力される出力情報を嗅覚受容体の応答を示す応答情報に変換する装置である。これにより、変換装置U1は、同じ匂い分子に対して分析手法の違うガス検出装置U100のそれぞれから出力される異なる値の出力情報について、同じ結果を得られる嗅覚受容体U200の応答である1つの応答情報に変換するものである。これにより、変換装置U1は、ガス検出装置U100の分析手法の違いに関わらず、ガス検出装置U100の出力情報を1つの応答情報に紐付することを図ることができる。例えば、変換装置U1は、1の匂い分子に対する複数のガス検出装置U100ごとに値や単位の異なる出力情報に対して、1つの応答情報をいわゆる匂いのメートル原器としての紐付けを図ることができる。以下の実施形態において、変換装置U1は、予め機械学習された学習モデルを用いて出力情報を応答情報に変換するものである。
【0143】
次に、ガス検出装置U100について説明する。
【0144】
ガス検出装置U100は、例えば、ガスセンサ又は質量分析装置(ガスクロマトグラフ質量分析装置)である。ガスセンサは、所定の匂い分子の種類及び濃度に応じて、出力情報として、所定の電気信号(例えば、電圧値、抵抗値、又は電流値)、周波数変化、光の波長変化、又は嗅覚受容体への匂い分子の暴露による活性化度を出力する。ガス検出装置U100は、例えば、接触する匂い分子の濃度の大きさが大きい程、より大きな電圧値の電気信号を出力する。また、質量分析装置は、例えば、匂い分子の種類及び濃度に関して、質量電荷とその強度とを示すプロットをグラフデータとして出力するものである。
【0145】
次に、嗅覚受容体U200について説明する。
【0146】
嗅覚受容体U200は、例えば、特許文献1等によって示される公知の嗅覚受容体を用いることにより実現することができる。嗅覚受容体U200は、例えば、基板(図示せず)に接して搭載される核酸である。核酸は、所定の受容体をコードする遺伝子を含む核酸を含む。基板に接する核酸は複数種であり、基板上に各種核酸が互いに離隔して配置される。基板上の核酸に細胞を接触させることで、各種核酸に対応する嗅覚受容体を一過性発現する細胞がその場で生成される。
【0147】
この態様における受容体は、細胞に被験物質を接触させることにより、細胞状態に変化が起こり得る。具体的には、細胞内カルシウム濃度又は細胞内cAMP濃度の変化が起こり得る。このような変化について、cAMP感受性色素、cAMP感受性蛍光タンパク質、カルシウム感受性色素、又はカルシウム感受性蛍光タンパク質を用いることで、計測することができる。例えば、cAMP感受性色素又はcAMP感受性蛍光タンパク質による輝度変化を計測することにより、受容体の活性化度を定量的に算出することができる。活性化度は、嗅覚受容体U200の応答を示す応答情報又は応答情報として用いられる。
【0148】
嗅覚受容体は、人、哺乳類、昆虫、又は線虫の嗅覚受容体であってよい。また、嗅覚受容体は、液体状の被験物質に制限されず、ガス状(気体状)の被験物質に接触して応答する形態であってよい。後者の形態に係る嗅覚受容体は、ガス検出装置U100又は嗅覚受容体U200のいずれとしても使用可能である。つまり、ガス状の被験物質に対する嗅覚受容体の応答情報と、液体状の被験物質に対する嗅覚受容体の応答情報との間を変換することもできる。
【0149】
嗅覚受容体は、上記した細胞に発現される形態に限られず、無細胞の形態をとってもよい。
【0150】
例えば、細胞膜等の脂質二重膜で形成されたリポソームであって、該膜に各種の嗅覚受容体が存在するリポソームが、基板に互いに隔離して配置されてよい。リポソームのサイズは特に限定されず、典型的には直径100nm前後であってよい。リポソームの製法は特に限定されないが、嗅覚受容体を発現する細胞を細胞膜画分(Gタンパク質、アデニル酸シクラーゼ、環状ヌクレオチド依存性チャネル等の細胞内情報伝達タンパク質を含んでよい)と細胞質画分(GDP、GTP、ATP、cAMP等の細胞内情報伝達物質を含んでよい)に分け、両者を混合・撹拌して融合する工程を有してよい。
【0151】
あるいは、嗅覚受容体タンパク質自体を基板のプローブとして使用してもよい。ここで、嗅覚受容体が細胞膜を貫通した状態の立体構造を保持しているナノディスクが好適である。ナノディスクは、例えば、アポリポプロテインA1(APOA1)の変異体からなるmembrane scaffold protein (MSP)であり、脂質二重膜をディスク状に集積させることができるため(Timothy H. Bayburt, Yelena V. Grinkova, and Stephen G. Sligar Nano Letters 2002 2 (8), 853-856)、細胞外でも膜タンパク質を脂質膜に貫通した状態で保持することができる(Civjan NR, Bayburt TH, Schuler MA, Sligar SG. Direct solubilization of heterologously expressed membrane proteins by incorporation into nanoscale lipid bilayers. Biotechniques. 2003 Sep;35(3):556-60, 562-3)。また、ナノディスクを配置する基板は、特に限定されないが、カーボンナノチューブFET(Yang H, Kim D, Kim J, Moon D, Song HS, Lee M, Hong S, Park TH. Nanodisc-Based Bioelectronic Nose Using Olfactory Receptor Produced in Escherichia coli for the Assessment of the Death-Associated Odor Cadaverine. ACS Nano. 2017 Dec 26;11(12):11847-11855. doi: 10.1021/acsnano)、カーボンナノチューブFET等であってよい。ナノディスクの製法は特に限定されないが、大腸菌等で発現させて回収したMSPとし、可溶化させた膜タンパク質と、界面活性剤で水に溶解させたリン脂質と、を混合し、透析等で界面活性剤を除去することで、ナノディスクを自己組織化によって形成させる工程を含んでよい。
【0152】
これらの無細胞形態の嗅覚受容体を用い、被験物質による電流、電圧、インピーダンス等の変化を計測することでも、受容体の活性化度を定量的に評価することができる。
【0153】
次に、本発明の第2実施形態に係る変換装置U1、変換情報作製方法、及びプログラムについて、図8から図12を参照して説明する。なお、本実施形態では、ガス検出装置U100として、ガスセンサが一例として説明される。
【0154】
変換装置U1は、所定の匂い分子に対して所定のガス検出装置U100から出力される出力情報を嗅覚受容体U200の応答を示す応答情報に変換するものである。また、本実施形態に係る変換装置U1は、変換した応答情報を出力するとともに、変換した応答情報から所定の匂いの特徴を表す言葉(文言)を出力するものである。変換装置U1は、図8に示すように、出力情報取得部U11と、変換部U12と、出力部U13と、を備える。
【0155】
出力情報取得部U11は、例えば、CPUが動作することにより実現される。出力情報取得部U11は、所定の匂い分子に対してガス検出装置U100から出力される出力情報を取得する。出力情報取得部U11は、例えば、所定の匂い(匂い分子)を感知することによってガス検出装置U100から出力される電圧値を出力情報として取得する。出力情報取得部U11は、例えば、ガス検出装置U100によって遠隔地で測定された出力情報を取得してもよい。
【0156】
変換部U12は、例えば、CPUが動作することにより実現される。変換部U12は、複数の匂い分子のそれぞれに対する複数のガス検出装置U100からの出力される出力信号と前記複数の匂い分子のそれぞれに対する嗅覚受容体U200の応答を示す応答情報とに基づいて、取得した出力情報を応答情報に変換する。本実施形態において、変換部U12は、複数の匂い分子のそれぞれに対する複数のガス検出装置U100から出力される出力情報を説明変数とするとともに、複数の匂い分子のそれぞれに対する嗅覚受容体U200の応答を示す応答情報を目的変数として機械学習された予測モデルを用いて、取得された出力情報を嗅覚受容体U200の応答を示す応答情報に変換する。
【0157】
変換部U12は、例えば、ガス検出装置U100から出力される出力情報の数学的、統計学的、又は機械学習的手法を用いて算出される、数値、関数、空間的又は時系列的指標、若しくは特徴量エンジニアリングで新たに作製された変数を説明変数として機械学習された予測モデルを用いる。また、変換部U12は、嗅覚受容体U200の応答情報の数学的、統計学的、又は機械学習的手法を用いて算出される、数値、関数、空間的又は時系列的指標、若しくは特徴量エンジニアリングで新たに作製された変数を目的変数として機械学習された予想モデルを用いる。変換部U12は、例えば、変換部U12は、複数のガス検出装置U100から出力される出力情報の時系列データ及び特徴量パターン数を説明変数とし、複数の嗅覚受容体U200の応答情報の時系列データ及び特徴量パターン数を目的変数として機械学習された予測モデルを用いて、取得された出力情報を応答情報に変換する。
【0158】
本実施形態において、変換部U12は、複数のガス検出装置U100の出力情報の有無を説明変数として機械学習された予測モデルを用いる。また、本実施形態において、変換部U12は、嗅覚受容体U200に含まれる複数の受容体の反応の有無を目的変数として機械学習された予測モデルを用いる。また、本実施形態において、変換部U12は、ガス検出装置U100から出力される出力情報の質量電荷及び強度を説明変数として機械学習された予測モデルを用いる。これにより、変換部U12は、電圧値、抵抗値、電流値、周波数変化、又は光の波長変化で示される変換用電圧値について、嗅覚受容体U200の活性化度を示す応答情報に変換する。
【0159】
出力部U13は、例えば、CPUが動作することにより実現される。出力部U13は、変換された応答情報を出力する。出力部U13は、例えば、応答情報を表示することにより出力する。出力部U13は、例えば、応答情報として、活性化度を数値化して出力する。
【0160】
次に、本実施形態のプログラムについて説明する。
【0161】
変換装置U1に含まれる各構成は、ハードウェア、ソフトウェア又はこれらの組み合わせによりそれぞれ実現することができる。ここで、ソフトウェアによって実現されるとは、コンピュータがプログラムを読み込んで実行することにより実現されることを意味する。
【0162】
プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば、光磁気ディスク)、CD-ROM(Read Only Memory)、CD-R、CD-R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(random access memory))を含む。また、表示プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【0163】
次に、本実施形態の実施例を説明する。
(実施例1)
【0164】
嗅覚受容体U200として、400個の嗅覚受容体を含むアレイセンサを用いた。そして、所定の匂いを既定の時間、嗅覚受容体発現細胞に暴露した。匂いの濃度は、500μMから10μMのものを用いた。また、12種類のガス検出装置U100(ガスセンサ)に対して所定の匂いを既定の時間暴露して出力情報を取得した。そして、変換装置U1を用いて、出力情報から応答情報に変換した。また、嗅覚受容体U200の発現細胞に暴露した結果の活性化度を測定した。
【0165】
ここで、測定した匂い分子として、hexyl acetate、hexyl butyrate、butyl butyrate、2,7-octadienol、cis-2-penten-1-ol、toluene、beta-ionone、benzothiazole、cyclotene、acetic acid、coumarin、1,2,4-trimethyl benzene、2-ethylhexanol、propionaldehyde、4-Isopropylphenol、Bis (methylthio) methane、1,2,4,5-tetramethyl benzene、3-methyl-1-butanol、E-2-nonenal、m-cresolを用いた。
【0166】
データ処理では、予測モデルの言語としてpythonを用いた。また、予測モデルのアルゴリズムとして、ランダムフォレスト、サポートベクターマシン、及び勾配ブースト決定木のそれぞれを用いて評価した。また、予測モデルとして、回帰によって作製されたものを用いた。学習方法として、教師あり学習を用いた。モデル評価法として、主に決定係数で評価した。
【0167】
ランダムフォレスト法による回帰を用いた場合、図9に示すように、縦軸を予想モデルから出力される予測値(応答情報)、縦軸を目的変数の実値(嗅覚受容体U200発現細胞の活性化度)として、回帰決定係数0.834(1.0を最大とする)を得ることができた。
【0168】
サポートベクターマシンによる回帰を用いた場合、図10に示すように、回帰決定係数0.871を得ることができた。また、勾配ブースト決定木による回帰を用いた場合、図11に示すように、回帰決定係数0.847を得ることができた。これにより、予測値が目的変数の実値に対して十分な相関を得られることがわかった。すなわち、出力情報を定量化可能であることがわかった。
【0169】
(実施例2)
【0170】
ある匂い分子に対するセンサーデータを学習し、反応する嗅覚受容体U200とその活性化度を予想するモデルを作成した。ガス検出装置U100、嗅覚受容体U200セルアレイセンサの実験条件及び実験手順を実施例1と同様とした。データ処理では、クラス分類を用いた。言語として、pythonを用いた。アルゴリズムとして、ニューラルネットワークを用いた。ガス検出装置U100の出力情報と嗅覚受容体U200の応答情報とを関連させるうえで、クラス分類モデルを作成した。学習方法は、教師ありとした。隠れ層の数は問わないが本実施例では2層で実施した。モデル評価は全体正解率accuracy、損失関数lossを用いた。
ガス検出装置U100の出力情報を説明変数とし、嗅覚受容体U200の応答を示す応答情報を目的変数とした。
【0171】
図12に示すように、学習回数500回程で、予測accuracyが0.9前後で高く維持され、lossは0.3前後と低く維持されている。このことから、前述した予想モデルを作製する事ができた。
【0172】
以上、第1実施形態に係る変換装置U1、変換情報作製方法、及びプログラムによれば、以下の効果を奏する。
【0173】
(1)変換装置U1は、所定の匂い分子に対して所定のガス検出装置U100から出力される出力情報を嗅覚受容体U200の応答を示す応答情報に変換する変換層被であって、所定の匂い分子に対してガス検出装置U100から出力される出力情報を取得する出力情報取得部U11と、複数の匂い分子のそれぞれに対する複数のガス検出装置U100からの出力される出力信号と複数の匂い分子のそれぞれに対する嗅覚受容体U200の応答を示す応答情報とに基づいて、取得した出力情報を応答情報に変換する変換部U12と、変換された応答情報を出力する出力部U13と、を備える。これにより、種々のガス検出装置U100から得られる出力情報を、1種の応答情報に変換して出力することができる。したがって、ガス検出装置U100間の相関をとることができる。
【0174】
(2)変換部U12は、複数の匂い分子のそれぞれに対する複数のガス検出装置U100から出力される出力情報を説明変数とするとともに、複数の匂い分子のそれぞれに対する嗅覚受容体U200の応答を示す応答情報を目的変数として機械学習された予測モデルを用いて、取得された出力情報を嗅覚受容体U200の応答を示す応答情報に変換する。機械学習を用いるこれにより、変換精度をより向上することができる。
【0175】
(3)変換部U12は、ガス検出装置U100から出力される出力情報の数学的、統計学的、又は機械学習的手法を用いて算出される、数値、関数、空間的又は時系列的指標、若しくは特徴量エンジニアリングで新たに作製された変数を説明変数として機械学習された予測モデルを用いる。これにより、変換精度を向上することができる。
【0176】
(4)変換部U12は、嗅覚受容体U200の応答情報の数学的、統計学的、又は機械学習的手法を用いて算出される、数値、関数、空間的又は時系列的指標、若しくは特徴量エンジニアリングで新たに作製された変数を目的変数として機械学習された予想モデルを用いる。これにより、変換精度を向上することができる。
【0177】
(5)変換部U12は、複数のガス検出装置U100から出力される出力情報の時系列データ及び特徴量パターン数を説明変数とし、複数の嗅覚受容体U200の応答情報の時系列データ及び特徴量パターン数を目的変数として機械学習された予測モデルを用いて、取得された出力情報を応答情報に変換する。これにより、変換精度を向上することができる。
【0178】
(6)変換部U12は、複数のガス検出装置U100の出力情報の有無を説明変数として機械学習された予測モデルを用いる。これにより、変換精度を向上することができる。
【0179】
(7)変換部U12は、嗅覚受容体U200に含まれる複数の受容体の反応の有無を目的変数として機械学習された予測モデルを用いる。これにより、変換精度を向上することができる。
【0180】
(第3実施形態)
【0181】
次に、本発明の第3実施形態に係る予測モデル作製装置U2、予測モデル作製方法、及びプログラムについて、図13を参照して説明する。第3実施形態の説明にあたって、前述の実施形態と同一の構成要件については同一符号を付し、その説明を省略もしくは簡略化する。
【0182】
第3実施形態に係る予測モデル作製装置U2、予測モデル作製方法、及びプログラムは、第1実施形態に係る予測モデルを作製する装置、方法、及びプログラムである。
【0183】
予測モデル作製装置U2は、所定の匂い分子に対してガス検出装置U100から出力される出力情報を定量化されたデータに変換する予測モデルを作製する。予測モデル作製装置U2は、図13に示すように、説明変数取得部U21と、目的変数取得部U22と、予測モデル作製部U23と、を備える。
【0184】
説明変数取得部U21は、例えば、CPUが動作することにより実現される。説明変数取得部U21は、複数の匂い分子のそれぞれに対する複数のガス検出装置U100から出力される出力情報を説明変数として取得する。説明変数取得部U21は、例えば、複数のガス検出装置U100(例えば20種)の出力の合計値、平均値、反応の有無、各種指標、出力の特徴量とガス検出装置U100の個数との積、時系列データと特徴量パターン数とガス検出装置U100の個数との積等を出力情報としてもよい。
【0185】
目的変数取得部U22は、例えば、CPUが動作することにより実現される。目的変数取得部U22は、複数の匂い分子のそれぞれに対する嗅覚受容体U200の応答を示す応答情報を目的変数として取得する。目的変数取得部U22は、例えば、嗅覚受容体U200(例えば、400スポット)の出力の合計値、平均値、反応の有無、各種指標、出力の特徴量と嗅覚受容体U200のスポット数との積、時系列データと特徴量パターン数と嗅覚受容体U200のスポット数との積等を出力情報としてもよい。
【0186】
予測モデル作製部U23は、例えば、CPUが動作することにより実現される。予測モデル作製部U23は、取得した説明変数と取得した目的変数とを機械学習に用いることにより、予測モデルを作製する。予測モデル作製部U23は、相関係数、主因子分析、及びロジスティック回帰等を用いて予測モデルを作製する。
【0187】
次に、予測モデル作製装置U2の動作(予測モデル作製方法)を説明する。
【0188】
まず、説明変数取得部U21は、出力情報を説明変数として取得する。次いで、目的変数取得部U22は、応答情報を目的変数として取得する。次いで、予測モデル作製部U23は、説明変数及び目的変数を用いて予測モデルを作製する。
【0189】
次に、本実施形態のプログラムについて説明する。
【0190】
予測モデル作製装置U2に含まれる各構成は、ハードウェア、ソフトウェア又はこれらの組み合わせによりそれぞれ実現することができる。ここで、ソフトウェアによって実現されるとは、コンピュータがプログラムを読み込んで実行することにより実現されることを意味する。
【0191】
プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば、光磁気ディスク)、CD-ROM(Read Only Memory)、CD-R、CD-R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(random access memory))を含む。また、表示プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【0192】
以上、第3実施形態に係る予測モデル作製装置U2、予測モデル作製方法、及びプログラムによれば、以下の効果を奏する。
(7)所定の匂い分子に対してガス検出装置U100から出力される出力情報を定量化されたデータに変換する予測モデルを作製する予測モデル作製装置U2であって、複数の匂い分子のそれぞれに対する複数のガス検出装置U100から出力される出力情報を説明変数として取得する説明変数取得部U21と、複数の匂い分子のそれぞれに対する嗅覚受容体U200の応答を示す応答情報を目的変数として取得する目的変数取得部U22と、取得した説明変数と取得した目的変数とを機械学習に用いることにより、予測モデルを作製する予測モデル作製部U23と、を備える。これにより、種々のガス検出装置U100から得られる出力情報を、応答情報に変換して出力する予測モデルを作製することができる。出力情報を応答情報に変換することで定量化できるので、ガス検出装置U100間の相関をとることができる変換装置U1を構成することができる。
【0193】
(第4実施形態)
【0194】
次に、本発明の第4実施形態に係る変換装置U1、変換情報作製方法、及びプログラムについて図14及び図15を参照して説明する。第4実施形態の説明にあたって、前述の実施形態と同一の構成要件については同一符号を付し、その説明を省略もしくは簡略化する。
【0195】
第4実施形態に係る変換装置U1は、ガス検出装置U100として、質量分析装置(ガスクロマトグラフ質量分析装置)を用いる点で、第1及び第3実施形態と異なる。また、第4実施形態に係る変換装置U1は、ガス検出装置U100(質量分析装置)の出力を出力情報とする点で、第1及び第3実施形態と異なる。第4実施形態に係る変換装置U1は、ガス検出装置U100から出力される、質量電荷に対する強度のプロットの集合を出力情報として取得する。変換装置U1は、例えば、ガス検出装置U100によってガス状の化合物を検出した結果得られる、質量電荷に対する強度のプロットの集合を出力情報として取得する。すなわち、変換装置U1は、ガス検出装置U100によってガス状の化合物の分子構造を特定する処理の前の、ガス分子をイオン化した際に発生するフラグメントイオンの(ノイズを含む)質量電荷のデータを出力情報として取得する。また、変換装置U1は、(ノイズを含む)質量電荷のデータを説明変数とする予測モデルを用いて出力情報を嗅覚受容体U200の応答情報に変換する。これにより、変換装置U1は、ガス検出装置U100によって異なる機器の特性に関わらず、出力情報を嗅覚受容体の応答情報に変換するものである。なお、ガス検出装置U100は、検出に限らず、捕集、測定、及び分析する装置であってもよい。
【0196】
次に、第4実施形態に係る実施例を説明する。
(実施例3)
【0197】
ガス検出装置U100のデータ取得方法は匂い分子溶液を溶媒で10000倍希釈した後、1μLをシリンジで採取し、ガス検出装置U100に投入した。検出時に得られる分子種ごとの質量電荷データを変換に用いた。嗅覚受容体セルアレイセンサの実験条件や実験手順は実施例1と同様とした。
【0198】
データ処理では、実施例1と同様にランダムフォレストの回帰にてモデルを作製した。言語には、pythonを用いた。学習方法は、教師ありとした。モデル評価は決定係数を用いた。ガス検出装置U100で取得した質量電荷のデータ処理は、図14に示すように、グラフ化し、その画像のピクセルごとの強度を読み取った。読み取ったデータを出力情報とした。ガス検出装置U100(質量分析装置)の出力情報を説明変数とし、嗅覚受容体U200の応答を示す応答情報を目的変数とした。
【0199】
その結果、図15に示すように、縦軸を予想モデルから出力される予測値(応答情報)、縦軸を目的変数の実値(嗅覚受容体U200発現細胞の活性化度)として、回帰決定係数0.828を得ることができた。
【0200】
以上、第4実施形態に係る予測モデル作製装置U2、予測モデル作製方法、及びプログラムによれば、以下の効果を奏する。
(8)変換部U12は、ガス検出装置U100として、質量分析装置の出力信号を出力情報として用いた。これにより、質量分析装置についても、出力情報を応答情報に変換することでガス検出装置U100間の相関をとることができる。特に、変換部U12は、(ノイズを含む)質量電荷のデータを出力情報として用いることにより、分子構造を特定した後のデータを出力情報として用いる場合に比べ、ガス状の化合物の捕集から嗅覚受容体U200の応答を示す応答情報への変換までの時間を短くすることができる。また、分子構造を特定した後のデータを出力情報として用いる場合に比べ、より検出後のデータ(生のデータ)に近いデータを用いるので、より決定係数の高い(精度の良い)変換装置U1を提供することができる。
【0201】
以上、本発明の変換装置、予測モデル作製装置、変換情報作製方法、予測モデル作製方法、及びプログラムの好ましい各実施形態につき説明したが、本開示は、上述の実施形態に制限されるものではなく、適宜変更が可能である。
【0202】
例えば、上記第4実施形態において、ガス検出装置U100として、ガスクロマトグラフィー質量分析装置を用いたが、これに制限されない。ガス検出装置U100として、ガスクロマトグラフィーを備えていない装置でもよい。また、ガス検出装置U100は、直接イオン化質量分析装置(DART-MS)であってもよい。ガス検出装置U100は、大気圧で分析する大気圧質量分析装置であってもよい。
【0203】
また、上記実施形態において、変換部U12は、機械学習された予測モデルを用いて変換するとしたが、これに制限されない。変換部U12は、機械学習された予測モデルを用いずに変換してもよい。
【0204】
(第3実施形態)
【0205】
図16Aおよび図16Bは、第3実施形態の概要を示すシステム構成図である。
【0206】
第3実施形態は、図16Aおよび図16Bに示す通り、匂い等情報を経済的に保護して、取引を可能とするためのシステムを示す。
【0207】
すなわち、実施形態1または2の技術に基づいたデバイス(例:噴霧器)を用いて匂いを再現する場合、望む匂いの再現を失敗するリスクが存在する。これは、匂い等情報を再現するにあたり、たとえば、データ改ざんが容易であることも一つの理由である。
【0208】
また、匂いに関する商品を取引する場合、匂いは無形である事から、唯一性の証明や取引履歴の整合性を証明する事が困難であった。
【0209】
そこで、実施の形態3では、匂い等情報を、ブロックチェーンおよび非代替性トークン(NFT:Non-Fungible Token)を用いて認証されることで、後述するような意味での「匂いの唯一性」の証明が可能となり、改ざん難易度が向上し、望む匂いを再現できる。
【0210】
また、NFTのコントラクトに使用上限回数など条件定義すれば、仮想的に、当該匂い情報を使い果たした「空」の状態を作りだすことができる。
【0211】
これは、例えば、実空間では香水を購入後、一定回数使用したため空になったという状態を、仮想的に再現する事が可能となることを意味する。コントラクト内の条件定義は、使用上限回数のみならず、匂いの持続時間や匂いの有効範囲などでも良い。
【0212】
さらに、持続時間や再現処理が許される有効範囲が定義される事で、仮想空間内における匂いを介したコミュニケーションが活発になる。例えば、第三者のアバターに匂いコードが付与されていた場合、コントラクトに基づき匂いが再現され、自身がそのアバターに付与された匂いを感じる事ができる。
【0213】
ここで、NFTは、所定のブロックチェーンで発行および管理される一意性を有するトークンであり、紐づけられたデジタルデータの一意性を証明することができる。
【0214】
本実施形態を含む以降の実施形態において、NFTを発行する対象として、匂い情報(デジタル匂い情報;匂いコード)を例に説明するが、これに限定されず、例えば、味情報(デジタル味情報;味コード)であってもよい。すなわち、目標の匂いの再現、匂いの管理は、目的の味の再現、味の管理に置き換えることができる。
【0215】
NFTを発行する対象としては、例えば、香水の匂いが挙げられる。
【0216】
この場合、匂いの情報に対してNFTの発行を要求する者は、例えば、「著作者(法人または個人)」である。
【0217】
もちろん、日本においては、厳密にいうと、「著作物」とは、「思想又は感情を創作的に表現したものであつて、文芸、学術、美術又は音楽の範囲に属するもの」とされており、諸外国においても、「情報」、特に「匂いの情報」が、従来法における「著作物」に相当するかについては、現時点では、確定的なことは言えない。
【0218】
そこで、本明細書では、最初に匂い情報や味情報を生成し保有している原保有者を、「匂い情報や味情報の著作者」と呼ぶ。また、「二次著作物の著作者」に相当して、「原著作者」から提供された「匂い情報や味情報」を調整して「匂い情報や味情報」を作成した者を「二次著作者」と呼ぶ。後述するように、NFTには、「原著作者」が記録されており、さらに、NFT内で、「原著作者」および「二次著作者」の双方を記録しておき、販売料金の収入や、手数料収入などを、取決めに従って、分配してもよい。
【0219】
したがって、香水の場合は、「著作者」としては、例えば、香水の組成を設計した者(典型的には香水メーカー)、または当該香水の匂い情報を生成した者(または香水の匂い情報を管理する者)等が挙げられる。
【0220】
以下では、匂いの情報を扱う場合を例として説明する。ただし、味の情報を扱う場合も、同様の構成で実施することが可能である。
【0221】
本件のような構成により、以下に説明するような構成が実現される。
【0222】
1)「匂い」を再生デバイスで再生するにあたり、「匂いの情報」の所有者が、正当なものであることが、ブロックチェーン内に格納されるNFTにより証明される。
【0223】
逆にいえば、「匂いの情報」の所有者を変更しうる(売買の対象になる)ために、NFTを利用する。「匂いの情報」が流通すること、そのことにより、元の所有者が現実の価値をもつ利益を得ることに意義がある。NFTは、ブロックチェーンにより管理され、改ざんができない「所有者の証明」という観点で、利用される。
【0224】
2) 「匂いの情報」は、好ましくは、N次元コード(より好ましくは、2次元コード)の「匂いコード」に変換されて、取引される。
【0225】
3)「匂いコード」は、原則として、再生の都度、「管理サーバ」から、再生デバイスに配信される。
【0226】
4)再生デバイスでの再生のためには、NFTの所有者が、再生デバイスから使用要求を、「匂いの著作者(原保有者)」宛に出し、ブロックチェーンにより、使用要求の送信元が、NFTの所有者であることが認証されることが必要である。そして、その都度、使用のための使用料が、仮想通貨で支払われる。
【0227】
「匂いの著作者(原保有者)」は、匂いの情報の使用状況をモニタすることが可能となる。さらには、「匂いの情報の使用」にあたって、使用条件(使用回数の上限、使用時間の上限)を設定することも可能である。また、「匂いの著作者(原保有者)」が、「匂いの情報の使用」にあたって、都度、使用料を徴収することも可能である。
【0228】
5)ただし、再生デバイス自体をNFTの所有者が所有している必要まではなく、他者の再生デバイスから再生することも可能である。
【0229】
つまり、「匂い情報(匂いコード)」 自体は、単独で、他者まで流通してもよい(複製可能であってもよい)。
【0230】
その場合でも、NFTの所有者が、他者の所有する再生デバイスを「匂いコード」 の配信先として指定して、使用要求を「匂い等の著作者(原保有者)」宛に出し、ブロックチェーンにより、使用要求の送信元が、NFTの所有者であることが認証されることが必要である。
【0231】
なお、図16Aおよび図16Bに示すサーバ、デバイス等のハードウェア構成は、基本的には、図4に示したハードウェア構成と同様のため、説明を省略する。
【0232】
図16Aおよび図16Bにおいて、情報加工者サーバ2000は、匂いの素材または原材料を受け取って、匂いコードに変換する業務を実行するサーバであり、図5で説明したサーバ1と基本的には、同一の構成を有する。また、第3実施形態に係るサーバ(管理サーバ)3000は、匂い情報のブロックチェーン管理を行う情報処理装置である。
【0233】
ここで、図17は、管理サーバ3000の機能的な構成を説明するための機能ブロック図である。
【0234】
また、サーバ3000のCPU3040においては、後述するように、メモリに格納されたプログラムにより動作する際に、要求受付モジュール(以下、「要求受付MD」)3041と、匂いコードに紐づけられたNFTについて、認証などを確認するNFT認証モジュール(以下、「NFT認証処理MD」)3043等が機能する。
【0235】
要求受付MD3041は、ブロックチェーンで管理された所定の匂い情報に関するNFTの所有者から、匂い情報を使用するための要求を受け付ける。
【0236】
NFT認証処理MD3043は、匂い情報に関するNFTの認証を行うことにより、匂い情報の唯一性の証明または取引履歴の整合性を確認する。
【0237】
図17を参照して、より詳しくは、管理サーバ3000は、ネットワークNを介して、匂い情報の原著作権者HAの端末1000、情報加工者サーバ2000やブロックチェーンBCとデータの授受を行うためのネットワーク通信部3300と、ネットワーク通信部3300等との間で、サーバ内にデータを取り込み、または、サーバからのデータを出力するための入出力インタフェース(以下、入出力I/F)3090と、演算装置3040と、不揮発性記憶装置3080とを含む。
【0238】
演算装置3040は、不揮発性記憶装置3080に格納される匂いコードデータベース(以下、匂いコードDB)3082への情報の登録および編集を行うための要求受付モジュール(以下、要求受付MD)3041と、不揮発性記憶装置3080に格納される匂いコードDB3082と著作者情報データベース(以下、著作者情報DB)3083への情報の登録および編集と、ブロックチェーンBCに対してNFT発行を行うためのNFT発行処理モジュール(以下、NFT発行処理MD)3042との機能を実行する。
【0239】
演算装置3040は、さらに、要求受付MD3041により受け付けられた使用要求に応じて、ブロックチェーンBCに対して、この使用要求の正当性の認証を要求して正当性の確認を行うためのNFT認証処理モジュール(以下、NFT認証処理MD)3043と、コンテンツ再生のための匂い噴霧装置3で匂いコードの再生処理が行われることに応じて、使用状況に関する情報(使用回数や使用時間等)や再生に伴う使用料の支払いなどの情報について、NFTトランザクション更新要求を装置3から受けて、ブロックチェーンBCへのNFT更新トランザクションを発行するためのNFT更新処理モジュール(以下、NFT更新処理MD)3044と、NFT認証処理MD3043により、使用要求の正当性が確認されることに応じて、匂いコードDB)3082から、対応する匂いコードを、匂い噴霧装置3のコンテンツ再生装置に対して配信するための匂いコード配信処理モジュール(以下、匂いコード配信処理MD)3045との機能を実行する。情報処理モジュール(以下、情報処理MD)3046は、後述するように、不揮発性記憶装置3080に格納される学習データDB3084に格納されるデータに基づいて、人工知能モデルの学習処理を実行したり、生成された学習済モデルにより処理を実行する。
【0240】
なお、管理サーバ3000のハードウェア構成は、基本的に、図4に示したものと同様であるので、説明は繰り返さない。
【0241】
管理サーバ3000の主要部は、コンピュータハードウェアと、CPU11により実行されるソフトウェアとにより構成される。一般的にこうしたソフトウェアは、記憶媒体に格納されて流通またはネットワーク経由で流通し、ディスクドライブ20やネットワーク通信部19経由で取得されて、SSDなどで構成される記憶部18に一旦格納される。そうしてさらに記憶部18からメモリ中のRAM13に読出されてCPU11により実行される。なお、ネットワーク接続されている場合には、記憶部18に格納することなくRAMに直接ロードして実行するようにしてもよい。
【0242】
演算装置3040は、CPUであって、1つのコアのプロセッサであっても、あるいは複数のコアのプロセッサであってもよい。すなわち、シングルコアのプロセッサであっても、マルチコアのプロセッサであってもよい。
【0243】
NFTを用いて匂い情報を管理する例として、現実空間または仮想空間(メタバース)において、上述の香水の匂いを管理することができる。
【0244】
現実空間では、例えば、所定の放出機(デバイス)から、所定の香水に対応する匂いを放出する際に、当該香水の匂いが正当な著作者のものであるか、または、ユーザが当該香水の匂いを使用する権限を有しているかを判断する際に用いることができる。
【0245】
仮想空間では、例えば、ユーザのアバターが、仮想空間内で所定の香水を購入した際に、上述と同様、当該香水の匂いが正当な著作者のものであるか、または、ユーザのアバターが当該香水の匂いを使用する権限を有しているかを判断する際に用いることができる。
【0246】
なお、仮想空間には、VR(Virtual Reality;仮想現実)、またはAR(Augmented Reality;拡張現実)も含まれる広い概念である。
【0247】
なお、この際、匂い情報として、匂いに関する受容体応答情報を用いることが必須ではない点で、上述の各実施形態とは異なる。すなわち、匂い情報としては、上述の受容体応答情報の有無に限られず、匂いを発生させるために必要な情報を持っていれば足りる。
【0248】
すなわち、匂いに基づいて、受容体応答情報を用いずに、電気センサ、または人間によって実施された官能試験評価の結果等を用いて生成された匂い情報を用いてもよい。
【0249】
なお、匂い情報は、所定のフォーマットで管理されるものとしてよい。
【0250】
ここで、「匂いの唯一性」としては、上述のNFTを用いて管理される「匂い情報」の正当な所有者であることを示す他、匂いそのものの唯一性を示す場合も含まれる。
【0251】
つまり、「匂いそのものの唯一性」を考えるのは、「匂い」の経済的価値は、「それを知覚する人間にとって、同一の匂いであると知覚されること」それ自体に意義があると考えられるものの、従来は、「人間の匂いに対する知覚」を客観的に規定する方法が存在していなかった。
【0252】
以下、匂いそのものの唯一性を証明することのメリットについて説明する。
【0253】
従来、匂いそのものの唯一性を証明する手段として、匂い物質の成分で匂いを規定することが行われていた。
【0254】
しかし、この場合、上述の香水を模した偽物の香水を排除することは困難であった。すなわち、所定の香水の成分量や、比率を少々変更することにより生成された偽物の香水は、所定の香水と成分が異なるため、例えば、特許権等で排除することができない。また、成分の変更が微量である場合、匂いを嗅ぐユーザにとって違いを認識することは困難であるため、嗅ぎ分けることも困難であった。
【0255】
そこで、上述のように、匂い情報(受容体応答情報)を、適切にNFTを用いてブロックチェーンで管理しておくことで、匂い成分に関係なく、嗅覚受容体センサを用いて検知および解析した匂いが、NFTを用いて管理された匂いと同一であるか否かを判断することができる。
【0256】
すなわち、ブロックチェーンおよびNFTで、匂いの唯一性を裏付けることができる。これにより、NFTの著作権侵害を主張する等の対応を行うことができる。
【0257】
このように、匂いを、受容体の応答のしかたに基づいて、標準化(絶対的なものさし)することで、他者が別の物質で組成した匂い(例えば、香水)であっても、結果(人間がどう感じるか)が同じことに基づき、唯一性が担保できることになる。
【0258】
なお、NFTには、一般に、一意であることを示すための識別子が含まれる。
そこで、「匂い情報(コード)」は、「同一の匂い(例:同一種類の香水)」には1つの「匂い情報」が対応する。各々は、識別子で区別されることとしてよい。匂いコードは、N次元コードで、匂い情報を表現したものを意味する。(味情報も同様である。)
【0259】
この「識別子」が、NFTのトークンIDに対応する。
【0260】
なお、特に限定されないが、識別子の構成としては、たとえば、以下のような構成とすることも可能である。
トークンID : (匂いの識別符号)+(同一の匂いの中での識別番号)」
【0261】
ここで、「(同一の匂いの中での識別番号)」とは、たとえば、版画を例にとると、刷り数に上限値が設定されているときの「エディションナンバー」に相当する。このような構成とすることで、「匂い情報(コード)」 の希少価値を高めることも可能である。
【0262】
また、上述した「匂いの唯一性」とは、NFTと紐づいた「匂い情報(コード)」について、NFT内に記録される「アカウント番号」(=「原著作者」の公開鍵)に対応する秘密鍵の電子署名により、「匂い情報(コード)」が、正当な原著作者によって、生成されたものであることが証明されることを意味することとしてもよい。
【0263】
「原著作者」の公開鍵から、原著作者の外部所有アカウント(アドレス)が特定される。NFTによって、「匂いそのものの唯一性」を管理することもできる。たとえば、製品名やトークンIDによる。
【0264】
「匂い情報の取引履歴の整合性」とは、NFTにより管理される現所有者の情報と、ブロックチェーンで管理されるトランザクションデータによる取引の履歴とが整合しており、現所有者が正当な所有者であることを意味する。
【0265】
匂い情報または味情報の使用の正当性」とは、「匂いの唯一性」と「匂い情報の取引履歴の整合性」とが成立することをいう。
【0266】
図18は、第3実施形態に係るブロックチェーンおよび非代替性トークン(NFT)を利用した匂いコード(匂い情報)の取引の第1の例を示す図である。
【0267】
図18においては、管理サーバでウォレットを管理する例を示しているが、所有者のデバイス毎にウォレットが設けられていてもよい。また、図中で、デバイスAとは、コンテンツ再生装置と匂い噴霧装置とを総称しているものとする。
【0268】
具体的には、所有者のデバイス毎にウォレットが設けられる場合においては、例えば、香水の匂いを使用する権限を譲受(購入や無償譲渡等)した1以上のユーザに対応付けられたウォレットが夫々作成される。そして、当該ウォレットのアドレスが、非代替性トークン(NFT)の所有者のアドレスとしてブロックチェーン上において管理される。この場合、香水の匂いを使用する権限の所有者は、非代替性トークン(NFT)の所有者として管理される。
【0269】
図16A図16Bおよび図18を参照して、管理サーバ3000でウォレットを管理する場合においては、例えば、香水の匂い情報を生成した者(または香水の匂い情報を管理する者:著作者(原保有者))に対応付けられたウォレットが作成される。そして、当該ウォレットのアドレス(以下、AAA)が、非代替性トークン(NFT)の所有者のアドレスとしてブロックチェーン上において管理される。更に、香水の匂いを使用する権限の所有者の情報は、非代替性トークン(NFT)に紐づいたメタデータやコンテンツデータとして、ブロックチェーンの外部に設けられたIPFS(InterPlanetary File System)といった分散ストレージ等を用いて管理される。或いは、香水の匂いを使用する権限の所有者の情報は、非代替性トークン(NFT)の所有者以外の情報としてブロックチェーン上で管理されてもよい。
【0270】
本明細書においては、非代替性トークン(NFT)の所有者と、香水の匂いを使用する権限の所有者とは、基本的に同一のものであるものとして説明する。ただし、たとえば、非代替性トークンにより、使用する権限の所有者は、NFTの所有者とは独立したものとして、管理されるものとしてもよい。
【0271】
図19は、第3実施形態に係るブロックチェーンおよび非代替性トークン(NFT)を利用した匂いコード(匂い情報)の取引の第2の例を示す図である。
【0272】
図19に示す例では、図18に示すものに加えて、スマートコントラクト(SC:Smart Contract)を用いて、NFTを参照し、履歴更新等を自動で行っている。
【0273】
図20Aおよび図20Bは、スマートコントラクトにより、NFTの管理を実施するためのシステムの構成を示す図である。
【0274】
スマートコントラクトは、受信した契約条件に従ったプロトコルを自動的に実行するようにブロックチェーンBCに実装されている。なお、実施形態に係るスマートコントラクトは、たとえば、管理者によって、ブロックチェーンBC上に実装される。
【0275】
スマートコントラクトは、コンピュータプログラムが、ブロックチェーンBCを構成するコンピュータネットワークに実装されることで構成される。コンピュータプログラムは、ブロックチェーンBCを構成するコンピュータネットワークにおいて実行される。コンピュータプログラムは、スマートコントラクトとしての動作を規定したプログラムコードを有する。コンピュータプログラムがブロックチェーンBCを構成するコンピュータネットワークにおいて実行されることで、スマートコントラクトの動作が行われる。スマートコントラクトは、ブロックチェーンBCにおけるアドレス(コントラクトアドレス)に格納されている。
【0276】
図21Aおよび図20Bは、スマートコントラクトにより、NFTの管理を実施する処理のフローを示す図である。
【0277】
NFTは、他のNFTとの区別を可能にするための固有の識別子(NFT-ID)を有する。なお、イーサリアムの内部通貨である「イーサ」のようなファンジブルトークンは、他のファンジブルトークンと価値が同じであり、区別されることを要しないため、NFT-IDのような識別子を有しない。
【0278】
NFTは、ファンジブルトークンと同様に、ブロックチェーンBC上において取引可能である。NFTの取引履歴は、ブロックチェーンBCにおいて記録される。ブロックチェーンBCにおいては、NFTの所有者及び所有者履歴も記録される。
【0279】
NFTは、例えば、Ethereum Request for Comments(ERC)721規格に従って発行されたトークンである。ERC721規格に準拠したNFTを、NFT-721トークンと呼ぶ。本実施形態では、一例として、NFTは、NFT-721トークンであるものとして説明する。
【0280】
NFT71は、取引(所有者変更)が可能であり、独自の価値を有し、その所有者及び取引履歴がブロックチェーンBCに記録されているため、担保として有効である。しかも、NFTは、ブロックチェーンBCにおいて管理されているため、偽物・盗品であるおそれはない。
【0281】
実施形態においては、NFTは、匂いコードの所有者を証明する証書(証書NFT)として利用される。
【0282】
そこで、図21Aおよび図20Bを参照して、まず、前提として、匂いの著作者が、情報加工者サーバ2000の運営者に対して、匂い情報の元となる匂いの元(たとえば、香水の現物)を提供しているものとする。
【0283】
そして、著作者端末1000から、匂い情報のコード化の請求が、情報加工者サーバ2000に対して送信されると(S1010)、情報加工者サーバ2000では、送信元が著作者であることを認証してから、匂い情報のコードを生成する(S1012)。
【0284】
管理サーバ3000は、情報加工者サーバ2000から、匂い情報のコード(匂いコード)を受領し(S1014)、著作者端末1000に対して匂いコードの受領通知を発行して(S1016)、著作者端末1000は、匂いコードの受領を確認すると(S1016)、管理サーバ3000に対してNFTの発行を要求し、管理サーバ3000は、ブロックチェーンBCに対してNFTの発行処理を実行する(S1020)。
【0285】
ブロックチェーンBCでは、スマートコントラクトで、NFTの発行を記録する(S1022)。
【0286】
なお、上述したような「証書NFT」は、一般的なNFTと同様に、取引(所有者変更)が可能である。所有者は、証書NFTを、例えば、NFTのオープンマーケットで、売買することが可能である。
【0287】
図20Aに記載のように、イーサリアムなどのブロックチェーンBCは、ファンジブルトークン及びNFTなどのトークン(暗号資産)を管理するアドレスAD01,AD02,AD03を有する。このアドレスAD01,AD02,AD03は、イーサリアムにおいては、イーサリアムアドレスと呼ばれる。
【0288】
トークンを管理するためのアドレスAD01,AD02,AD03は、ブロックチェーンBCにおけるユーザアカウントでもある。ブロックチェーンBCにおけるアドレスAD01,AD02,AD03(アカウント)には、ユーザが所有するファンジブルトークン又はNFTが関連付けられている。
【0289】
ブロックチェーンBCにおいては、匂いコードの原著作者HAのアドレスAD01、所有権の譲受者HBのアドレスAD02と、管理サーバの管理者のアドレスAD03とが例示されている。これらのアドレス間で、ファンジブルトークンまたはNFTの取引(移転)が行われる。
【0290】
管理者は、NFTの取引や更新を管理する者であり、アドレスAD03(管理者のアカウント)を有する。
【0291】
ユーザHA及びユーザHBは、それぞれのアドレスAD01,AD02に関連付けられたトークンを、それぞれが保有する端末上で稼働するウォレットアプリケーションを介して参照できる。ユーザHAの端末は、例えば、スマートフォン、タブレット又はパーソナルコンピュータである。また、ユーザHBの端末も、スマートフォン、タブレット又はパーソナルコンピュータであってもよいし、あるいは、匂い噴霧装置3に接続するコンテンツ再生装置が端末として機能してもよい。ユーザHA及びユーザHBは、ウォレットアプリケーションを用いて、それぞれのアドレスAD01,AD02に関連付けられたトークンの取引(例えば、内部通貨の送信、所有者の変更)などのトークンに関する操作を行うことができる。
【0292】
以下、そのような所有者の変更処理について説明する。
【0293】
再び、図21Aおよび図20Bを参照して、匂いを再生する噴霧装置3に接続するコンテンツ再生装置REから、スマートコントラクトで所有者の変更を申請すると(S1030)、それを受けた管理装置から、スマートコントラクトでの売却トランザクションが発行される(S1032)。
【0294】
ブロックチェーンBCでは、売却トランザクションを受けて、スマートコントラクトで所有者の変更が実行される(S1034)。
【0295】
また、図22は、第3実施形態に係るNFTを売却した場合のトランザクションを示す図である。
【0296】
図22は、匂いコードの所有者が、アカウント番号AAAの著作者から、アカウント番号BBBの所有者に変更になる場合を示す。
【0297】
図20A図20Bおよび図22とを参照して、売却前は、NFTには、「アカウント番号:AAA」と、「製品名:XXX」と、「所有者(および所有物)アカウント番号:AAA」と、バランス情報である「残高:0ETH」(内部通貨イーサの単位をETHで表す)とが記録されている。
【0298】
ここで、特に限定されないが、「アカウント番号」とは、アカウントに割り当てられる公開鍵であって、ウォレットアプリにより秘密鍵から生成される。アカウントアドレスは、公開鍵から所定の手続き(所定のハッシュ関数による変換)によって、生成される。
【0299】
図22では、NFTに関する操作は、例えば、譲受者HB(アカウント番号BBB:外部所有アカウント)が、管理サーバ3000に対して、売却トランザクションを、著作者HA(アカウント番号:AAA)に送信することにより、著作者HA(アカウント番号:AAA:外部所有アカウント)が所有者として記録されているNFTの記録を、譲受者HBを所有者とするように書き換える処理を示している。
【0300】
売却トランザクションは、譲受者HB(アカウント番号BBB)から、著作者HA(アカウント番号:AAA)へ向けて送信され、トランザクションの手数料としては、10ETHであり、譲渡の対価としては、100ETHが内容として記載される。
【0301】
売却トランザクションの実行により、ある匂いコード(製品名:XXX)について、所有者が、譲受者HB(アカウント番号BBB)に書き換わるとともに、著作者HA(アカウント番号:AAA)の残高が、100ETH増加している。
【0302】
売却トランザクションの実行は、特に限定されないが、イーサリウムによるスマートコントラクトであれば、ブロックチェーンBCで、分散アプリケーションプログラムとして実行される。コンセンサスアルゴリズムとして、ブロックチェーンBC内のノード400.1~400.Mのうち、いずれのノードが、新たなブロックの生成権を得るかは、POS(Proof of stake)方式で決定されてもよいし、あるいは、他のスマートコントラクト方式であって、POW(Proof of Work)方式が採用されてもよい。
【0303】
著作者HAの端末1000は、匂いコードについてのNFTの発行を請求する端末である。著作者HAの端末1000は、プロセッサ及びプロセッサに接続されたメモリを備えるコンピュータによって構成される。メモリには、コンピュータプログラムが格納される。コンピュータプログラムは、プロセッサによって実行される。
【0304】
管理サーバ3000は、著作者HAの端末100から発行請求されたNFTに関する情報(NFT情報)を、ネットワークを介して取得することができる。NFT情報は、例えば、NFTに関連付けられ、ブロックチェーンBCに格納された匂いコードである。あるいは、匂いコードは、NFT情報として、IPFSに格納されていてもよい。
【0305】
次に、匂い噴霧装置3などの「匂いの再生装置」において、匂いの再生処理を行う構成について説明する。
【0306】
図23は、第3実施形態に係る能動的に匂いを再現する場合のフロー図を示す図である。
【0307】
図21Aおよび図20B図23とを参照して、コンテンツ再生装置REに接続する噴霧装置に、匂いを再生するためのカートリッジが装着され(S1040)、コンテンツ再生装置REが、カートリッジのメモリに格納されている情報の読み取りを行う(S1042)。ここで、カートリッジのメモリは、フラッシュメモリなどの不揮発性メモリである。
【0308】
特に限定されないが、カートリッジの情報(使用開始からの時間や再生回数など)に応じて、「使用が制限」されたり、「匂いコード」の内容が、適宜、変更されてもよい。
【0309】
たとえば、放出制御部は、カートリッジのメモリに格納されている、カートリッジCAの初回使用からの使用回数に応じて、使用上限値に達すると使用を制限したり、あるいは、メモリに格納されている使用時間に応じて、上限値に達すると使用を制限することとしてもよい。また、カートリッジCAの使用開始タイミング(例えば、製造時、装着時、初回使用時等)より、所定の日数(例えば、半年)が経過している場合に、経年劣化している旨をアラートしたり、カートリッジCAの交換を促すようなメッセージを出力したり、匂い噴霧装置3の使用を制限するとよい。あるいは、放出制御部は、カートリッジCAの使用状態に応じて、放出情報を調整してもよい。例えば、放出制御部は、所定の期間経過したカートリッジを用いる場合に、当該カートリッジCAの香料を通常よりも多く噴霧したり、噴霧時間を長くしてもよい。
【0310】
たとえば、使用者によるボタンやリモコン、別のコンピュータからの指示などで、コンテンツ再生装置REへ駆動要求を出すと(S1044)、管理サーバ3000は、ブロックチェーンBCに対して、NFTの参照により、駆動要求を出した使用者に対する認証の確認を要求する(S1046)。
【0311】
特に限定されないが、たとえば、再生装置REからは、自身の秘密鍵により、匂いコードに関する情報やNFTの内容などを暗号化したデータを電子署名として作成して、管理サーバ3000に対して送信する。
【0312】
ブロックチェーンBCでは、NFTとスマートコントラクトにより、電子署名に基づいて、認証確認要求の要求元が、NFTの所有者であることを認証し(S1048―1)、ブロックチェーンBCに記録されるNFTの内容と照合して(S1048―2)、管理サーバ3000に返信する。
【0313】
管理サーバ3000は、ブロックチェーンBCから要求のあった「匂いコード」の所有者と所有者の取引履歴とが、認証されたことを確認すると(S1050―1)、認証処理を実行して(S1050―2)、再生装置REに対して、要求のあった匂いコードを送付(配信)する(S1052)。
【0314】
再生装置REは、匂いコードを受信するとコードを読み込んで(S1054―1)、デバイスを駆動し、匂いの再生処理を実行する(S1054―2)。特に限定されないが、たとえば、1回要求につき、再生時間は、所定の時間に制限されている構成とすることができる。
【0315】
再生装置REは、匂いの再生処理が完了すると、電子署名とともに、NFTの内容の更新要求を管理サーバ3000に対して送信する(S1056)。これにより、NFTに記録される累積再生回数または累積再生時間が更新の要求が出されることになる。
【0316】
管理サーバ3000は、スマートコントラクトの更新トランザクションをブロックチェーンBCに対して発行し(S1058)、ブロックチェーンBCでは、電子署名を検証して(S1060―1)、更新トランザクションデータを記録し(S1060―2)、NFTのステートデータの更新処理を実行する(S1060―3)。
【0317】
図24は、第3実施形態に係る匂い再現デバイスを使用した場合のトランザクションの第1の例を示す図である。
【0318】
トランザクションの第1の例では、匂いコードの所有者が、アカウント番号BBBの所有者であり、使用回数が更新される場合を示す。
【0319】
図24を参照して、更新前は、NFTには、「アカウント番号:AAA」と、「製品名:XXX」と、「所有者(および所有物)アカウント番号:BBB」と、バランス情報である「残高:0ETH」)と、「使用可能回数:100」とが記録されている。
【0320】
更新トランザクションは、所有者HB(アカウント番号BBB)から、著作者HA(アカウント番号:AAA)へ向けて送信され、トランザクションの手数料としては、10ETHであり、更新の手数料としては、0.01ETHが内容として記載される。
【0321】
更新トランザクションの実行により、ある匂いコード(製品名:XXX)について、NFTに記録される残高が、「残高:0.01ETH」に書き換わるとともに、使用可能回数は、99回に減少している。
【0322】
ここでも、更新トランザクションの実行は、特に限定されないが、イーサリウムによるスマートコントラクトであれば、ブロックチェーンBCで、分散アプリケーションプログラムとして実行される。コンセンサスアルゴリズムとして、ブロックチェーンBC内のノード400.1~400.Mのうち、いずれのノードが、新たなブロックの生成権を得るかは、POS(Proof of stake)方式で決定されてもよいし、あるいは、他のスマートコントラクト方式であって、POW(Proof of Work)方式が採用されてもよい。
【0323】
図25は、第3実施形態に係る匂い再現デバイスを使用した場合のトランザクションの第2の例を示す図である。
【0324】
図25においては、図24で説明した構成と比べると、スマートコントラクトによって、使用可能回数の更新が実施され、使用可能データは、NFT内には記録されず、ステートデータ内のみに記録される構成となっている。
【0325】
図26は、第3実施形態に係る匂い再現デバイスを使用した場合のトランザクションの第3の例を示す図である。
【0326】
図26においては、図25で説明した構成と比べると、スマートコントラクトによって、使用可能回数の更新が実施され、かつ、スマートコントラクトの関数として使用時間が実行されて、使用後には、使用可能回数が99回になるとともに、使用時間である1時間が記録されている。使用可能データと使用時間は、NFT内には記録されず、ステートデータ内のみに記録される構成となっている。
【0327】
使用時間が所定の時間を超過した後は、再生装置REでは、匂いの再生が実行されない構成とすることができる。
【0328】
図27は、第3実施形態に係る匂い再生装置REを使用した場合のトランザクションの第4の例を示す図である。
【0329】
図26においては、図25で説明した構成と比べると、スマートコントラクトによって、使用可能回数の更新が実施され、かつ、スマートコントラクトの関数として有効持続時間が実行されて、使用後には、使用可能回数が99回になるとともに、有効持続時間が1000時間から999時間となることが記録されている。使用可能データと有効持続時間は、NFT内には記録されず、ステートデータ内のみに記録される構成となっている。
【0330】
有効持続時間の経過後は、再生装置REでは、匂いの再生が実行されない構成とすることができる。
【0331】
図28は、第3実施形態に係るブロックチェーンおよび非代替性トークン(NFT)を利用した匂いコード(匂い情報)の取引の第3の例を示す図である。
【0332】
図28において、著作者としては、上述のとおり、例えば、香水の組成を開発した者(典型的には香水メーカー)、または当該香水の匂い情報を生成した者等が挙げられる。なお、香水の匂い情報を生成した者は、例えば、香水メーカーの生成した香水の匂いを、独自に再構成して、少なくとも部分的に異なる組成により作り変えた匂いを管理してもよい。
【0333】
また、図28における第三者としては、例えば、再生装置REの所有者(ユーザa)とは異なるユーザ(ユーザB)等が挙げられる。具体的には、第三者(ユーザB)が、香水の匂い(のNFT)を所有している場合に、当該所有している匂いを、近接しているユーザaに嗅がせるパターンが想定される。この場合、図28の第三者から管理サーバに向かう矢印に示すように、第三者から、匂い情報(匂いコード)と第三者を特定する情報と再生装置REであるデバイスAを特定する情報とを署名情報として管理サーバを介して、再生装置REであるデバイスA(放出機)へ送られる。
【0334】
なお、近接しているとは、現実空間上でのユーザ同士が近接している場合でもよく、仮想空間上でのユーザaおよびユーザBにそれぞれ対応するアバター同士が近接している場合でもよい。
【0335】
なお、第三者が、所定の匂いコードを所有していない場合には、デバイスAから管理サーバを介して、第三者の所有する匂い情報(匂いコード)が、近接する所有者(ユーザa)に送られることも想定される。
【0336】
なお、著作者と匂い情報の所有者とが同一の場合も想定される。
【0337】
具体的には、自然物(例えば、メタバース上における草原等)の匂いを所定のユーザに嗅がせる場合に、メタバース上の所有者(土地の所有者、コーディングした者等)と、当該土地における草原の匂いに関する著作者とが同一になることが考えられる。
【0338】
また、飲食店(例えば、ラーメン店)の店主が、近接する所定のユーザにラーメンの匂いを嗅がせる場合も、当該店主がラーメンの匂いの著作者かつ所有者となる。
【0339】
なお、図28における第三者は、匂い情報の代わりに、所定のユーザに近接したことを示す情報を、管理サーバに送信してもよい。
【0340】
また、上述のとおり、第三者は、匂いを放出するデバイス(放出機)を所持していなくてもよい。
【0341】
図29は、第3実施形態に係る受動的に匂いを再現する場合のフロー図を示す図である。
【0342】
図29は、図23に示した能動的に匂いを再現する場合のフロー図に対応する図である。
【0343】
図23の場合と異なるのは、処理の開始が、管理サーバ3000が第三者からの匂いコードの受信により始まる(S1045)点と、上述した通り、第三者が管理サーバ3000へ匂いコードを送信する際に、署名情報として以下の情報を送信する点である。
a)匂いコード
b)匂いコードの所有者である第三者を識別する情報
c)再生装置REの所有者(ユーザa)を識別する情報
(cについては、再生装置RE自身を識別する情報であってもよい)
【0344】
それ以外の処理の流れは図23と共通であるので、説明は繰り返さない。
【0345】
(第4実施形態)
【0346】
図30は、第4実施形態の概要を示す概念図である。
【0347】
第4実施形態に係るサーバ(管理サーバ)は、デバイスA(例えば、匂い放出機)の稼働可否を制御する。
【0348】
すなわち、匂いコードについて、再生装置REの所有者であって、かつ、匂いコードの所有者でもあるユーザから、署名情報とともに、使用要求が管理サーバに送信されると、管理サーバは、ブロックチェーンBCに記録されているNFTの情報に基づいて、使用要求について、その使用者が正当な匂いの所有者であるかを認証する。そして、認証結果により、管理サーバは、その所有者が使用条件を満たしているかを判断して、匂いの使用可否を判断する。このような判断結果に応じて、再生装置REであるデバイスAが、再生動作を制御する。
【0349】
例えば、所定の香水を10回放出できる匂い情報のNFTを所有しているユーザについて、NFTの所有者、使用履歴(行動履歴;使用済回数、使用可能回数等)、使用条件等を管理するために、匂い放出機の動作制御を行うことが想定される。
【0350】
これにより、仮想的に香水が空の状態であることを再現することができる。また、匂いの量り売りを再現することもできる。
【0351】
また、管理サーバは、使用履歴を、NFTを用いて管理することで、香水の匂いを放出した時点からの経過時間に応じて、匂いを変化させることもできる。これにより、香水をつけたときの香り(トップノート)、少し時間が経過したときの香り(ミドルノート)、香水の香りが消えるまで続く香り(ラストノート)を再現することができる。
【0352】
なお、図30に示すサーバ、デバイス等のハードウェア構成は、たとえば、図20Aおよび図20Bに示したハードウェア構成と同様のため、説明を省略する。
【0353】
第4実施形態に係るサーバ(管理サーバ)は、NFTに基づくデバイス動作制御を行う情報処理装置である。
【0354】
また、管理サーバ3000の構成は、図17に示したものと、同様である。
【0355】
すなわち、サーバのCPU3040においては、動作する際に、要求受付MD3041、NFT認証処理MD3043、匂いコード配信処理MD3045、情報処理MD3046中の動作制御モジュール等が機能する。
【0356】
要求受付MD3041は、ブロックチェーンBCで管理された所定の匂い情報に関するNFTの所有者から、匂い情報を使用するための要求を受け付ける。
【0357】
NFT認証処理MD3043は、匂い情報に関するNFTの認証を行う。
【0358】
匂いコード配信処理MD3045は、認証によって、匂い情報の使用可否を判断する。
【0359】
動作制御部は、匂いコード配信処理MD3045において、記匂い情報の使用が可能と判断された場合に、再生装置REの動作を制御する信号を生成して配信する。
【0360】
(第5実施形態)
【0361】
図31Aおよび図31Bは、第5実施形態の概要を示す図である。
【0362】
図31Aおよび図31Bにおいても、情報加工者サーバ2000は、原著作者から、匂いの素材または原材料を受け取って、匂いコードに変換する業務を実行するサーバであり、図5で説明したサーバ1と基本的には、同一の構成を有する。また、第5実施形態に係る管理サーバ3000も、匂い情報のブロックチェーン管理を行う情報処理装置である。端末1000からの匂いの情報コード化請求に応じて、情報加工者サーバ2000が匂いコードを生成して、管理サーバ3000に送信する。さらに、端末1000からNFTの発行要求に従って、管理サーバ3000が、ブロックチェーンBCに対してNFTを発行する。
【0363】
第5実施形態においては、メタバースサービス提供サーバ4000が、コンテンツ再生装置REに対応する再生装置2210(コンテンツ再生装置と匂い噴霧装置とを総称して「再生装置」と呼ぶ)の所有者(ユーザa)の端末2200に仮想空間(メタバース)の画像情報や音声情報を提供している。ここでは、NFTの売却により、メタバースサービス提供サーバ4000の管理者が、匂いコードの所有者となっているものとする。また、端末2200としては、液晶ディスプレイなどへの2次元画像の再生およびスピーカによる音の再生を想定しているものの、たとえば、ヘッドマウントディスプレイなどで、画像が再生され、音声もヘッドフォン経由で再生されてもよい。
【0364】
メタバースサービス提供サーバ4000から、メタバースの画像情報の提供に連動して、匂いコードの使用要求が、管理サーバ3000に送信される。ここで、使用要求には、匂いコードの所有者であることと、再生装置2210とを示す情報を含む電子署名が含まれるものとする。ここで、「再生装置2210を示す情報」とは、たとえば、再生装置の識別番号や、再生装置のグローバルアドレスなど、再生装置を特定して情報を送信可能な情報を意味する。
【0365】
管理サーバ3000は、ブロックチェーンBCに、NFTの認証確認を行い、使用要求の発信者が正当な所有者であることを認証すると、匂いコードを指定された再生装置2210に配信する。
【0366】
再生装置2210からは、匂いコードの再生処理の完了に応じて、使用履歴(行動履歴;使用済回数、使用可能回数等)に関する情報を更新するためのNFTトランザクション更新要求が、管理サーバ3000宛に送信される。
【0367】
管理サーバ3000は、NFT更新トランザクションを発行して、ブロックチェーンBCで管理される、匂いコードの使用履歴の情報を更新する。
【0368】
この使用履歴の情報により、第4実施形態と同様に、匂いコードの再生処理を制御することが可能となる。
【0369】
また、後述するような第5実施形態の変形例で説明するように、メタバース空間におけるユーザのアバターの位置情報や環境情報に応じて、匂い情報または味情報に対応する匂いまたは味の再生を制御する構成とすることも可能である。
【0370】
図32は、第5実施形態の変形例の構成を説明するための概念図である。
【0371】
第5実施形態の変形例に係る管理サーバ3000は、メタバース空間上における空間情報を用いて、匂いを再現する。
【0372】
なお、図32に示すサーバ、デバイス等のハードウェア構成は、図4に示したハードウェア構成と同様である。
【0373】
図33Aおよび図33Bは、第5実施形態の変形例において、メタバース環境に関するシステムの構成を示す図である。
【0374】
第5実施形態の変形例に係る管理サーバ3000は、メタバース空間情報に基づく匂い再現を行う情報処理装置である。
【0375】
また、管理サーバ3000のCPUにおいて、情報処理MD3046中には、動作する際に、メタバースサービス提供サーバ4000から、ユーザのアバターのメタバース内の位置情報を取得する位置情報取得モジュール(位置情報取得MD)、メタバースサービス提供サーバ4000で設定されるメタバースの環境情報を取得する環境情報取得モジュール(環境情報取得MD)、匂い制御モジュール(匂い制御MD)等が機能の機能ブロックを含む。
【0376】
図33Aおよび図33Bにおいても、端末1000からの匂いの情報コード化請求に応じて、情報加工者サーバ2000が匂いコードを生成して、管理サーバ3000に送信する。さらに、端末1000からNFTの発行要求に従って、管理サーバ3000が、ブロックチェーンBCに対してNFTを発行する。また、ここでも、NFTの売却により、メタバースサービス提供サーバ4000の管理者が、匂いコードの所有者となっていてもよい。あるいは、NFTの売却により、匂いコードの所有者は、ユーザbとなっており、匂いコードの再生が実行される再生装置2210の所有者であるユーザaとは、異なる者であってもよいものとする。
【0377】
管理サーバ3000の位置情報取得MDは、メタバースサービス提供サーバ4000から、所定のメタバース空間における第1ユーザ(ユーザa)および第2ユーザ(ユーザb)のアバターの空間位置情報を取得する。
【0378】
環境情報取得MDは、メタバース空間における第1ユーザおよび第2ユーザのアバター周囲の環境情報を取得する。
【0379】
匂い制御MDは、位置情報または環境情報に基づいて、メタバース空間における第1ユーザおよび第2ユーザのアバターが知覚する匂いに対応する匂い情報を生成または制御する。
【0380】
メタバースサービス提供サーバ4000は、第1ユーザ(ユーザa)および第2ユーザ(ユーザb)の端末2200および端末2100の再生装置2110および再生装置2210に対して、それぞれ、メタバースの映像情報および音声情報を提供する。ここでも、端末2200および2100としては、液晶ディスプレイなどへの2次元画像の再生とスピーカによる音再生を想定しているものの、たとえば、ヘッドマウントディスプレイなどで、画像が再生され、音声もヘッドフォン経由で再生されてもよい。また、ここでも、コンテンツ再生装置と匂い噴霧装置(匂い再生デバイス)とを総称して「再生装置」と呼ぶ。
【0381】
すなわち、管理サーバ3000は、場面や状況に応じて、メタバースのアバターに対応するユーザに対して再生される匂いを調整する。
【0382】
例えば、サーバは、仮想空間内での空間情報に依存(相関)して匂いを放出するよう制御する。
【0383】
空間情報としては、例えば、以下の例が挙げられる。
・温度、湿度、風力の設定値
・空間の広さ(例えば、建物内やトンネルなど建造物や洞窟、谷などの地形における閉鎖空間を想定)
・拡散速度、閉鎖空間の体積、換気量の設定値
【0384】
また、例えば、サーバは、仮想空間内での位置情報に依存(相関)して匂いを放出するよう制御する。
【0385】
位置情報としては、例えば、以下の例が挙げられる。
・第1ユーザ(ユーザa)および第2ユーザに対応するアバター同士の相対的な位置関係
・仮想空間内のおけるアバターの座標(位置)
【0386】
ここで、「アバター同士の相対的な位置関係」は、上述の「所定のメタバース空間における第1ユーザのアバターの位置情報」に基づいて、他のユーザのアバターとの距離から算出することができる。
【0387】
また、「仮想空間内のおけるアバターの座標(位置)」は、上述の「所定のメタバース空間における第1ユーザのアバターの位置情報」に対応するものとする。
【0388】
そして、空間情報によって、再生される匂いや味については、たとえば、以下のようなテーブルが予め準備されており、メタバースサービス提供サーバ4000からの使用要求において、このような空間情報に応じた再生条件データが、管理サーバ3000に送信される構成とすることができる。管理サーバ3000から、匂いコードと共に再生条件データが再生デバイス2210に配信され、再生デバイス2210において、再生条件データに応じた再生処理が実行される。
【0389】
【表1】
【0390】
なお、上記の表における再生条件は例示であって、事前の実験により設定を変更してもよい。基準となる温度、湿度、風速も、別の値であってもよい。また、匂いの種類によって、再生条件の係数を変更してもよい。味については、温度と湿度で別の設定値を設定することができるし、味の種類によって、再生条件の係数を変更してもよい。あるいは、温度、湿度、風速の可能な組み合わせについて、それぞれ、再生条件が設定されていてもよい。
【0391】
次に、たとえば、アバター同士の相対的な位置関係による匂いの再生処理を例に説明すると、以下のとおりである。
【0392】
メタバースサービス提供サーバ4000から提供されるメタバースの画像情報において、アバター同士の相対的な位置関係が、所定の条件を満たすことに連動して、匂いコードの使用要求が、たとえば、メタバースサービス提供サーバ4000から管理サーバ3000に送信される。ここで、使用要求には、匂いコードの所有者であることと、再生装置2210とを示す電子署名が含まれるものとする。
【0393】
管理サーバ3000は、ブロックチェーンBCに、NFTの認証確認を行い、使用要求の発信者が正当な所有者であることを認証すると、匂いコードを指定された再生装置2210に配信する。
【0394】
再生装置2210からは、匂いコードの再生処理の完了に応じて、使用履歴(行動履歴;使用済回数、使用可能回数等)に関する情報を更新するためのNFTトランザクション更新要求が、管理サーバ3000宛に送信される。
【0395】
管理サーバ3000は、NFT更新トランザクションを発行して、ブロックチェーンBCで管理される、匂いコードの使用履歴の情報を更新する。
【0396】
この使用履歴の情報により、第4実施形態と同様に、匂いコードの再生処理を制御することが可能となる。
【0397】
なお、上記の設定条件とは別に、香る範囲や香る地点を自由に指定可能(受付可能)としてもよい。
【0398】
また、匂いフィルターにより、嗅ぎたい匂いのみを嗅げるようにする機能を有していてもよい。
【0399】
また、ユーザが指定するアバターのみに対して、匂いを放出させてもよい。たとえば、上述したように、NFTの売却により、匂いコードの所有者が、ユーザbとなっており、匂いコードの再生が実行される再生装置2210の所有者であるユーザaとは、異なる者となっているとする。この場合は、ユーザbの端末2100からの使用許可を事前に、メタバースサービス提供サーバ4000に送信しておく。そして、アバター同士の相対的な位置関係が、所定の条件(たとえば、仮想空間内の距離が所定の値以下となること)を満たすことに連動して、匂いコードの使用要求が、メタバースサービス提供サーバ4000から管理サーバ3000に送信される。ここで、使用要求には、ユーザbが匂いコードの所有者であることと、再生装置2210とを示す電子署名が含まれるものとする。管理サーバ3000は、ブロックチェーンBCに、NFTの認証確認を行い、使用要求の発信者が正当な所有者であることを認証すると、匂いコードを指定された再生装置2210に配信する。再生装置2210からは、匂いコードの再生処理の完了に応じて、使用履歴(行動履歴;使用済回数、使用可能回数等)に関する情報を更新するためのNFTトランザクション更新要求が、管理サーバ3000宛に送信される。管理サーバ3000は、NFT更新トランザクションを発行して、ブロックチェーンBCで管理される、匂いコードの使用履歴の情報を更新する。このようにすることで、匂いコードの所有者が、ユーザbである場合にも、この使用履歴の情報により、第4実施形態と同様に、匂いコードの再生処理を制御することが可能となる。
【0400】
また、仮想空間内の匂い積算量および匂い放出機(ディフューザー)の放出量の積算に基づいて、放出量を調節してもよい。
【0401】
また、仮想空間内の匂いを探索する機能を有していてもよい。例えば、匂いに適宜色付け等を行うことにより可視化してもよい。また、仮想空間上のどの位置に、どの匂いが対応付けられているかを探索することもできる。
【0402】
また、ユーザ(利用者)の現実空間における人体の情報と連動させてもよい。例えば、ユーザの年齢、性別などの人体情報や、食事内容、体調等に対応させて、匂いを発生させてもよい。
【0403】
また、匂いの履歴(例えば、放出履歴)を管理してもよい。また、当該履歴や匂いそのものを可視化してもよい。
【0404】
また、ユーザ(利用者)の匂いの放出履歴と仮想通貨などの報酬とを連携させて管理してもよい。
【0405】
また、所定の仮想空間内における第三者(訪問者)の属性情報を連携させて管理してもよい。
【0406】
また、現実では有り得ない、あるいは概念としては存在するが知覚できないものを、仮想的に匂いとして表現(再現)してもよい。
【0407】
現実空間における時間(時刻)と連動してもよい。例えば、朝、昼、夜に応じて、匂いを変化させてもよい。
【0408】
また、現実空間にはあり得ない速度や減衰で、仮想空間内の匂いを伝わるように制御してもよい。これにより、例えば、現実空間における1日を、仮想空間における1年とするなど、現実空間とは異なる時間の流れを表現することができる。また、様々な超現実空間を表現することができる。
【0409】
なお、上述の「匂い放出量の調節」は、匂い放出機を介した嗅覚への作用の強弱の調節であるといえる。
【0410】
また、放出量の調節には、単なる放出量の調節のみならず、嗅覚刺激の度合いを踏まえた放出量の調節が重要となる。
【0411】
具体的には、臭気の強度は、一番弱い(匂いの存在を感じる下限濃度)状態を「1」として、それ以上匂い分子の濃度を上げても差異が無い臭気の強度を「5」と評価する、5段階の数値化方法が一般的である。
【0412】
つまり、臭気の強度が5以上の場合、嗅覚のダイナミックレンジを超えてしまうため、感度を飽和してしまう(知覚ずる周期に差異を感じなくなる)。このため、飽和する濃度(例えば、臭気の強度が「5」)での匂い放出は意味が無いため、放出量だけでなく、嗅覚のダイナミックレンジを踏まえて放出量を調節することが重要である。
【0413】
上記の機能に関する実施例を以下に示す。
【0414】
例えば、好みの香水をアバターにつけて、仮想空間内のアバター間の相対的位置関係により、匂いを他のアバターのユーザに嗅がせることができる。
【0415】
また、例えば、温度、湿度、風力の設定値に基づいて、仮想現実(VR)を楽しむことができる。具体的には、風下はより匂いを強く感じるため、一人称ゲームにおけるハンティングゲームで位置取りに匂いを活用できる。また、温度、湿度、風力の設定値は、日本太平洋岸における「夏→南風→潮の香」といったシチュエーション設定にも活用できる。
【0416】
また、仮想空間上における爆発による焦げ臭の強さ(臭気の強さや、速度)に基づいて、爆発地点からの距離感を明確に感じさせることができる。
【0417】
また、仮想空間内に設定された部屋で、アロマ、香水、フレーバーの利用する場合に、仮想空間内の閉鎖空間における匂いの拡散速度、閉鎖空間の体積、換気量を設定値として活用することができる。
【0418】
また、匂いの公開範囲を、例えば、家族、友人、第三者などに設定することができる。
【0419】
また、フォーマル、インフォーマルの匂い分け(エリアごとのドレスコード等)、リージョン制限(国家、宗教配慮)を行うことができる。
【0420】
また、利用者が密集する仮想空間内で、匂いを検出する範囲を狭めるような調整や、人間の鼻や脳に過大な負担を掛けない程度に放出量を調整することができる。
【0421】
また、匂いの範囲をボールや銃弾のように飛ばして、相手や物にぶつける機能を設けることで、例えば、仮想空間上の雪合戦、銃撃戦などに利用することができる。
【0422】
また、匂いの発生源をレーダーや、探知犬のように探索する機能を設けることで、トレジャーハントなどのゲームに利用することができる。
【0423】
また、表情や脈など利用者の人体情報との連携を行い、ストレス値を検出して、匂いとして表現する機能を設けることで、例えば、人狼ゲームなどに利用することができる。
【0424】
また、匂いの履歴を水流のような表現で可視化する機能を設けることで、ハンティングゲームでの獲物の追跡や、食べ物から漂う匂いを表現して集客などに利用することができる。
【0425】
また、指定の匂いの利用した場合に、仮想通貨などの報酬が貰える機能を設けることができる。例えば、使用回数との連携や、仮想空間を歩き回り、匂いを振りまくなどの行動履歴で報酬がもらえるような機能を設けることができる。これにより、例えば、アバターに屋台で買ったヤキソバを持たせて他のアバターとすれ違い匂いを拡散するほど、または新発売の香水をつけて歩くほど報酬が貰えるなど、広告媒体として用いることができる。
【0426】
また、香りの履歴を記した(可視化した)MAPを用意して、人間の好みの傾向分析データと結び付けてパーソナリティ予測を行うこともできる。例えば、ある香りをした建物や人の周りにはどんな香りの人が集まるかの情報を集積し分析する。そして、香りに紐づいた購入者情報などと結び付けることにより、ターゲッティング広告に利用することができる(香りの広がりを元にしたインフルエンサーとなる人物を探す際にも使用可能)。
【0427】
また、時間の匂い、季節の匂い、光の匂い、次元が変わる際の匂いなど、現実空間では有り得ない現象や匂いが無いもの、あるいは概念を匂いとして作成して放出する機能を有していてもよい。これにより、同一ゲーム内で3Dから2Dにキャラクターや空間が変換された際や、キャラクターが放つ魔法などに紐づいた特殊な匂いを放出することができる。
【0428】
また、例えば、昼の12時にピザの匂いを放出して、ピザの宅配に関するリンクを表示するなど、広告として用いることもできる。
【0429】
(第6実施形態)
【0430】
図34は、第6実施形態の概要を示す概念図である。
【0431】
第6実施形態に係る匂い提供サーバ5000は、対象物(例えば、ラーメン)を含む画像を入力すると、当該対象物を認識して、対応する匂い情報(例えば、ラーメンの匂い情報)を出力する。
【0432】
ここで、人間は目隠しをすると匂いの認知(分解能や感度)が低下するため、人間の匂いの認知は、視覚に補助されていると考えられている。そのため、匂いの伝送においては、画像と匂いをセットにして、同時提供することが多いと考えられる。
【0433】
そこで、入力画像を人工知能AI(例えば、機械学習により生成した分類器)で、対応する匂いを出力する例について説明する。
【0434】
例えば、現実空間または仮想空間内に配置された対象物の色、形状等に基づいて、当該対象をAIにより認識して、対象物の匂いを自動的に生成する。
【0435】
なお、本実施形態では、対象物の匂い情報を推定する例について説明するが、対象物の味情報を推定して再生する構成としてもよい。
【0436】
また、図34に示すサーバ、デバイス等のハードウェア構成は、図4に示したハードウェア構成と同様のため、説明を省略する。
【0437】
第6実施形態に係る匂い提供サーバ5000は、画像情報に基づく匂い再現を行う情報処理装置である。
【0438】
また、図34において、管理サーバ3000は、匂い提供サーバ5000に対して、画像情報から匂いコードを推定するための「学習済モデル」を生成するための学習データを提供する。管理サーバ3000へは、各匂いコードと対応する画像データとの所有者の端末2200.1~2200.Nから、学習データとしての使用を要求する(匂い提供サーバ5000での使用を許諾する)認証情報(電子署名)が送信される。このような認証情報の承認は、図31Aおよび図31Bに示したのと同様に、ブロックチェーンBCにより管理されるNFTに基づいて、実行される構成とすることができる。
【0439】
また、匂い提供サーバ5000のCPUにも、情報処理MDが設けられており、情報処理MDは、動作する際に、学習データ取得モジュール(学習データ取得MD)、画像認識モジュール(画像認識MD)、匂いコード学習処理モジュール(匂いコード学習処理MD)、匂い推定モジュール(匂い推定MD)等の機能ブロックを含む。
【0440】
学習データ取得MDは、管理サーバ3000から、認証された所定の対象物を含む画像情報と匂いコードとを取得する。なお、この匂いコードは、図31Aおよび図31Bで説明した構成と同様に、匂いコードによる人工知能の学習後に、再生処理を行う際の「使用可能回数」や「使用可能時間」を制限する情報が、ブロックチェーンにより管理されている構成としてもよい。
【0441】
画像認識MDは、画像情報に基づいて、画像中の匂いの対象物の種類を認識する。画像データから、画像中の対象物の種類を分類する処理は、特に限定されないが、たとえば、畳み込みニューラルネットワークを利用した人工知能モデルに対して、予め、教師あり学習を実行することにより、分類処理を実行するための学習済モデルを生成しておくことで実行できる。分類結果は、たとえば、分類結果ごとに、確率を出力する構成とすることができる。
【0442】
匂いコード学習処理MDは、画像認識MDの認識結果に応じて、認識結果を教師データとして、対応する匂いコードを学習して、推定する学習済モデルを生成する。ここでも、特に限定されないが、たとえば、ニューラルネットワークを利用した人工知能モデルに対して、予め、教師あり学習を実行することにより、分類処理を実行するための学習済モデルを生成することができる。
【0443】
匂い推定MDは、学習済モデルにより、入力される画像中の対象物の種類に対応する対象物の匂い情報を推定する。この場合、最も確率の高い分類結果に対応する匂いコードの匂いを再生する構成とすることができる。また、特に限定されないが、上述のとおり、分類結果が、分類結果ごとに、確率を出力する構成である場合、この分類結果ごとの確率の重みとして分類結果ごとの再生する匂いを合成する構成としてもよい。
【0444】
第6実施形態の実施例としては、以下のものが想定される。
【0445】
例えば、仮想空間において、スミレの花の色と形状をした物体がアバターの近傍にある場合に、AIがスミレと判断してアバターの操縦者(ユーザ)にスミレの匂いを嗅がせることが想定される。この場合は、図31Aおよび図31Bで説明したのと同様に、再生処理を行う際の「使用可能回数」や「使用可能時間」を制限する情報が、ブロックチェーンにより管理されている構成のときは、匂い提供サーバ5000が、管理サーバ3000に対して、匂いの使用要求を送信して、管理サーバ3000が、使用条件が満たされていることを確認すると、推定した「匂いコード」が、匂い提供サーバ5000から再生デバイスに配信される構成とすることも可能である。
【0446】
また、例えば、現実空間において、カレーの色と形状をした物体がカメラの近傍にあれば、AIがカレーと判断して、遠隔地のディスプレイでカレーの画像と同時にカレーの匂いを放出する。
【0447】
すなわち、あらかじめ匂い情報を用意したり、対象物に紐づけられていなくても、サーバの制御によって、入力された画像に基づいて、対象物に対応する匂いを放出するよう制御することができる。これにより、例えば、既存の匂い情報が付されていないコンテンツを鑑賞するユーザが、当該コンテンツに表示される様々な対象物の匂いを嗅ぐことができるため、より没入感を高めることができる。
【0448】
あるいは、画像情報に基づく匂い再現については、以下のような処理を実行することも可能である。
【0449】
i)メタバースのような仮想空間において、図31Aおよび図31Bまたは図33Aおよび図33Bのような制御を実行する場合、メタバースサービス提供サーバ4000が、端末2100や端末2200に配信する画像を、サーバ内で準備した段階で、画像情報に基づいて、予め再生デバイスで再生する匂い(や味)を予め人工知能により予測して、配信する匂いコードを画像の配信よりも前のタイミングで、再生デバイスに配信しておき、再生デバイス側で匂い再生の準備をしておく構成とすることも可能である。この場合は、再生デバイス側では、使用要求に対して認証がされ管理サーバ3000から通知がされた時点で、タイムラグを最小限として、匂い(や味)の再生を実施することが可能となる。
【0450】
ii)また、実空間において、図1または図7のように、匂い(や味)の中継制御を実行する場合、サーバ1が、TVに配信する画像を、サーバ内で準備した段階で、画像情報に基づいて、予め再生デバイスで再生する匂い(や味)を予め人工知能により予測して、配信する匂いコードを画像の配信よりも前のタイミングで、再生デバイスに配信しておき、再生デバイス側で匂い再生の準備をしておく構成とすることも可能である。この場合は、再生デバイス側では、中継される対応する画像データの配信がされた時点で、タイムラグを最小限として、匂い(や味)の再生を実施することが可能となる。匂い(や味)の再生に対応する画像の配信のタイミングは、サーバ1から通知されるものとする。
【0451】
図35Aおよび図35Bは、IPFSを用いたNFT管理の一例を示す図である。
【0452】
図35Aに示すように、たとえば、ウェブ上の画像をNFTで示されるように、NFTでは、スマートコントラクトにより、ブロックチェーンBCにより管理される履歴をたどることで、その画像が、本物(唯一性)を証明することは可能である。
【0453】
しかしながら、画像自体の複製は可能である。
【0454】
そこで、図35Bに示すように、IPFSを利用して画像情報自体は、IPFS内に格納しておき、P2P接続の端末間のドメイン情報により、ある端末からの接続要求が、正当な所有者からの要求であるときに、その画像を、接続要求元の端末に表示させる、というような制御が可能となる。
【0455】
同様の制御を、「匂いコード」の配信にも利用することが可能である。
【0456】
(その他)
【0457】
また例えば、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。換言すると、上述の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が情報処理システムに備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に上述の例に限定されない。また、機能ブロックの存在場所も、特に限定されず、任意でよい。例えば、サーバ(情報処理装置)の機能ブロックを他の装置等に移譲させてもよい。逆に他の装置の機能ブロックをサーバ等に移譲させてもよい。また、一つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
【0458】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えばサーバの他汎用のスマートフォンやパーソナルコンピュータであってもよい。
【0459】
このようなプログラムを含む記録媒体は、ユーザ等にプログラムを提供するために装置本体とは別に配布される図示せぬリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザ等に提供される記録媒体等で構成される。プログラムはネットワークを介して配信可能であることから、記録媒体は、ネットワークに接続された、或いは接続可能なコンピュータに搭載、或いはアクセス可能なものであってもよい。
【0460】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
【0461】
換言すると、本発明が適用される情報処理装置は、次のような構成を有する各種各様の実施形態を取ることができる。
【0462】
すなわち、(1)複数種類の嗅覚受容体または味覚受容体の応答を示す受容体応答情報を取得する取得装置と、受容体応答情報を格納させる記憶装置と、受容体応答情報に応じて、複数種類の匂いまたは味の受容に関する物質の放出に関する放出情報を決定する放出情報決定装置と、放出情報に基づいて、複数種類の匂いまたは味の受容に関する物質のうち少なくとも1つの物質を放出させるための放出制御装置と、を有する情報処理装置である。
【0463】
これにより、目標の匂いを非属人的に再現することができる。
【0464】
また、(2)受容体応答情報は、複数種類の受容体における匂い分子または味に対する特徴量であって、応答強度、応答強度の面積、応答持続性、応答速度、ピーク時間、応答の立ち上り、ピーク数のうち少なくとも1つの特徴量を示す情報であるとよい。
【0465】
これにより、目標の匂いまたは味を精度良く再現することができる。香料または調味料の拡がり方や、温度によって、人が感じる匂いまたは味が異なるため、正確に目標の匂いまたは味を再現するためには、これらの情報が多く含まれる方がよい。
【0466】
また、(3)記憶装置は、受容体応答情報を、放出情報に対応付けるための対応付けテーブルを有し、放出情報決定装置は、受容体応答情報および対応付けテーブルに基づいて、放出情報を決定するとよい。
【0467】
これにより、応答情報が決まれば、対応する放出情報に変換できるため、非属人的に目標の匂いまたは味を再現することができる。
【0468】
また、(4)記憶装置は、受容体応答情報と、受容体応答情報に対応する放出情報とを教師データとした機械学習により予め生成された学習モデルをさらに記憶し、放出情報決定装置は、学習モデルを用いて、取得装置によって取得された受容体応答情報に基づく、放出情報を決定するとよい。
【0469】
これにより、上述のような対応付けテーブルを生成することが難しい場合でも、対応付けデータ(教師データ)を用意することで、非属人的に目標の匂いまたは味を再現することができる。
【0470】
また、(5)放出情報決定装置は、匂いまたは味の受容に関する物質における放出時間、放出量、放出温度、放出回数、放出口絞り量のうち少なくとも1つの放出情報を決定するとよい。
【0471】
これにより、目標の匂いまたは味を、高精度に再現することができる。
【0472】
また、(6)放出情報決定装置は、受容体応答情報と、物質を放出する空間の状態または物質を放出する対象との位置関係に関する空間パラメータとに応じて、放出情報を決定するとよい。
【0473】
これにより、例えば、映画館のような人の鼻(顔)の位置がある程度特定できる場合(直接噴霧する場合)は、鼻との距離や温度、湿度等に基づいて、噴霧方向、噴霧量、噴霧濃度等を制御することができる。また、例えば、スポーツスタジアムのような広い空間の場合(間接的に噴霧する場合)は、空間の広さ、風量、風向、温度、湿度等に基づいて、噴霧方向、噴霧量、噴霧濃度等を制御することができる。
【0474】
また、本発明が適用されるカートリッジは、次のような構成を有する各種各様の実施形態を取ることができる。
【0475】
すなわち、(7)上述の情報処理装置が放出させる匂いまたは味の受容に関する物質を充填させるためのカートリッジであって、特定の受容体のみを選択的に応答させる組成物が充填されたカートリッジである。
【0476】
また、本発明が適用される放出装置(匂い噴霧装置3)は、次のような構成を有する各種各様の実施形態を取ることができる。
【0477】
すなわち、(8)上述のカートリッジを装着させるための装着部と、放出制御装置による放出制御に基づいて、匂いまたは味の受容に関する物質を放出させる放出口と、を有する放出装置である。
【0478】
これにより、適切な放出を行うことで、目標の匂いまたは味を再現することができる。
【0479】
また、本発明が適用される作成方法は、次のような構成を有する各種各様の実施形態を取ることができる。
【0480】
すなわち、(9)上述の放出装置によって、匂いまたは味の受容に関する物質を放出する工程を含む、匂いまたは味の作成方法である。
【0481】
また、本発明が適用されるデータ構造は、次のような構成を有する各種各様の実施形態を取ることができる。
【0482】
すなわち、(10)上述の情報処理装置に用いられる受容体応答情報のデータ構造である。
【0483】
また、本発明が適用される生成方法は、次のような構成を有する各種各様の実施形態を取ることができる。
【0484】
すなわち、(11)受容体応答情報に対して所定のエンコードを行うことにより、受容体応答情報をN次元コードに変換するエンコードステップを有するN次元コードの生成方法である。
【0485】
また、本発明が適用される生成方法は、次のような構成を有する各種各様の実施形態を取ることができる。
【0486】
すなわち、(12)受容体応答情報に対して所定のエンコードが行われて変換されたN次元コードに対して所定のデコードを行うことにより、N次元コードを受容体応答情報に変換するデコードステップを有する、デコード受容体応答情報の生成方法である。
【0487】
また、本発明が適用される制御方法は、次のような構成を有する各種各様の実施形態を取ることができる。
【0488】
すなわち、(13)複数種類の嗅覚受容体または味覚受容体の応答を示す受容体応答情報を取得する取得ステップと、受容体応答情報に応じて、複数種類の香料または調味料における匂いまたは味放出に関する放出情報を決定する放出情報決定ステップと、放出情報に基づいて、複数種類の香料または調味料のうち少なくとも1つの香料または調味料を放出させる放出制御ステップと、を有する情報処理装置の制御方法である。
【0489】
また、本発明が適用されるコンピュータプログラムは、次のような構成を有する各種各様の実施形態を取ることができる。
【0490】
すなわち、(14)複数種類の嗅覚受容体または味覚受容体の応答を示す受容体応答情報を取得する取得ステップと、受容体応答情報に応じて、複数種類の香料または調味料における匂いまたは味放出に関する放出情報を決定する放出情報決定ステップと、放出情報に基づいて、複数種類の香料または調味料のうち少なくとも1つの香料または調味料を放出させる放出制御ステップと、をコンピュータによって実行させるためのコンピュータプログラムである。
【0491】
また、本発明が適用される情報処理装置は、次のような構成を有する各種各様の実施形態を取ることができる。
すなわち、(2)匂い情報または味情報のブロックチェーン管理を行う情報処理装置であって、
ブロックチェーンで管理された所定の匂い情報または味情報に関するNFTの所有者から、匂い情報または味情報を使用するための要求を受け付ける受付装置と、
匂い情報または味情報に関するNFTの認証を行うことにより、匂い情報または味情報の唯一性の証明または取引履歴の整合性を確認する確認装置と、
を有する情報処理装置である。
【0492】
また、本発明が適用される情報処理装置は、次のような構成を有する各種各様の実施形態を取ることができる。
すなわち、(3)NFTに基づくデバイス動作制御を行う情報処理装置であって、
ブロックチェーンで管理された所定の匂い情報または味情報に関するNFTの所有者から、匂い情報または味情報を使用するための要求を受け付ける受付装置と、
匂い情報または味情報に関するNFTの認証を行う認証装置と、
認証によって、匂い情報または味情報の使用可否を判断する判断装置と、
判断装置によって、匂い情報または味情報の使用が可能と判断された場合に、所定の匂い再現装置または味再現装置の動作を制御する動作制御装置と、
を有する情報処理装置である。
【0493】
また、本発明が適用される情報処理装置は、次のような構成を有する各種各様の実施形態を取ることができる。
すなわち、(4)メタバース空間情報に基づく匂い再現または味再現を行う情報処理装置であって、
所定のメタバース空間における第1ユーザのアバターの位置情報を取得する位置情報取得装置と、
メタバース空間における第1ユーザのアバター周囲の環境情報を取得する環境情報取得装置と、
位置情報または環境情報に基づいて、メタバース空間における第1ユーザのアバターが知覚する匂いまたは味に対応する匂い情報または味情報を生成する生成装置と、
を有する情報処理装置である。
【0494】
また、本発明が適用される情報処理装置は、次のような構成を有する各種各様の実施形態を取ることができる。
すなわち、(5)画像情報に基づく匂い再現または味再現を行う情報処理装置であって、
所定の対象物を含む画像情報を取得する取得装置と、
画像情報に基づいて、対象物の種類を認識する認識装置と、
種類に対応する対象物の匂い情報または味情報を推定する推定装置と、
を有する情報処理装置である。
【0495】
なお、以下のような構成をとることも可能である。
メタバース空間でのサービスにおいてメタバース空間での情報に基づく匂い再現または味再現を行うシステムであって、
ピアツーピアの通信で、ブロックチェーンを構成する複数のノードのそれぞれに対応する複数のコンピュータと、
ブロックチェーンに対してトランザクションを発行可能であって、匂い情報または味情報の原所有者からの発行要求に応じて、ブロックチェーンに非代替性トークンを登録し、非代替性トークンの所有情報に基づく正当性の確認をするための管理装置とを備え、
非代替性トークンは、匂い情報または味情報のコードデータと関連付けられており、
ブロックチェーンは、コードデータが原所有者から第1の利用者に移転することに応じて、非代替性トークンの所有情報の変更を記録し、非代替性トークンに基づいて、匂い情報または味情報の使用の正当性の確認結果を返信し、
コードデータを利用し、第1の利用者とは異なり、メタバース空間でのサービスを利用する第2の利用者に対して、匂い情報または味情報に対応する匂いまたは味の再生処理を実行するための第1の再生デバイスをさらに備え、
第1の利用者の装置からの使用要求として、ブロックチェーンへ第1利用者と第2の再生デバイスを特定する情報を認証情報として含む使用要求が送信され、ブロックチェーン内の非代替性トークンの所有情報に基づく確認結果に応じて、第1の再生デバイスが、再生処理を実行する、システム。
【0496】
このようなシステムにおいて、第1の再生デバイスは、メタバース空間における第2の利用者に対応するアバターに関する空間情報に応じて、再生処理を制御し、空間情報は、メタバース空間のアバターの環境として、設定される仮想的な温度、湿度または風速の設定を含む。
【0497】
あるいは、このようなシステムにおいて、第1の利用者の装置は、第2の利用者に対して、仮想空間の画像および音声を配信するためのサーバー装置であり、サーバー装置から配信される画像に応じて、使用要求を管理装置に発信して、第1の再生デバイスに連動した再生処理を実行させる。
【0498】
あるいは、このようなシステムにおいて、第1の利用者の装置および第2の利用者の装置に対して、メタバース空間の画像および音声を配信するためのサーバー装置をさらに備え、メタバース空間における第1の利用者のアバターが、メタバース空間の第2の利用者のアバターに、所定の距離以内に近づくことに応じて、サーバー装置が、使用要求を管理装置に発信して、第1の再生デバイスに連動した再生処理を実行させる。
【0499】
あるいは、このようなシステムにおいて、メタバース空間でのサービスを利用する第1の利用者に対して、コードデータを利用し、匂い情報または味情報に対応する匂いまたは味の再生処理を実行するための第2の再生デバイスをさらに備え、メタバース空間における第2の利用者のアバターが、メタバース空間の第1の利用者のアバターに、所定の距離以内に近づくことに応じて、サーバー装置が、使用要求を管理装置に発信して、第2の再生デバイスに連動した再生処理を実行させる。
【0500】
あるいは、このようなシステムにおいて、第1の再生デバイスは、メタバース空間における第2の利用者に対応する使用条件に応じて、再生処理を制御し、使用条件の情報は、記匂いまたは味の再生処理の上限値が含まれ、管理装置は、第1の利用者の装置からの使用要求について、正当性の確認される回数または再生時間の少なくとも一方が、上限値を超えた場合、正当性が確認されたときでも、再生を許可する確認結果を再生デバイスに送信しない。
【0501】
あるいは、このようなシステムにおいて、管理装置は、コードデータが原所有者から利用者に移転することに応じて、非代替性トークンの所有情報の変更のトランザクションを発信する。
【0502】
あるいは、このようなシステムにおいて、管理装置は、使用要求に応じて、ブロックチェーン内に保持される非代替性トークンの所有情報により、利用者が非代替性トークンの所有者であることを確認する。
【0503】
あるいは、このようなシステムにおいて、管理装置は、正当性が確認されることに応じて、第1の再生デバイスが、複数種類の匂いまたは味の受容に関する物質を使用して、再生処理を実行するためのコードデータを、第1の再生デバイスに送信する。
【0504】
あるいは、以下のような構成をとることも可能である。
【0505】
メタバース空間でのサービスにおいてメタバース空間での情報に基づく匂い再現または味再現の管理を行う管理装置であって、ネットワークを介して通信を実行するためのインタフェースと、インタフェースを介して、ブロックチェーンに対してトランザクションを発行し、匂いの再現または味の再現を実行する再生デバイスの動作を制御するための演算装置とを備え、演算装置は、匂い情報または味情報の原所有者からの発行要求に応じて、ブロックチェーンに非代替性トークンを登録し、非代替性トークンは、匂い情報または味情報のコードデータと関連付けられており、コードデータが原所有者から第1の利用者に移転することに応じて、非代替性トークンの所有情報の変更をブロックチェーンに記録し、第1の利用者の装置からの使用要求として、ブロックチェーンへ第1利用者と再生デバイスを特定する情報を認証情報として含む使用要求が送信され、ブロックチェーン内の非代替性トークンの所有情報に基づく確認結果に応じて、再生デバイスに、コードデータを配信し、コードデータは、再生デバイスが、第1の利用者とは異なり、メタバース空間でのサービスを利用する第2の利用者に対して、匂い情報または味情報に対応する匂いまたは味の再生処理を実行するためのものである。
【符号の説明】
【0506】
1:サーバ 2:受容体情報決定装置 3:匂い噴霧装置
11:CPU 18:記憶部 19:通信部
31:応答情報取得部 32:撮像画像取得部 33:機種情報取得部
34:噴霧情報決定部 35:噴霧制御部 36:表示制御部
41:応答情報DB 42:機種情報DB 43:対応付けDB
CO:匂い捕集装置 CA:カートリッジ NO:ノズル
RE:コンテンツ再生装置 TV:表示装置
図1
図2A
図2B
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16A
図16B
図17
図18
図19
図20A
図20B
図21A
図21B
図22
図23
図24
図25
図26
図27
図28
図29
図30
図31A
図31B
図32
図33A
図33B
図34
図35A
図35B