(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024178968
(43)【公開日】2024-12-26
(54)【発明の名称】情報処理システムおよびプログラム
(51)【国際特許分類】
G06Q 30/06 20230101AFI20241219BHJP
【FI】
G06Q30/06
【審査請求】未請求
【請求項の数】20
【出願形態】OL
(21)【出願番号】P 2023097401
(22)【出願日】2023-06-14
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】西田 翔
(72)【発明者】
【氏名】遠藤 健太
【テーマコード(参考)】
5L030
5L049
【Fターム(参考)】
5L030BB23
5L049BB23
(57)【要約】
【課題】個人情報の保護をより図りつつ、訓練用データの横断的な活用を可能にする情報処理システムおよびプログラムを提案する。
【解決手段】情報処理システムは、機械学習に供される訓練用データを取引する情報処理システムであって、上記訓練用データが格納されるデータ保有部と、上記データ保有部に格納された上記訓練用データの保存先および属性情報を示すメタデータによる上記訓練用データの取引情報を分散型ネットワークにおいて保有する取引管理部と、を備える。また、上記取引管理部は、上記訓練用データの利用を所望する利用者の要求を受け付けた場合に、当該要求に応じた上記メタデータに対し上記分散型ネットワークにおける非代替性を付与し、上記非代替性を付与した上記メタデータに対応する上記訓練用データの利用権を上記利用者に対して提供する。
【選択図】
図3
【特許請求の範囲】
【請求項1】
機械学習に供される訓練用データを取引する情報処理システムであって、
前記訓練用データが格納されるデータ保有部と、
前記データ保有部に格納された前記訓練用データの保存先および属性情報を示すメタデータによる前記訓練用データの取引情報を分散型ネットワークにおいて保有する取引管理部と、を備え、
前記取引管理部は、
前記訓練用データの利用を所望する利用者の要求を受け付けた場合に、当該要求に応じた前記メタデータに対し前記分散型ネットワークにおける非代替性を付与し、
前記非代替性を付与した前記メタデータに対応する前記訓練用データの利用権を前記利用者に対して提供する、
情報処理システム。
【請求項2】
前記取引管理部は、
前記メタデータにおける前記保存先に対し前記非代替性を付与し、前記保存先が示す前記訓練用データの前記利用権を提供する、
請求項1に記載の情報処理システム。
【請求項3】
前記取引管理部は、
前記保存先が示す前記訓練用データを間接的に利用可能な前記利用権を提供する、
請求項2に記載の情報処理システム。
【請求項4】
前記取引管理部は、
前記保存先が示す前記訓練用データを直接的に利用可能な前記利用権を提供する、
請求項2に記載の情報処理システム。
【請求項5】
前記データ保有部は、
前記利用権を用いた機械学習の実行の要求を前記利用者から受け付けた場合に、前記利用権に対応する前記訓練用データを用いた機械学習を実行する、
請求項3に記載の情報処理システム。
【請求項6】
前記データ保有部は、
機械学習の実行結果である訓練済みの機械学習モデルを前記利用者へ提供する、
請求項5に記載の情報処理システム。
【請求項7】
前記データ保有部は、
新たに前記訓練済みの機械学習モデルが取引可能となるように前記訓練済みの機械学習モデルを前記取引管理部へ提供する、
請求項6に記載の情報処理システム。
【請求項8】
前記訓練済みの機械学習モデルの精度を検証する検証部、
をさらに備える請求項7に記載の情報処理システム。
【請求項9】
前記データ保有部は、
前記検証部によって前記訓練済みの機械学習モデルが一定以上の精度を有すると判断された場合に、前記訓練済みの機械学習モデルを前記取引管理部へ提供する、
請求項8に記載の情報処理システム。
【請求項10】
前記取引管理部は、
前記利用者から任意のデータ希望条件を受け付け、
前記メタデータにおける前記属性情報に基づいて前記データ希望条件に応じた前記訓練用データの組み合わせの候補案を生成する、
請求項1に記載の情報処理システム。
【請求項11】
前記データ希望条件は、
前記訓練用データを撮像するセンサの種別、前記センサが設けられた地域、前記訓練用データの撮像時の気候、前記訓練用データに写り込むオブジェクトの種別、および、前記オブジェクトの属性のうちの少なくともいずれかをパラメータとして含む、
請求項10に記載の情報処理システム。
【請求項12】
前記取引管理部は、前記組み合わせの異なる複数の候補案を生成する、
請求項10に記載の情報処理システム。
【請求項13】
前記取引管理部は、
優先させる要素に応じて前記組み合わせを異ならせた前記複数の候補案を生成する、
請求項12に記載の情報処理システム。
【請求項14】
前記優先させる要素は少なくとも、機械学習に要するコストまたは機械学習によって訓練される機械学習モデルの精度である、
請求項13に記載の情報処理システム。
【請求項15】
前記データ保有部は、複数設けられ、
前記取引管理部は、
異なる前記データ保有部がそれぞれ保有する前記訓練用データの前記組み合わせによる前記候補案を生成する、
請求項10に記載の情報処理システム。
【請求項16】
前記取引管理部は、
異なる前記データ保有部の前記組み合わせによる前記候補案に基づいて、前記データ保有部を切り替えつつ段階的に機械学習モデルの精度が強化されるように、前記利用者に前記データ保有部へ機械学習の実行を要求させる、
請求項15に記載の情報処理システム。
【請求項17】
前記取引管理部は、
訓練済みの機械学習モデルに対する改善要求を受け付けた場合に、当該改善要求に含まれる前記保存先が示す前記訓練用データを用いた再訓練を複数の前記データ保有部に依頼し、前記再訓練を複数の前記データ保有部の間で競わせる、
請求項15に記載の情報処理システム。
【請求項18】
前記データ保有部に格納された前記訓練用データのうち、所定の認証条件を満たすか否かを判断する認証部、
をさらに備える請求項1に記載の情報処理システム。
【請求項19】
前記取引管理部は
前記認証部によって前記認証条件を満たすと判断された前記訓練用データを取引対象とする、
請求項18に記載の情報処理システム。
【請求項20】
機械学習に供される訓練用データを取引するコンピュータに、
前記訓練用データを保有し、
前記訓練用データの保存先および属性情報を示すメタデータによる前記訓練用データの取引情報を分散型ネットワークにおいて保有し、
前記訓練用データの利用を所望する利用者の要求を受け付けた場合に、当該要求に応じた前記メタデータに対し前記分散型ネットワークにおける非代替性を付与し、
前記非代替性を付与した前記メタデータに対応する前記訓練用データの利用権を前記利用者に対して提供する、
処理を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理システムおよびプログラムに関する。
【背景技術】
【0002】
従来、画像データを訓練用データとするディープラーニング等による機械学習により、画像認識用のAI(Artificial Intelligence)モデルを生成する技術が知られている。
【0003】
一方で近年、企業等は、取得する個人情報の保護に留意することが強く求められている。これは、訓練用データに含まれる個人情報についても例外ではなく、機械学習に際してもその保護に強く留意する必要がある。
【0004】
この必要性に応じるため、例えば、被撮像者の利用同意が得られた画像データのみを訓練用データとし、利用同意が得られなかった画像データについては匿名化されるように加工するかまたは削除する技術が提案されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】国際公開第2018/142764号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、従来技術には、個人情報の保護をより図りつつも、個人情報を含む訓練用データの横断的な活用を可能にするうえで、さらなる改善の余地がある。
【0007】
例えば、上述した従来技術は、被撮像者の利用同意が得られた画像データのみを訓練用データとするものに過ぎない。デジタルデータは、データベースや通信ネットワークから簡単に流出してしまうことがある。このため、上述した従来技術を用いた場合、データベース上や通信ネットワーク上の訓練用データから個人情報を完全に保護することはできない。
【0008】
一方で、個人情報が示す特徴や傾向は、AIモデルの予測精度を大いに向上させる可能性が高いことから、個人情報を含む訓練用データは非常に利用価値が高い。ただし、希望する条件の訓練用データの収集は、作業的にも時間的にも多大なコストがかかるという実情がある。このため、個人情報を含む訓練用データは、例えばAI開発ベンダといったデータ利用者の間などで横断的に活用できることが望ましい。
【0009】
そこで、本開示では、個人情報の保護をより図りつつ、訓練用データの横断的な活用を可能にする情報処理システムおよびプログラムを提案する。
【課題を解決するための手段】
【0010】
上記の課題を解決するために、本開示に係る一形態の情報処理システムは、機械学習に供される訓練用データを取引する情報処理システムであって、前記訓練用データが格納されるデータ保有部と、前記データ保有部に格納された前記訓練用データの保存先および属性情報を示すメタデータによる前記訓練用データの取引情報を分散型ネットワークにおいて保有する取引管理部と、を備える。また、前記取引管理部は、前記訓練用データの利用を所望する利用者の要求を受け付けた場合に、当該要求に応じた前記メタデータに対し前記分散型ネットワークにおける非代替性を付与し、前記非代替性を付与した前記メタデータに対応する前記訓練用データの利用権を前記利用者に対して提供する。
【図面の簡単な説明】
【0011】
【
図1】本開示の実施形態に係るエッジセンサの説明図である。
【
図2】本開示の実施形態に係る取引システムの概念図である。
【
図3】本開示の実施形態に係る取引方法の概要説明図である。
【
図4】本開示の実施形態に係る取引システムの構成例およびデータシーケンスを示す図(その1)である。
【
図5】本開示の実施形態に係る取引システムの構成例およびデータシーケンスを示す図(その2)である。
【
図6】データ希望条件の指定パラメータの一例を示す図である。
【
図8】本開示の実施形態に係る取引管理装置の構成例を示すブロック図である。
【
図9】認証処理における判断内容の一例を示す図である。
【
図10】本開示の実施形態に係るデータ保有装置の構成例を示すブロック図である。
【
図11】取引管理要求~取引管理開始までの処理シーケンスを示す図である。
【
図12】データ希望条件の提示~訓練済みAIモデルが提供されるまでの処理シーケンスを示す図である。
【
図13】アレンジ情報を提示するGUI画面の一例を示す図である。
【
図14】複数のデータ提供者にわたって順に機械学習を実行させる場合の処理シーケンスを示す図である。
【
図15】データ保有装置の確認をとる場合の処理シーケンスを示す図である。
【
図16】エンドユーザからの改善要求に基づく再訓練を行う場合の処理シーケンスを示す図である。
【
図17】データの直接的な利用権を取引する場合の処理シーケンスを示す図である。
【
図18】取引管理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
【発明を実施するための形態】
【0012】
以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
【0013】
また、以下では、本開示の実施形態(以下、適宜「本実施形態」と言う)に係る情報処理システムが、
図2以降に示す取引システム1であるものとする。また、本実施形態に係る取引管理部が、
図2以降に示す取引管理装置10であるものとする。また、本実施形態に係るデータ保有部が、
図3以降に示すデータ保有装置30であるものとする。また、本実施形態に係る情報処理方法が、取引システム1の実行する取引方法であるものとする。
【0014】
また、以下では、「AIモデル」は「機械学習モデル」と読み替えてもよい。
【0015】
また、以下に示す項目順序に従って本開示を説明する。
1.概要
1-1.本開示の実施形態に係るエッジセンサについて
1-2.本開示の実施形態に係る取引システムの概念について
1-3.本開示の実施形態に係る取引方法の概要
2.取引システムの構成例
3.取引管理装置の構成例
4.データ保有装置の構成例
5.取引システムが実行する処理シーケンス
5-1.取引管理要求~取引管理開始までの処理シーケンス
5-2.データ希望条件の提示~訓練済みAIモデルが提供されるまでの処理シーケンス
5-3.複数のデータ提供者にわたって順に機械学習を実行させる場合の処理シーケンス
5-4.データ保有装置の確認をとる場合の処理シーケンス
5-5.エンドユーザからの改善要求に基づく再訓練を行う場合の処理シーケンス
5-6.データの直接的な利用権を取引する場合の処理シーケンス
6.変形例
7.ハードウェア構成
8.むすび
【0016】
<<1.概要>>
<1-1.本開示の実施形態に係るエッジセンサについて>
本実施形態の概要から説明する。まず
図1は、本開示の実施形態に係るエッジセンサ3の説明図である。本実施形態では、取引システム1において取引対象となる物は基本的に、機械学習の訓練用データとなる画像データの実体ではなく、訓練用データの利用権であるものとする。
【0017】
また、この利用権は基本的に、訓練用データを直接的に利用するのではなく、間接的に利用する利用権であるものとする。そして、訓練用データとなる画像データを撮像するのが、例えば
図1に示すエッジセンサ3であるものとする。
【0018】
図1に示すように、エッジセンサ3は、撮像素子部3aとプロセッサ部3bとが1チップで構成されており、プロセッサ部3bの内部メモリにはAIモデルが実装されている(図中の「AI」参照)。
【0019】
エッジセンサ3は、例えば、エンドユーザの店舗等の各種施設や、車両、街頭等々の種々の環境に設けられる。そして、エッジセンサ3は、設けられた各環境における撮像対象範囲での画像データを撮像するとともに、その画像データに対するAIモデルによる画像認識を行い、AI認識結果を出力する。このように、画像データとそれに付随する認識結果を含むメタデータとを出力してもよいし、画像データもしくは認識結果を含むメタデータのみを出力してもよい。
【0020】
このエッジセンサ3を用いることにより、エッジコンピューティングによるAI認識が可能となり、いわゆる中央集権型のデータ処理において生じていた遅延や高負荷の問題を軽減することが可能である。すなわち、エッジセンサ3は、いわゆるIoT(Internet of Things)やWeb3.0がもたらすデータ処理の非中央集権型へのパラダイムシフトに対しても親和性高く適用可能である。
【0021】
ところで、上述したようにエッジセンサ3は種々の環境に設けられるが、このために各エッジセンサ3に実装されるAIモデルは、各エッジセンサ3の環境に応じた精度が求められる。また、AIモデルは、例えば時間的経過やエンドユーザの求めるトレンドの変化によって「ドリフト」が生じるという問題がある。ドリフトは、何らかの「予期せぬ変化」によって、AIモデルの予測性能が劣化していくことを指す。なお、ドリフトには、入力データと正解ラベルの関係性(データの解釈の仕方)がモデル学習時と比べて変化する場合の「コンセプトドリフト」や、入力データそのものの性質(統計的分布等)が変化する場合の「データドリフト」等がある。
【0022】
このため、AIモデルは、エッジセンサ3の特性や環境に応じた高品質な訓練用データのデータセットに基づいて訓練または再訓練され、適宜ファインチューニングされることが望ましい。また、訓練用データに含まれる個人情報が示す特徴や傾向は、AIモデルの予測精度を大いに向上させる可能性が高く、非常に利用価値が高い。このため、AI開発ベンダ等のデータ利用者は、この個人情報を含む訓練用データをいつでも容易に入手できることが大変望ましい。
【0023】
ただし、個人情報の有無を問わず、データ利用者が希望する条件の訓練用データを収集することは、作業的にも時間的にも多大なコストがかかるという実情がある。本実施形態に係る取引方法は、こうした実情を前提としたうえで、データ利用者の間で訓練用データを横断的に活用可能となるように取引するものである。
【0024】
また、本実施形態に係る取引方法は、個人情報の保護にも配慮し、被撮像者の利用同意を得た当事者であり、訓練用データとなる画像データを保有するデータ保有者のみがオンプレミスでデータの実体を管理する。なお一方で、データ保有者は、データ利用者に対し自身が保有するデータを提供するデータ提供者ともなり得る。データ保有者は、データ提供者として、自身が保有するデータの実体ではなく前述の利用権を提供する。本実施形態に係る取引システム1は、このデータの利用権を取引対象として管理しつつ、取引を行わせるシステムである。
【0025】
<1-2.本開示の実施形態に係る取引システムの概念について>
図2は、本開示の実施形態に係る取引システム1の概念図である。取引システム1は、取引管理事業者が管理・運用する取引管理装置10を含む。取引管理装置10は、エッジセンサ3を利用したシステムインテグレーションサービスに関係する当事者に対して共通的なプラットフォーム(以下、適宜「共通PF」と略称する)を提供する。
【0026】
ここに言う当事者は、
図2に示すように、システムインテグレータやエンドユーザ等である「データ提供者」や、AI開発ベンダである「データ利用者」や、アプリケーション開発者や、エッジセンサ3のデバイス開発者であるデバイスメーカーである。
【0027】
取引管理装置10は、データ提供者であるシステムインテグレータやデータ利用者であるAI開発ベンダに対しては、例えばAI開発環境を共通PFとして提供する。また、取引管理装置10は、アプリケーション開発者に対しては例えばアプリ(アプリケーション)開発環境を共通PFとして提供する。また、取引管理装置10は、デバイスメーカーに対しては例えばデバイス開発環境を共通PFとして提供する。また、取引管理装置10は、各当事者に対して例えばマネタイズ環境を共通PFとして提供する。
【0028】
そして、特に取引管理装置10は、取引システム1における訓練用データの取引関連サービスを提供する。取引関連サービスとしては、クラウドサービス、マーケットサービス、取引管理サービス等がある。
【0029】
クラウドサービスは、例えば訓練用データの購入に際してのデータ利用者に対するGUI(Graphical User Interface)画面等を提供するGUIサービス等である。マーケットサービスは、データ提供者から取引対象として提供される訓練用データの利用権が売買される電子市場としてのマーケットを提供するサービスである。取引管理サービスは、訓練用データの取引履歴や利用履歴等を管理するサービスである。
【0030】
このように
図2に概念図として示す取引システム1は、個人情報の保護をより図りつつも、個人情報を含む訓練用データの横断的な活用を可能にするために、
図3に示すような本実施形態に係る取引方法を実行する。
【0031】
<1-3.本開示の実施形態に係る取引方法の概要>
図3は、本開示の実施形態に係る取引方法の概要説明図である。
図3にブロックチェーン層として示すように、本実施形態に係る取引システム1は、分散型ネットワークにおける分散型台帳として機能する公知のブロックチェーンを用いた取引管理を行う。
【0032】
本実施形態では、例えばブロックチェーンは取引対象となる訓練用データごとに生成され、訓練用データを一意に示す識別子が入力されたブロックを起源ブロックとして各ブロックが時系列に沿って連結される。各ブロックには、取引対象に対する取引に関する履歴等が記録される。取引に関する履歴は、該当する訓練用データの取引履歴および利用履歴を含む。
【0033】
各ブロックへの入力データは、所定のハッシュアルゴリズムによるハッシュ値に暗号化される。また、各ブロックには、前のブロックのアドレスのハッシュ値が格納される。したがって、分散型ネットワークへの参加者以外が、各ブロックの入力データを改ざんしたり、遡及してブロックの連結を変更したりすることはほぼできない。このブロックチェーンを用いることは、前述の個人情報を保護することの一環となる。
【0034】
また、取引システム1は、取引管理装置10と、データ保有装置30とを含む。データ保有装置30は、前述のデータ提供者が管理・運用する装置である。データ保有装置30は、エッジセンサ3によって撮像された画像データ群および認識されたAI認識結果群を保有する。AI認識結果群は、エッジセンサ3によって撮像された画像データに対してエッジセンサ3以外の場所でAI認識処理を行った結果を用いてもよい。データ保有装置30が保有するデータは取引システム1における取引対象として取引管理装置10へ登録可能である。
【0035】
ただし、データ保有装置30は、データの実体ではなく、データ保存先であるデータアドレスおよびデータの属性情報を含むメタデータを取引管理装置10に対し登録する(ステップS1)。すなわち、取引管理装置10は、取引対象となる訓練用データをデータの実体ではなく
図3に示すようにメタデータによって管理する。
【0036】
そして、例えばAI開発ベンダであるデータ利用者は、取引管理装置10に対し、取引管理装置10が提供するGUIサービス等を通じ、機械学習による訓練に利用したいデータを要求する(ステップS2)。すると、取引管理装置10は、自身が管理するメタデータ群を対象として、ステップS2の要求に応じたオーケストレーションを実行する(ステップS3)。
【0037】
ここに言うオーケストレーションは、取引管理装置10が自身の管理するメタデータ群に基づいて、ステップS2の要求に応じた訓練用データの組み合わせである訓練用データセットの候補案を生成する(「生成する」は「編成する」、または「アレンジする」と読み替えても可)ことを指す。なお、以下では、このオーケストレーションの実行結果に相当する情報を適宜「アレンジ情報」と言う。
【0038】
そして、取引管理装置10は、ステップS3の実行結果であるアレンジ情報を含む取引履歴をブロックチェーンへ記録する(ステップS4)。この結果、ブロックチェーン層からは非代替性トークンであるNFT(Non-Fungible Token)が発行される(ステップS5)。なお、このステップS4~ステップS5の動作を、以下では適宜「NFT化」と言う。NFT化することは、言い換えれば、データ利用者の要求に応じたメタデータに対し分散型ネットワークにおける非代替性を付与することを指す。NFTは、メタデータ中のデータアドレスが示す先に保存されているデータの間接的な利用権を証明する。そして、データ利用者は、NFT化されたデータアドレスを購入する(ステップS6)。
【0039】
つづいて、データ利用者がデータ保有装置30に対し、購入したNFTを用いて機械学習による訓練を要求すると(ステップS7)、データ保有装置30がNFTの示すデータを訓練用データとして用いてオンプレミスで機械学習を実行する(ステップS8)。つまりこのとき、機械学習に用いられる訓練用データの実体は、データ保有装置30からデータ利用者側へは移転しない。
【0040】
すなわち、データ利用者は、購入した訓練用データを機械学習のためにあくまで間接的に利用する。これにより、例えば該当の訓練用データの実体のコピーが直接的な利用のためにデータ利用者側へ渡り、訓練用データに含まれる個人情報がデータ利用者側から拡散してしまうリスクを抑制することができる。なお、データ保有装置30は例えば、取引管理装置10から前述の共通PFとして提供されるAI開発環境に含まれる機械学習エンジンを用いてステップS8の機械学習を実行する。
【0041】
そして、データ保有装置30は、ステップS8の実行後、データ利用者に対して訓練用データによって訓練済みのAIモデルである訓練済みAIモデルを提供する(ステップS9)。また、データ保有装置30は、ステップS7~ステップS9における利用履歴をブロックチェーンへ記録する(ステップS10)。この利用履歴は例えば、訓練済みAIモデルが提供されて利用が終わったことで、データ利用者の利用権が消失したことを示す履歴を含む。
【0042】
なお、
図3では図示を略しているが、データ保有装置30は、訓練済みAIモデルの精度を検証するようにしてもよい。また、検証後、データ保有装置30は、一定以上の精度を有する訓練済みAIモデルのみをデータ利用者へ提供するようにしてもよい。また、データ保有装置30は、一定以上の精度を有する訓練済みAIモデルを、取引管理装置10に取引対象としてマーケットへ公開してもらうようにしてもよい。
【0043】
また、データ保有装置30は、訓練済みAIモデルの精度だけでなく、他にも例えば訓練済みAIモデルがAI倫理を満たすか否かを検証するようにしてもよい。また、精度やAI倫理の検証に関しての基準を設定する主体は、データ保有装置30を管理・運用するデータ提供者であってもよいし、取引管理装置10を管理・運用する取引管理事業者であってもよい。また、マーケットで定められているプライバシーポリシーやセキュリティポリシー等の各種のポリシーやガイドライン等が基準となってもよい。
【0044】
以下、
図3を用いて概要を説明した、本実施形態に係る取引方法を適用した取引システム1の構成例について、より具体的に説明する。
【0045】
<<2.取引システムの構成例>>
図4は、本開示の実施形態に係る取引システム1の構成例およびデータシーケンスを示す図(その1)である。また、
図5は、本開示の実施形態に係る取引システム1の構成例およびデータシーケンスを示す図(その2)である。
【0046】
図4に示すように、取引システム1は、取引管理装置10と、データ保有装置30と、データ利用者装置50と、被撮像者装置70とを含む。
【0047】
取引管理装置10は、既に述べたように取引管理事業者が管理・運用する装置である。データ保有装置30は、既に述べたようにデータ提供者が管理・運用する装置である。データ利用者装置50は、データ利用者が利用する装置である。被撮像者装置70は、エッジセンサ3による画像データにおいて撮像される被撮像者が利用する装置である。
【0048】
取引管理装置10と、データ保有装置30と、データ利用者装置50とは、P2P(Peer to Peer)ネットワークによる分散型ネットワークNを介して接続される。
【0049】
取引管理装置10は、共通PF情報DB(データベース)12aと、メタデータDB12bと、認証情報DB12cと、取引情報管理DB12dとを有する。取引管理装置10は、共通PF情報DBに格納される共通PF情報に基づく共通PFを取引システム1における各装置へ提供する。
【0050】
メタデータDB12bは、データ保有装置30から提供される、データ保有装置30が保有するデータのメタデータを格納する。なお、取引管理装置10は、データ保有装置30が保有するデータのうち、所定の認証条件をクリアした信頼性の高い高信頼データを取引対象として取り扱う。認証情報DB12cは、この認証条件に関する各種のパラメータを含む認証情報を格納する。
【0051】
取引情報管理DB12dは、メタデータDB12bに含まれるメタデータのうち、高信頼データとして認証され、取引対象として取り扱われるメタデータそれぞれの取引に関する情報である取引情報が格納される。この取引情報は、ブロックチェーンデータとして分散型ネットワークNにおける分散型台帳にもあわせて記録される。また、取引管理装置10は、前述のマーケットを提供する。マーケットは、訓練用データの利用権だけでなく、例えば利用権を用いて訓練された訓練済みAIモデルも取引対象とすることができる。
【0052】
データ保有装置30は、1以上のエッジセンサ3が接続される。エッジセンサ3は例えば、無線LAN(Local Area Network)や有線LANの他、CAN(Controller Area Network)、LIN(Local Interconnect Network)、FlexRay(登録商標)等の任意の規格に準拠した通信ネットワークを介してデータ保有装置30と接続される。
【0053】
また、データ保有装置30は、エッジデータDB32bと、高信頼データDB32cとを有する。エッジデータDB32bは、各エッジセンサ3からのエッジデータを格納する。エッジデータは、エッジセンサ3による撮像データである画像データおよびAI認識結果を含む。なお、上述したように本実施形態では、エッジセンサ3はAI認識結果を出力することとしているが、必ずしもAI認識結果まで出力しなくともよい。
【0054】
高信頼データDB32cは、前述の認証条件をクリアしてエッジデータDB32bから抽出された前述の高信頼データを格納する。高信頼データは、エッジデータの実体を含む。高信頼データDB32cは、データ保有装置30が有する高信頼データ管理部33dによって管理される。
【0055】
データ利用者装置50は、データ利用者が利用する端末装置であり、PC(Personal Computer)等によって実現される。データ利用者装置50は、マーケットから購入した利用権を用いて間接的に高信頼データDB32cに格納された高信頼データを利用し、その高信頼データによる訓練結果である訓練済みAIモデルを高信頼データ管理部33dから取得する。データ利用者装置50は、訓練済みAIモデルDB50aを有する。訓練済みAIモデルDB50aは、訓練済みAIモデルを格納する。
【0056】
被撮像者装置70は、被撮像者が利用する端末装置であり、スマートフォンやタブレット端末、PC、ウェアラブルデバイス等によって実現される。被撮像者装置70は、
図4に示すように、データ保有装置30およびデータ利用者装置50に対し利用同意を与える。
【0057】
被撮像者装置70は、例えばデータ提供者がコンビニエンスストアの運営事業者であれば、この事業者が提供するアプリを介してエッジセンサ3の撮像対象となること、および、撮像データが機械学習に利用されること等を含むプライバシーポリシーの提示を受ける。
【0058】
そして、被撮像者が、被撮像者装置70に提示されたプライバシーポリシーに対してアプリを介して同意すれば、被撮像者装置70はデータ保有装置30およびデータ利用者装置50へ利用同意を送信する(ステップS21)。
【0059】
そして、データ保有装置30は、同意が得られた場合のエッジデータについては、同意が得られたことを属性情報の一つとして紐づけておく。一方、同意が得られなかった場合のエッジデータについては、同意が得られなかったことを属性情報の一つとして紐づけておく。同意が得られなかったエッジデータは、高信頼データが抽出される際、例えば前述の認証条件によって弾かれ、高信頼データすなわち取引対象となる訓練用データとしては採用されない。
【0060】
この利用同意を得る際、例えばデータ保有装置30は、被撮像者装置70のGPS(Global Positioning System)情報から被撮像者の所在地を特定して、被撮像者が該当のコンビニエンストアへ入ったことが分かれば、アプリに対してプライバシーポリシーを提示するプッシュ通知を送ってもよい。このプッシュ通知を介して被撮像者が同意すれば、被撮像者装置70はデータ保有装置30およびデータ利用者装置50へ利用同意を送信する。以降は、例えばデータ保有装置30は、該当の被撮像者を撮像したエッジデータを同意が得られたデータとして取り扱うことが可能となる。
【0061】
なお、ここではアプリを介し、被撮像者装置70によって利用同意を与える例を挙げたが、データ提供者は、例えばコンビニエンスストアの店頭にプライバシーポリシーを掲示物として掲示し、被撮像者が黙認した場合には利用同意があったものと取り扱うようにしてもよい。
【0062】
図5を用いた説明に移る。なお、
図5は
図4に対応しているが、説明の便宜上、被撮像者装置70については図示を省略している。
図5では、
図4に示した被撮像者の利用同意は得られているものとする。
【0063】
図5に示すように、データ保有装置30は、取引管理装置10に対しては基本的に、保有するデータのデータアドレスおよび属性情報を含むメタデータを送信する(ステップS31)。
【0064】
そして、取引管理装置10は、このメタデータに基づく取引管理を行う。取引管理装置10は、データ利用者装置50からマーケットを通じてデータ利用者が希望するデータ希望条件を受けると(ステップS32)、この条件に沿うようにオーケストレーションを実行する。
【0065】
ここで、データ希望条件の一例について説明する。
図6は、データ希望条件の指定パラメータの一例を示す図である。また、
図7は、データ希望条件の一例を示す図である。
図6に示すように、データ希望条件の指定パラメータとしては、センサ種別や、地域や、気候や、オブジェクト種別や、オブジェクト属性や、オブジェクト属性の比率等が挙げられる。
【0066】
センサ種別は、エッジセンサ3の種別や仕様等を示すパラメータである。エッジセンサ3の種別としては、例えばRGBセンサ、赤外線センサ、測距センサ、多波長を取得可能なセンサ、紫外線センサ、イベントベースビジョンセンサ、偏光センサ等が挙げられる。測距センサは、例えばToF(Time of Flight)センサ、LiDAR(Light Detection And Ranging)等である。また、エッジセンサ3の仕様としては、型番や画素サイズ、データフォーマット、消費電力等が挙げられる。地域は、エッジセンサ3が設けられる地域を示すパラメータである。気候は、エッジセンサ3がエッジデータを取得した際の気候を示すパラメータである。
【0067】
オブジェクト種別は、エッジデータに含まれる(写り込む)人や車といったオブジェクトの種別を示すパラメータである。オブジェクト属性は、例えば種別が人であれば性別や年齢といったオブジェクトの種別を示すパラメータである。オブジェクト属性の比率は、例えば男性:女性が7:3といった比率を示すパラメータである。
【0068】
こうしたパラメータを指定し、実際のデータ希望条件の一例は、
図7に示すようなものとなる。なお、ここに示す具体例はあくまで一例であり、実際のデータ希望条件の指定内容を限定するものではない。
【0069】
図5の説明に戻る。そして、取引管理装置10は、オーケストレーションの実行結果としてアレンジ情報を提示し、その承諾に基づいてNFT化を行い、NFTをデータ利用者装置50へ送信する(ステップS33)。
【0070】
そして、データ利用者装置50は、NFTを用いて機械学習による訓練を要求する(ステップS34)。データ保有装置30は、この要求に応じてNFTが示すデータアドレスに対応する高信頼データを用いてオンプレミスで機械学習を実行する(ステップS35)。そして、データ保有装置30は、訓練済みAIモデルをデータ利用者装置50へ送信し(ステップS36)、訓練済みAIモデルは、訓練済みAIモデルDB50aへ格納される。
【0071】
また、ステップS32~ステップS36の一連の取引に関する履歴は、取引管理装置10の取引情報管理DB12d、および、分散型ネットワークNの分散型台帳100において記録される。
【0072】
このように、取引システム1は、データ保有装置30が保有するデータの実体は移転することなく、メタデータを用いた取引管理を行い、そのメタデータ中のデータアドレスに対して付与されるNFTが示すデータを間接的に用いて機械学習を実行する。このため、訓練用データの実体はデータ保有装置30にオンプレミスで管理され、データ保有装置30からネットワークに乗って流通することはない。また、取引に関する履歴は、ブロックチェーンによって高セキュリティ性が担保された分散型台帳100において管理される。これにより、取引システム1は、個人情報の保護をより図りつつ、訓練用データの横断的な活用を可能にする。
【0073】
<<3.取引管理装置の構成例>>
次に、取引管理装置10の構成例について説明する。
図8は、本開示の実施形態に係る取引管理装置10の構成例を示すブロック図である。なお、
図8および後に示す
図10では、本実施形態の特徴を説明するために必要な構成要素のみを表しており、一般的な構成要素についての記載を省略している。
【0074】
換言すれば、
図8および
図10に図示される各構成要素は機能概念的なものであり、図示の如く必ずしも物理的に構成されていることを要しない。例えば、各ブロックの分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することが可能である。
【0075】
また、
図8および
図10を用いた説明では、既に説明済みの構成要素については、説明を簡略するか、省略する場合がある。
【0076】
図8に示すように、取引管理装置10は、通信部11と、記憶部12と、制御部13とを備える。また、取引管理装置10は、HMI(Human Machine Interface)部10aが接続される。
【0077】
HMI部10aは、人に対する入出力に関するインターフェイス部品を含む構成要素である。HMI部10aは、キーボードや、マウスや、ディスプレイや、マイクや、スピーカー等によって実現される。HMI部10aは、ハードウェア部品だけでなく、ソフトウェア部品を含んで構成されてもよい。HMI部10aは、取引管理装置10を操作するオペレータ等によって利用される。
【0078】
通信部11は、例えば、ネットワークアダプタ等によって実現される。通信部11は、分散型ネットワークNと接続され、分散型ネットワークNを介して、分散型ネットワークNに接続される他の装置との間で情報の送受信を行う。
【0079】
記憶部12は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ(Flash Memory)、ハードディスク装置等の記憶デバイスによって実現される。
【0080】
記憶部12は、
図4を用いて説明した共通PF情報DB12a、メタデータDB12b、認証情報DB12cおよび取引情報管理DB12dを記憶する。また、図示は略しているが、記憶部12は、本実施形態に係るプログラムを記憶する。
【0081】
制御部13は、取引管理装置10の各部を制御する。制御部13は、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)、GPU等によって、記憶部12に記憶された本実施形態に係るプログラムがRAMを作業領域として実行されることにより実現される。また、制御部13は、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現することができる。
【0082】
制御部13は、共通PF提供部13aと、取得部13bと、認証部13cと、取引管理部13dとを有する。制御部13は、これらの各処理部を用いて、以下に説明する情報処理の機能や作用を実現または実行する。
【0083】
共通PF提供部13aは、通信部11を介し、共通PF情報DB12aに格納された各共通PF情報を取引システム1における各装置へ提供する。取得部13bは、通信部11を介し、データ保有装置30からデータ保有装置30の保有するデータのメタデータを取得してメタデータDB12bへ格納する。メタデータは、データアドレスと属性情報とを含む。
【0084】
また、取得部13bは、認証情報DB12cに格納された認証情報に基づいて、データ保有装置30から取得したメタデータの認証処理を行う。ここで、この認証処理における判断内容について説明する。
図9は、認証処理における判断内容の一例を示す図である。
【0085】
図9に示すように、認証処理における判断内容は、データ提供者/エッジセンサ3に関するもの、または、撮像データに関するものに大別される。
【0086】
データ提供者/エッジセンサ3に関しては、認証部13cは、メタデータに含まれる属性情報に基づき、例えば所定の認証プログラム製品による撮像データか否かを判断する。また、認証部13cは、所定のカメラ特性有する製品による撮像データか否かを判断する。また、認証部13cは、提供データの正規の撮像者/保有者か否かを判断する。また、認証部13cは、データ提供者によるデータ提供の同意の有無を判断する。
【0087】
また、撮像データに関しては、認証部13cは、メタデータに含まれる属性情報に基づき、倫理上の問題の有無や、被撮像者の同意の有無や、フリー素材であるか否か等を判断する。
【0088】
こうした判断の結果、認証部13cは、通信部11を介し、取引対象とするにふさわしい高信頼データに該当するメタデータを示す認証結果をデータ保有装置30へ通知する。データ保有装置30は、この通知を受けてエッジデータDB32bから高信頼データを抽出し、高信頼データDB32cへ格納する。なお、このとき、データ保有装置30は、高信頼データDB32cにおける高信頼データのデータアドレスと、高信頼データに対応するエッジデータDB32bにおけるエッジデータのデータアドレスとを紐づけておく。また、データ保有装置30は、高信頼データを抽出したことを取引管理装置10へ通知する。
【0089】
図8の説明に戻る。取引管理部13dは、データ保有装置30から高信頼データを抽出した通知を受けた場合に、メタデータDB12bから高信頼データに対応するメタデータを抽出して取引情報管理DB12dへ格納する。そして、取引管理部13dは、取引情報管理DB12dへ格納されたメタデータに対応する高信頼データを取引対象とした取引管理を行う。取引管理の内容については、
図12以降に示す処理シーケンスを用いた説明にて後述する。
【0090】
<<4.データ保有装置の構成例>>
次に、データ保有装置30の構成例について説明する。
図10は、本開示の実施形態に係るデータ保有装置30の構成例を示すブロック図である。
【0091】
図10に示すように、データ保有装置30は、通信部31と、記憶部32と、制御部33とを備える。また、データ保有装置30は、HMI部30aと、1以上のエッジセンサ3が接続される。
【0092】
HMI部30aは、上述したHMI部10aと同様の構成要素である。HMI部30aは、データ保有装置30を操作するオペレータ等によって利用される。エッジセンサ3は説明済みのための、ここでの説明は省略する。
【0093】
通信部31は、上述した通信部11と同様の構成要素である。記憶部32は、上述した記憶部12と同様に、例えば、RAM、ROM、フラッシュメモリ、ハードディスク装置等の記憶デバイスによって実現される。
【0094】
記憶部32は、
図4を用いて説明したエッジデータDB32bおよび高信頼データDB32cの他、共通PF情報32a、訓練用データセットDB32dおよび訓練済みAIモデルDB32eを記憶する。また、図示は略しているが、記憶部32は、本実施形態に係るプログラムを記憶する。
【0095】
共通PF情報32aは、取引管理装置10から提供される共通PFに関する情報である。共通PF情報32aは、例えば取引システム1におけるAI開発環境やマネタイズ環境等である。
【0096】
訓練用データセットDB32dは、後述する高信頼データ管理部33dがデータ利用者装置50からのNFTを用いた機械学習の要求を受け付けた場合に、高信頼データ管理部33dによって高信頼データDB32cから抽出される訓練用データのデータセットが格納される。
【0097】
訓練済みAIモデルDB32eは、後述する学習部33eによって学習され、同じく後述する検証部33fによって検証された訓練済みAIモデルが格納される。
【0098】
制御部33は、データ保有装置30の各部を制御する。制御部33は、上述した制御部13と同様に例えば、CPUやMPU、GPU等によって、記憶部32に記憶された本実施形態に係るプログラムがRAMを作業領域として実行されることにより実現される。また、制御部33は、例えば、ASICやFPGA等の集積回路により実現することができる。
【0099】
制御部33は、共通PF処理部33aと、取得部33bと、取引管理要求部33cと、高信頼データ管理部33dと、学習部33eと、検証部33fと、提供部33gとを有する。制御部33は、これらの各処理部を用いて、以下に説明する情報処理の機能や作用を実現または実行する。
【0100】
共通PF処理部33aは、共通PF情報32aに基づいて取引システム1における共通PFをデータ保有装置30が利用可能となるように動作する。共通PF処理部33aは、例えばミドルウェアとして動作する。
【0101】
取得部33bは、通信部31を介し、エッジセンサ3からエッジデータを取得してエッジデータDB32bへ格納する。取引管理要求部33cは、通信部31を介し、エッジデータDB32bへ格納されたエッジデータの取引管理を取引管理装置10へ要求する。また、取引管理要求部33cは、その要求に対する取引管理装置10からの認証結果の通知を受ける。
【0102】
高信頼データ管理部33dは、取引管理要求部33cが受けた認証結果に基づき、エッジデータDB32bから高信頼データを抽出して高信頼データDB32cへ格納する。また、高信頼データ管理部33dは、通信部31を介し、高信頼データを抽出した処理結果を取引管理装置10へ通知する。
【0103】
また、高信頼データ管理部33dは、通信部31を介し、データ利用者装置50からNFTを用いた機械学習の要求を受け付けた場合に、NFTが指すデータアドレスに対応する高信頼データを高信頼データDB32cから抽出し、訓練用データセットDB32dへ格納する。
【0104】
学習部33eは、訓練用データセットDB32dへ格納された訓練用データセットを用いた機械学習を実行する。検証部33fは、学習部33eによって実行された機械学習の結果である訓練済みAIモデルの精度を検証する。
【0105】
検証部33fは、例えば訓練用データセットDB32dの訓練用データセットを認識対象とした検証を行う。あるいは、検証部33fは、エッジデータDB32bや高信頼データDB32cから任意の画像データのデータセットを抽出し、このデータセットを認識対象とした検証を行ってもよい。
【0106】
検証部33fは、検証した訓練済みAIモデルが一定以上の認識精度を有する場合、この訓練済みAIモデルを訓練済みAIモデルDB32eへ格納する。提供部33gは、訓練済みAIモデルDB32eへ格納された訓練済みAIモデルを、通信部31を介し、機械学習の要求元であるデータ利用者装置50へ提供する。
【0107】
<<5.取引システムが実行する処理シーケンス>>
次に、取引システム1が実行する処理シーケンスについて、
図11~
図17を用いて説明する。なお、以下の説明では、
図4を用いて説明した利用同意は既に得られているものとする。
【0108】
<5-1.取引管理要求~取引管理開始までの処理シーケンス>
図11は、取引管理要求~取引管理開始までの処理シーケンスを示す図である。
図11に示すように、まずデータ保有装置30は、エッジデータDB32bの各エッジデータの少なくともデータアドレスおよび属性情報からなるメタデータを取引管理要求として取引管理装置10へ送信する(ステップS101)。
【0109】
取引管理装置10は、受信したメタデータをメタデータDB12bへ格納するとともに、各メタデータにつき、認証情報DB12cの認証情報に基づいて認証処理を実行する(ステップS102)。そして、取引管理装置10は、認証結果をデータ保有装置30へ送信する(ステップS103)。
【0110】
データ保有装置30は、受信した認証結果に基づいて認証を受けたデータを高信頼データとして抽出し(ステップS104)、高信頼データDB32cへ格納する。また、データ保有装置30は、その処理結果を取引管理装置10へ送信する(ステップS105)。
【0111】
そして、データ保有装置30は、その処理結果を受けて高信頼データに対応するメタデータをメタデータDB12bから抽出して取引情報管理DB12dへ格納し、高信頼データを取引対象として管理することとなる(ステップS106)。
【0112】
<5-2.データ希望条件の提示~訓練済みAIモデルが提供されるまでの処理シーケンス>
次に、
図12は、データ希望条件の提示~訓練済みAIモデルが提供されるまでの処理シーケンスを示す図である。
図12に示すように、まずデータ利用者装置50がマーケットを通じ、取引管理装置10に対してデータ希望条件を提示する(ステップS201)。
【0113】
すると、これを受けた取引管理装置10は、取引情報管理DB12dのメタデータに基づき、取引対象である高信頼データのうちから条件に応じたデータのオーケストレーションを実行する(ステップS202)。そして、取引管理装置10は、オーケストレーションの実行結果であるアレンジ情報をデータ利用者装置50へ送信する(ステップS203)。
【0114】
データ利用者装置50は、受信したアレンジ情報を例えばGUI画面を介してデータ利用者へ提示し、同じくGUI画面を介して購入の意志を受け付ける。なお、GUI画面の一例については、後ほど
図13に示すこととする。
【0115】
そして、データ利用者装置50は、データ利用者が提示されたアレンジ情報に対して購入を決定した場合、購入要求を取引管理装置10へ送信する(ステップS204)。取引管理装置10は、この購入要求を受けると、該当のアレンジ情報に対応するメタデータのデータアドレスにつきNFT化を行う(ステップS205)。そして、取引管理装置10は、NFT化されたデータアドレスをデータ利用者装置50へ送信する(ステップS206)。
【0116】
そして、データ利用者装置50はデータ保有装置30に対し、このNFTを用いて機械学習による訓練を要求する(ステップS207)。すると、データ保有装置30は、NFTが示す高信頼データを高信頼データDB32cから抽出して訓練用データセットとして訓練用データセットDB32dへ格納し、これを用いた機械学習を実行する(ステップS208)。
【0117】
そして、データ保有装置30は、ステップS208の実行結果である訓練済みAIモデルを検証したうえで(ステップS209)、検証後の訓練済みAIモデルをデータ利用者装置50に対し提供する(ステップS210)。あわせて、データ保有装置30は、訓練済みAIモデルをマーケットでの取引対象となるように取引管理装置10へ送信してもよい(ステップS211)。
【0118】
ここで、前述のアレンジ情報を提示するGUI画面の例について説明しておく。
図13は、アレンジ情報を提示するGUI画面の一例を示す図である。
【0119】
取引管理装置10は、
図13に示すようなGUI画面として、オーケストレーションの実行結果であるアレンジ情報を提示する。
図13では、取引管理装置10が複数のアレンジ情報を提示した例を示している。
【0120】
図13に示すように、取引管理装置10は、例えば「コスト優先」や「精度優先」といった優先する内容に応じたいくつか条件によるオーケストレーションを実行し、その結果をそれぞれ含むアレンジ情報を提示する。
【0121】
ここで、
図13に示すように、データ利用者が「コスト優先」を選択して「購入」を実行すると、コスト優先の方のアレンジ情報に対応する各メタデータが示すデータアドレスがNFT化される。
【0122】
なお、「精度優先」の例として挙げているように、取引管理装置10は、例えば複数のデータ提供者(すなわち、複数のデータ保有装置30)にわたるデータセットの組み合わせからなるアレンジ情報を提示してもよい。また、このとき、
図13に「*実行順に学習を行う必要があります」として示すように、複数のデータ提供者による場合のガイダンス情報等を提示してもよい。次に、この複数のデータ提供者にわたって順に機械学習を実行させる場合の処理シーケンスについて説明する。
【0123】
<5-3.複数のデータ提供者にわたって順に機械学習を実行させる場合の処理シーケンス>
図14は、複数のデータ提供者にわたって順に機械学習を実行させる場合の処理シーケンスを示す図である。
図14では、
図12のステップS201~ステップS206が実行された後からの処理シーケンスを示す。
【0124】
なお、ステップS203では、第1および第2のデータ提供者にわたるアレンジ情報が提示され、データ利用者はこのアレンジ情報のデータセットを購入したものとする。そして、データ利用者は、ステップS206で、第1のデータ提供者に対応する第1のNFTと、第2のデータ提供者に対応する第2のNFTを得たものとする。
【0125】
この場合、データ利用者装置50は、まず第1のNFTを用いてデータ保有装置30-1に対し、第1の機械学習による訓練を要求する(ステップS301)。すると、データ保有装置30-1は、第1のNFTが示す高信頼データを高信頼データDB32cから抽出して訓練用データセットとして訓練用データセットDB32dへ格納し、これを用いた第1の機械学習を実行する(ステップS302)。
【0126】
そして、データ保有装置30-1は、ステップS302の実行結果である第1の訓練済みAIモデルを検証したうえで(ステップS303)、検証後の第1の訓練済みAIモデルをデータ利用者装置50に対し提供する(ステップS304)。
【0127】
次に、データ利用者装置50は、第2のNFTおよび第1の訓練済みAIモデルを用いてデータ保有装置30-2に対し、第2の機械学習による訓練を要求する(ステップS305)。すると、データ保有装置30-2は、第2のNFTが示す高信頼データを高信頼データDB32cから抽出して訓練用データセットとして訓練用データセットDB32dへ格納し、これを用いて第1の訓練済みAIモデルを強化する第2の機械学習を実行する(ステップS306)。
【0128】
そして、データ保有装置30-2は、ステップS306の実行結果である第2の訓練済みAIモデルを検証したうえで(ステップS307)、検証後の第2の訓練済みAIモデルをデータ利用者装置50に対し提供する(ステップS308)。あわせて、データ保有装置30は、第2の訓練済みAIモデルをマーケットでの取引対象となるように取引管理装置10へ送信する(ステップS309)。
【0129】
<5-4.データ保有装置の確認をとる場合の処理シーケンス>
次に、データ保有装置30の確認をとる場合の処理シーケンスについて説明する。
図15は、データ保有装置30の確認をとる場合の処理シーケンスを示す図である。
【0130】
なお、
図15は
図12に対応しており、ここでは
図12と異なる点について主に説明する。
図15の例は、ステップS202のオーケストレーションの実行後、ステップS203のアレンジ情報の提示前に、取引管理装置10がデータ保有装置30に対し確認をとる点が
図12とは異なる。
【0131】
図15の場合、取引管理装置10は、ステップS202の実行後、データ保有装置30に対してデータ利用許可を求めるデータ利用許可確認を送信する(ステップS401)。そして、取引管理装置10は、この確認に対する承諾がデータ保有装置30から得られた場合に(ステップS402)、データ利用者装置50に対しアレンジ情報を提示するステップS203を実行する。
【0132】
これにより、データ保有装置30の同意まで得た安全なデータ利用が可能となる。なお、データ保有装置30から承諾が得られなかった場合、取引管理装置10は再度オーケストレーションを実行し、新たなアレンジ情報を生成して改めてデータ保有装置30に確認をとるようにしてもよい。
【0133】
<5-5.エンドユーザからの改善要求に基づく再訓練を行う場合の処理シーケンス>
次に、データ提供者のエンドユーザからの改善要求に基づく再訓練を行う場合の処理シーケンスについて説明する。
図16は、エンドユーザからの改善要求に基づく再訓練を行う場合の処理シーケンスを示す図である。
【0134】
図16に示すように、まずデータ保有装置30は取引管理装置10からベースとなるベース訓練済みAIモデルを購入しており(ステップS501)、エンドユーザはエンドユーザの端末装置であるエンドユーザ装置90によってこのベース訓練済みAIモデルを利用中であるものとする(ステップS502)。
【0135】
その中で、エンドユーザは、ベース訓練済みAIモデルを用いた場合に認識精度のよくないエッジデータを見つけたものとする。この場合、エンドユーザ装置90は、
図16に示すように、例えばデータ保有装置30を介して取引管理装置10へ改善要求を上げる(ステップS503)。この改善要求は、例えば該当の精度が出ないエッジデータのデータアドレスと利用結果(AI認識結果)である。
【0136】
すると、取引管理装置10は、この改善要求に基づくオーケストレーションを実行し(ステップS504)、その実行結果であるアレンジ情報を基にデータ利用者装置50に対し再訓練を依頼する(ステップS505)。
【0137】
そして、データ利用者装置50がこの依頼を承諾すると(ステップS506)、取引管理装置10は該当のアレンジ情報に対応するメタデータのデータアドレスにつきNFT化を行う(ステップS507)。そして、取引管理装置10は、NFT化されたデータアドレスをデータ利用者装置50へ送信する(ステップS508)。
【0138】
そして、データ利用者装置50はデータ保有装置30に対し、このNFTを用いて機械学習による再訓練を要求する(ステップS509)。すると、データ保有装置30は、NFTが示す高信頼データを高信頼データDB32cから抽出して訓練用データセットとして訓練用データセットDB32dへ格納し、これを用いた機械学習を実行する(ステップS510)。
【0139】
そして、データ保有装置30は、ステップS510の実行結果である再訓練済みAIを検証したうえで(ステップS511)、検証後の再訓練済みAIモデルをマーケットでの新たな取引対象となるように取引管理装置10へ送信する(ステップS512)。
【0140】
なお、
図16の例の場合、データ保有装置30は、ステップS503の改善要求に対する対価である依頼料を例えばデジタルトークンで取引管理装置10へ支払う。取引管理装置10は、この依頼料からオーケストレーションの対価を含む取引手数料を差し引いた再訓練の依頼料をステップS506に際し、データ利用者装置50に対してデジタルトークンなどで支払う。なお、この支払いは再訓練実行後の後払いでもよい。
【0141】
後払いとする場合、取引管理装置10は、ステップS505の再訓練依頼を複数のデータ利用者装置50へ提示して、複数のデータ利用者の間で競争させてもよい。この場合、最も早く再訓練済みAIモデルをリリースできた、あるいは、最も認識精度の高い再訓練済みAIモデルを開発できたデータ利用者に報酬として支払うようにしてもよい。
【0142】
これにより、エンドユーザからの改善要求に対し、品質高く訓練済みAIモデルを改善することが可能となる。
【0143】
<5-6.データの直接的な利用権を取引する場合の処理シーケンス>
ところで、これまでは、データの実体を取引対象とすることなくデータの間接的な利用権を取引する場合を例に挙げてきたが、データの実体を取引対象とし、データの直接的な利用権を取引することも可能である。
【0144】
次に、この場合の処理シーケンスについて説明する。
図17は、データの直接的な利用権を取引する場合の処理シーケンスを示す図である。なお、
図17の例では、データ保有装置30が保有するエッジデータではなく、例えば被撮像者が利用する被撮像者装置70の保有する画像データを取引対象とする場合を例に挙げる。
【0145】
被撮像者は、自身の保有する画像データが取引システム1に取引対象として登録され、データ利用者に利用されれば、その度に利用料としての報酬を受け取ることが可能となる。
【0146】
その前準備として、
図17に示すように、被撮像者装置70は、アプリ等を介して取引管理装置10に対しウォレット登録要求を送信する(ステップS601)。ここに言うウォレットは、取引システム1における被撮像者のための言わば入出金口座である。
【0147】
ステップS601の要求に対し取引管理装置10は、被撮像者のウォレットを開設して登録し、登録結果を被撮像者装置70へ通知しておく(ステップS602)。ここまでが前準備である。
【0148】
そして、被撮像者装置70は、自身の保有する画像データ(実体)およびその属性情報を取引管理要求としてデータ保有装置30を介し取引管理装置10に対して送信する(ステップS603)。
【0149】
すると、取引管理装置10は、この取引管理要求に応じて
図11に示したステップS102~ステップS106を実行する。これにより、被撮像者装置70からの画像データのうち認証条件をクリアした高信頼データが取引対象となる。
【0150】
そして、データ利用者装置50がマーケットを通じ、取引管理装置10に対してデータ希望条件を提示する(ステップS604)。
【0151】
すると、これを受けた取引管理装置10は、取引対象である高信頼データのうちから条件に応じたデータのオーケストレーションを実行する(ステップS605)。そして、取引管理装置10は、オーケストレーションの実行結果であるアレンジ情報をデータ利用者装置50へ送信する(ステップS606)。
【0152】
そして、データ利用者装置50は、データ利用者が提示されたアレンジ情報に対して購入を決定した場合、購入要求を取引管理装置10へ送信する(ステップS607)。取引管理装置10は、この購入要求を受けると、該当のアレンジ情報に対応する画像データをNFT化する(ステップS608)。そして、取引管理装置10は、NFTをデータ利用者装置50へ送信する(ステップS609)。
【0153】
そして、データ利用者装置50はデータ保有装置30に対し、このNFTを用いて画像データを要求する(ステップS610)。すると、データ保有装置30は、NFTが示す高信頼データを高信頼データDB32cから抽出し、コピーされた画像データとしてデータ利用者装置50に対し提供する(ステップS611)。データ利用者装置50は、この画像データを直接的に利用して自身において例えば機械学習等を行うこととなる。
【0154】
なお、取引管理装置10は、被撮像者装置70からの画像データがデータ利用者に利用される度に、前述の被撮像者のウォレットに対しデジタルトークン等により、利用に応じて支払いを行う(ステップS612)。
【0155】
これにより、エッジセンサ3からのエッジデータでない例えば被撮像者の保有する画像データを取引対象とした取引を行うことが可能となる。なお、画像データの実体が取引対象として管理される場合、ブロックチェーンではサイズの大きな画像データを保存できない可能性があるので、ブロックチェーンに替えてIPFS(InterPlanetary Filesystem)等を用いてもよい。
【0156】
<<6.変形例>>
上述した本開示の実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
【0157】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
【0158】
例えば、取引管理装置10が有する認証部13cは、取引管理装置10からは独立した認証装置として設けられてもよい。
【0159】
また、例えば、データ保有装置30が有する高信頼データ管理部33dは、高信頼データDB32cとともに、データ保有装置30からは独立した高信頼データ管理装置として設けられてもよい。この場合、データ保有装置30が保有するデータの実体は異なる装置の間に分散してしまうが、データの間接的な利用権を取引対象とすることによって、データ利用者からデータの実体が拡散するリスクは少ないと考えられる。また、データ保有装置30と高信頼データ管理装置とによって高信頼データの実体を管理するので、高信頼データの言わばミラーリングを行うことができ、高可用性を確保することができる。
【0160】
また、上述した本開示の実施形態は、処理内容を矛盾させない領域で適宜組み合わせることが可能である。また、本実施形態のシーケンス図或いはフローチャートに示された各ステップは、適宜順序を変更することが可能である。
【0161】
<<7.ハードウェア構成>>
また、上述した本開示の実施形態に係る取引管理装置10や、データ保有装置30や、データ利用者装置50や、被撮像者装置70は、例えば
図18に示すような構成のコンピュータ1000によって実現される。取引管理装置10を例に挙げて説明する。
図18は、取引管理装置10の機能を実現するコンピュータ1000の一例を示すハードウェア構成図である。コンピュータ1000は、CPU1100、RAM1200、ROM1300、二次記憶装置1400、通信インターフェイス1500、および入出力インターフェイス1600を有する。コンピュータ1000の各部は、バス1050によって接続される。
【0162】
CPU1100は、ROM1300または二次記憶装置1400に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、CPU1100は、ROM1300または二次記憶装置1400に格納されたプログラムをRAM1200に展開し、各種プログラムに対応した処理を実行する。
【0163】
ROM1300は、コンピュータ1000の起動時にCPU1100によって実行されるBIOS(Basic Input Output System)等のブートプログラムや、コンピュータ1000のハードウェアに依存するプログラム等を格納する。
【0164】
二次記憶装置1400は、CPU1100によって実行されるプログラム、および、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、二次記憶装置1400は、本実施形態に係るプログラムを記録する記録媒体である。
【0165】
通信インターフェイス1500は、コンピュータ1000が外部ネットワーク1550と接続するためのインターフェイスである。例えば、CPU1100は、通信インターフェイス1500を介して、他の機器からデータを受信したり、CPU1100が生成したデータを他の機器へ送信したりする。
【0166】
入出力インターフェイス1600は、入出力デバイス1650とコンピュータ1000とを接続するためのインターフェイスである。例えば、CPU1100は、入出力インターフェイス1600を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、CPU1100は、入出力インターフェイス1600を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス1600は、所定の記録媒体(メディア)に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばDVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
【0167】
例えば、コンピュータ1000が取引管理装置10として機能する場合、コンピュータ1000のCPU1100は、RAM1200上にロードされたプログラムを実行することにより、制御部13の機能を実現する。また、二次記憶装置1400には、本開示に係るプログラムや、記憶部12内のデータが格納される。なお、CPU1100は、プログラムデータ1450を二次記憶装置1400から読み取って実行するが、他の例として、外部ネットワーク1550を介して、他の装置からこれらのプログラムを取得してもよい。
【0168】
<<8.むすび>>
以上説明したように、本開示の一実施形態によれば、取引システム1(「情報処理システム」の一例に相当)は、機械学習に供される訓練用データを取引する情報処理システムであって、訓練用データが格納されるデータ保有装置30(「データ保有部」の一例に相当)と、データ保有装置30に格納された訓練用データの保存先および属性情報を示すメタデータによる訓練用データの取引情報を分散型ネットワークNにおいて保有する取引管理装置10(「取引管理部」の一例に相当)と、を備える。また、取引管理装置10は、訓練用データの利用を所望するデータ利用者(「利用者」の一例に相当)の要求を受け付けた場合に、当該要求に応じた上記メタデータに対し分散型ネットワークNにおける非代替性を付与し、上記非代替性を付与した上記メタデータに対応する訓練用データの利用権をデータ利用者に対して提供する。これにより、個人情報の保護をより図りつつ、訓練用データの横断的な活用を可能にすることができる。
【0169】
以上、本開示の各実施形態について説明したが、本開示の技術的範囲は、上述の各実施形態そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態および変形例にわたる構成要素を適宜組み合わせてもよい。
【0170】
また、本明細書に記載された各実施形態における効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
【0171】
なお、本技術は以下のような構成も取ることができる。
(1)
機械学習に供される訓練用データを取引する情報処理システムであって、
前記訓練用データが格納されるデータ保有部と、
前記データ保有部に格納された前記訓練用データの保存先および属性情報を示すメタデータによる前記訓練用データの取引情報を分散型ネットワークにおいて保有する取引管理部と、を備え、
前記取引管理部は、
前記訓練用データの利用を所望する利用者の要求を受け付けた場合に、当該要求に応じた前記メタデータに対し前記分散型ネットワークにおける非代替性を付与し、
前記非代替性を付与した前記メタデータに対応する前記訓練用データの利用権を前記利用者に対して提供する、
情報処理システム。
(2)
前記取引管理部は、
前記メタデータにおける前記保存先に対し前記非代替性を付与し、前記保存先が示す前記訓練用データの前記利用権を提供する、
前記(1)に記載の情報処理システム。
(3)
前記取引管理部は、
前記保存先が示す前記訓練用データを間接的に利用可能な前記利用権を提供する、
前記(2)に記載の情報処理システム。
(4)
前記取引管理部は、
前記保存先が示す前記訓練用データを直接的に利用可能な前記利用権を提供する、
前記(2)に記載の情報処理システム。
(5)
前記データ保有部は、
前記利用権を用いた機械学習の実行の要求を前記利用者から受け付けた場合に、前記利用権に対応する前記訓練用データを用いた機械学習を実行する、
前記(3)に記載の情報処理システム。
(6)
前記データ保有部は、
機械学習の実行結果である訓練済みの機械学習モデルを前記利用者へ提供する、
前記(5)に記載の情報処理システム。
(7)
前記データ保有部は、
新たに前記訓練済みの機械学習モデルが取引可能となるように前記訓練済みの機械学習モデルを前記取引管理部へ提供する、
前記(6)に記載の情報処理システム。
(8)
前記訓練済みの機械学習モデルの精度を検証する検証部、
をさらに備える前記(7)に記載の情報処理システム。
(9)
前記データ保有部は、
前記検証部によって前記訓練済みの機械学習モデルが一定以上の精度を有すると判断された場合に、前記訓練済みの機械学習モデルを前記取引管理部へ提供する、
前記(8)に記載の情報処理システム。
(10)
前記取引管理部は、
前記利用者から任意のデータ希望条件を受け付け、
前記メタデータにおける前記属性情報に基づいて前記データ希望条件に応じた前記訓練用データの組み合わせの候補案を生成する、
前記(1)~(9)のいずれか一つに記載の情報処理システム。
(11)
前記データ希望条件は、
前記訓練用データを撮像するセンサの種別、前記センサが設けられた地域、前記訓練用データの撮像時の気候、前記訓練用データに写り込むオブジェクトの種別、および、前記オブジェクトの属性のうちの少なくともいずれかをパラメータとして含む、
前記(10)に記載の情報処理システム。
(12)
前記取引管理部は、前記組み合わせの異なる複数の候補案を生成する、
前記(10)または(11)に記載の情報処理システム。
(13)
前記取引管理部は、
優先させる要素に応じて前記組み合わせを異ならせた前記複数の候補案を生成する、
前記(12)に記載の情報処理システム。
(14)
前記優先させる要素は少なくとも、機械学習に要するコストまたは機械学習によって訓練される機械学習モデルの精度である、
前記(13)に記載の情報処理システム。
(15)
前記データ保有部は、複数設けられ、
前記取引管理部は、
異なる前記データ保有部がそれぞれ保有する前記訓練用データの前記組み合わせによる前記候補案を生成する、
前記(10)に記載の情報処理システム。
(16)
前記取引管理部は、
異なる前記データ保有部の前記組み合わせによる前記候補案に基づいて、前記データ保有部を切り替えつつ段階的に機械学習モデルの精度が強化されるように、前記利用者に前記データ保有部へ機械学習の実行を要求させる、
前記(15)に記載の情報処理システム。
(17)
前記取引管理部は、
訓練済みの機械学習モデルに対する改善要求を受け付けた場合に、当該改善要求に含まれる前記保存先が示す前記訓練用データを用いた再訓練を複数の前記データ保有部に依頼し、前記再訓練を複数の前記データ保有部の間で競わせる、
前記(15)または(16)に記載の情報処理システム。
(18)
前記データ保有部に格納された前記訓練用データのうち、所定の認証条件を満たすか否かを判断する認証部、
をさらに備える前記(1)~(17)のいずれか一つに記載の情報処理システム。
(19)
前記取引管理部は
前記認証部によって前記認証条件を満たすと判断された前記訓練用データを取引対象とする、
前記(18)に記載の情報処理システム。
(20)
機械学習に供される訓練用データを取引するコンピュータに、
前記訓練用データを保有し、
前記訓練用データの保存先および属性情報を示すメタデータによる前記訓練用データの取引情報を分散型ネットワークにおいて保有し、
前記訓練用データの利用を所望する利用者の要求を受け付けた場合に、当該要求に応じた前記メタデータに対し前記分散型ネットワークにおける非代替性を付与し、
前記非代替性を付与した前記メタデータに対応する前記訓練用データの利用権を前記利用者に対して提供する、
処理を実行させるプログラム。
【符号の説明】
【0172】
1 取引システム
3 エッジセンサ
10 取引管理装置
11 通信部
12 記憶部
12a 共通PF情報DB
12b メタデータDB
12c 認証情報DB
12d 取引情報管理DB
13 制御部
13a 共通PF提供部
13b 取得部
13c 認証部
13d 取引管理部
30 データ保有装置
31 通信部
32 記憶部
32a 共通PF情報
32b エッジデータDB
32c 高信頼データDB
32d 訓練用データセットDB
32e 訓練済みAIモデルDB
33 制御部
33a 共通PF処理部
33b 取得部
33c 取引管理要求部
33d 高信頼データ管理部
33e 学習部
33f 検証部
33g 提供部
50 データ利用者装置
70 被撮像者装置
90 エンドユーザ装置
100 分散型台帳
N 分散型ネットワーク