IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ bacoor dApps株式会社の特許一覧 ▶ 株式会社AI商事の特許一覧

特許7595278再学習用データ管理システム、及び、再学習用データ管理方法
<>
  • 特許-再学習用データ管理システム、及び、再学習用データ管理方法 図1
  • 特許-再学習用データ管理システム、及び、再学習用データ管理方法 図2
  • 特許-再学習用データ管理システム、及び、再学習用データ管理方法 図3
  • 特許-再学習用データ管理システム、及び、再学習用データ管理方法 図4
  • 特許-再学習用データ管理システム、及び、再学習用データ管理方法 図5
  • 特許-再学習用データ管理システム、及び、再学習用データ管理方法 図6
  • 特許-再学習用データ管理システム、及び、再学習用データ管理方法 図7
  • 特許-再学習用データ管理システム、及び、再学習用データ管理方法 図8
  • 特許-再学習用データ管理システム、及び、再学習用データ管理方法 図9
  • 特許-再学習用データ管理システム、及び、再学習用データ管理方法 図10
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-28
(45)【発行日】2024-12-06
(54)【発明の名称】再学習用データ管理システム、及び、再学習用データ管理方法
(51)【国際特許分類】
   G06N 20/00 20190101AFI20241129BHJP
【FI】
G06N20/00
【請求項の数】 11
(21)【出願番号】P 2021053536
(22)【出願日】2021-03-26
(65)【公開番号】P2022150778
(43)【公開日】2022-10-07
【審査請求日】2023-11-17
(73)【特許権者】
【識別番号】518003096
【氏名又は名称】Bacoor dApps株式会社
(73)【特許権者】
【識別番号】320003367
【氏名又は名称】株式会社AI商事
(74)【代理人】
【識別番号】100111567
【弁理士】
【氏名又は名称】坂本 寛
(72)【発明者】
【氏名】春名 幸雄
(72)【発明者】
【氏名】竹内 仁
【審査官】真木 健彦
(56)【参考文献】
【文献】国際公開第2021/013499(WO,A1)
【文献】特開2020-166418(JP,A)
【文献】特開2020-144504(JP,A)
【文献】特開2019-165123(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06N 20/00
(57)【特許請求の範囲】
【請求項1】
機械学習モデルを用いた推論処理を実行する第1のAI(Artificial Intelligence)システムのための管理処理を実行するよう構成された再学習用データ管理システムであって、
前記第1のAIシステムは、前記機械学習モデルの再学習用データを得て、前記機械学習モデルの再学習を行うよう構成され、
前記管理処理は、
前記再学習用データを取得し、
前記再学習用データを、前記第1のAIシステムでの再学習用のデータとして、前記第1のAIシステムとは異なるコンピュータが備える、検証者用コンピュータからアクセス可能なデータベースに記憶させ、
前記検証者用コンピュータから前記第1のAIシステムの異常の検証結果を得たことに応じて、前記第1のAIシステムと異なる第2のAIシステムに対して、前記異常を通知する、ことを備える
再学習用データ管理システム。
【請求項2】
前記データベースは、分散型コンピュータネットワークシステムを用いた分散型台帳として構成されている
請求項1に記載の再学習用データ管理システム。
【請求項3】
前記管理処理は、前記分散型コンピュータネットワークシステムに実装されたスマートコントラクトを、前記分散型コンピュータネットワークシステムを構成するコンピュータが実行することによって実現される処理である
請求項2に記載の再学習用データ管理システム。
【請求項4】
前記スマートコントラクトによって実現される前記管理処理は、
前記検証者用コンピュータからの要求に応じて、前記再学習用データを前記検証者用コンピュータに提供する、ことをさらに備える
請求項3に記載の再学習用データ管理システム。
【請求項5】
前記スマートコントラクトによって実現される前記管理処理は、前記再学習用データの属性を記憶することを更に備え、
前記属性は、前記第1のAIシステムの識別情報、前記再学習用データを生成した装置の識別情報、前記再学習用データの生成された位置の識別情報、及び、前記再学習用データの生成時の識別情報、の少なくとも1つを含む
請求項4に記載の再学習用データ管理システム。
【請求項6】
前記再学習用データを前記検証者用コンピュータに提供することは、前記データベースに記憶される再学習用データのうちの、前記検証者用コンピュータからの前記要求に含まれる前記属性によって識別される前記再学習用データを、前記検証者用コンピュータに提供することを含む
請求項5に記載の再学習用データ管理システム。
【請求項7】
前記スマートコントラクトによって実現される前記管理処理は、
前記第1のAIシステムから得た前記再学習用データに対してコードを付与し、
前記コードを前記第1のAIシステムに送信する、ことをさらに備える
請求項3~6のいずれか一項に記載の再学習用データ管理システム。
【請求項8】
前記コードは、前記第1のAIシステムに対して前記再学習用データを用いた前記再学習を許可するコードである
請求項7に記載の再学習用データ管理システム。
【請求項9】
機械学習モデルを用いた推論処理を実行する第1のAI(Artificial Intelligence)システムのための管理処理を実行するよう構成された再学習用データ管理システムであって、
前記第1のAIシステムは、前記機械学習モデルの再学習用データを得て、前記機械学習モデルの再学習を行うよう構成され、
前記管理処理は、
前記再学習用データを取得し、
前記再学習用データを、前記第1のAIシステムでの再学習用のデータとして、前記第1のAIシステムとは異なるコンピュータが備える、前記第1のAIシステムの検証者用コンピュータからアクセス可能なデータベースに記憶させる、ことを備え、
前記データベースは、分散型コンピュータネットワークシステムを用いた分散型台帳として構成され、
前記管理処理は、前記分散型コンピュータネットワークシステムに実装されたスマートコントラクトを、前記分散型コンピュータネットワークシステムを構成するコンピュータが実行することによって実現される処理であり、
前記スマートコントラクトによって実現される前記管理処理は、
前記検証者用コンピュータから前記第1のAIシステムの異常の検証結果を得たことに応じて、前記第1のAIシステムと異なる第2のAIシステムに対して、前記第1のAIシステムの異常を通知する、ことをさらに備える
学習用データ管理システム。
【請求項10】
前記異常を通知することは、前記第1のAIシステムから得た前記再学習用データに関連する情報を前記第2のAIシステムに送信することを含む
請求項9に記載の再学習用データ管理システム。
【請求項11】
機械学習モデルを用いた推論処理を実行する第1のAIシステムのための再学習用データ管理方法であって、
前記第1のAIシステムは、前記機械学習モデルの再学習用データを得て、前記機械学習モデルの再学習を行うよう構成され、
前記再学習用データ管理方法は、
前記再学習用データを取得し、
前記再学習用データを、前記第1のAIシステムでの再学習用のデータとして、前記第1のAIシステムとは異なるコンピュータが備える、検証者用コンピュータからアクセス可能なデータベースに記憶させ、
前記検証者用コンピュータから前記第1のAIシステムの異常の検証結果を得たことに応じて、前記第1のAIシステムと異なる第2のAIシステムに対して、前記異常を通知する、ことを備える
再学習用データ管理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、再学習用データ管理システム、及び、再学習用データ管理方法に関する。
【背景技術】
【0002】
特開2020-86778号公報(以下、特許文献1)は、機械学習された学習モデルについて新たな入出力関係を学習し、学習モデルを更新することを示している。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2020-86778号公報
【発明の概要】
【0004】
発明者らは、学習モデルの更新を自動化するという着想を得た。この場合、学習モデルが再学習のためのデータを自動的に取得し、定期的など特定のタイミングで再学習することが考えられる。
【0005】
しかしながら、このように自動的に再学習のためのデータを取得して再学習を行った場合、適切な再学習であるか否かが不明である。なぜなら、再学習のためのデータの適否が検証されていない、又は、検証されていてもその検証が妥当であるとは限らないからである。その結果、入力値に対して不適切な出力を行う学習モデルとなってしまう可能性もある。このような場合であっても、事後的に検証できることが望まれる。
【0006】
本開示のある側面に係る再学習用データ管理システムは、機械学習モデルを用いた推論処理を実行する第1のAI(Artificial Intelligence)システムのための管理処理を実行するよう構成された再学習用データ管理システムであって、第1のAIシステムは、機械学習モデルの再学習用データを得て、機械学習モデルの再学習を行うよう構成され、管理処理は、再学習用データを取得し、再学習用データを、第1のAIシステムでの再学習用のデータとして、第1のAIシステムとは異なるコンピュータが備える、検証者用コンピュータからアクセス可能なデータベースに記憶させる、ことを備える。
【0007】
本開示のある側面に係る再学習用データ管理方法は、機械学習モデルを用いた推論処理を実行する第1のAI(Artificial Intelligence)システムのための再学習用データ管理方法であって、第1のAIシステムは、機械学習モデルの再学習用データを得て、機械学習モデルの再学習を行うよう構成され、再学習用データ管理方法は、再学習用データを取得し、再学習用データを、第1のAIシステムでの再学習用のデータとして、第1のAIシステムとは異なるコンピュータが備える、検証者用コンピュータからアクセス可能なデータベースに記憶させる、ことを備える。
【0008】
更なる詳細は、後述の実施形態として説明される。
【図面の簡単な説明】
【0009】
図1図1は、実施の形態に係るデータ管理システムの構成図である。
図2図2は、データ管理システムに含まれるコンピュータネットワークシステムの構成図である。
図3図3は、AI(Artificial Intelligence)システムでの構成図ある。
図4図4は、実施の形態に係るデータ管理方法の流れを表した図である。
図5図5は、第1の実施の形態でのAIシステムでの処理の流れを表したフローチャートである。
図6図6は、コンピュータネットワークシステムに搭載されたスマートコントラクトでの処理の流れを表したフローチャートである。
図7図7は、コンピュータネットワークシステムに搭載されたスマートコントラクトでの処理の流れを表したフローチャートである。
図8図8は、コンピュータネットワークシステムに搭載されたスマートコントラクトでの処理の流れを表したフローチャートである。
図9図9は、実施の形態に係るデータ管理方法を説明するための図である。
図10図10は、第2の実施の形態でのAIシステムでの処理の流れを表したフローチャートである。
【発明を実施するための形態】
【0010】
<1.再学習用データ管理システム、及び、再学習用データ管理方法の概要>
【0011】
(1)実施の形態に係る再学習用データ管理システムは、機械学習モデルを用いた推論処理を実行する第1のAI(Artificial Intelligence)システムのための管理処理を実行するよう構成された再学習用データ管理システムであって、第1のAIシステムは、機械学習モデルの再学習用データを得て、機械学習モデルの再学習を行うよう構成され、管理処理は、再学習用データを取得し、再学習用データを、第1のAIシステムでの再学習用のデータとして、第1のAIシステムとは異なるコンピュータが備える、検証者用コンピュータからアクセス可能なデータベースに記憶させる、ことを備える。
【0012】
機械学習モデルは、学習データを用いて学習されている。学習データは、機械学習に用いられるデータである。再学習は、AIシステムで用いられている、学習済の機械学習モデルに対して、学習データを用いたさらなる学習を指す。再学習用データは、再学習に用いられる学習データを指す。再学習により、AIシステムで用いられている、学習済の機械学習モデルが、更新される。
【0013】
再学習用データを取得することは、第1のAIシステムでの機械学習モデルを用いた推論処理に用いられたデータから選択されることであってもよい。再学習用データを取得することは、他の例として、第1のAIシステム以外の他の装置から与えられることであってもよい。
【0014】
検証者用コンピュータは、第1のAIシステム以外の装置であって、第1のAIシステムの推論処理で用いられる機械学習モデルの検証に用いるコンピュータを指す。検証者用コンピュータは、第1のAIシステム以外の他のAIシステム(例えば第2のAIシステム)であってもよい。
【0015】
検証者用コンピュータからアクセス可能であることは、データベースからデータを取得可能であることを指す。データの取得は、一例として、検証者用コンピュータがデータベース又はデータベースを管理する装置にデータをリクエストして取得するものであってもよい。データの取得は、他の例として、検証者用コンピュータがデータベースを備えるコンピュータと直接通信してデータを取得することであってもよい。
【0016】
これにより、第1のAIシステムにおける再学習用データが、第1のAIシステムとは異なるコンピュータに備えられた、検証者用コンピュータからアクセス可能なデータベースに記憶されるようになる。そのため、検証者用コンピュータは再学習用データを取得することが可能になる。その結果、検証者用コンピュータなどの他の装置において、第1のAIシステムの検証など、再学習用データを用いた処理が可能になる。検証者用コンピュータで第1のAIシステムの検証が可能になることで、事後的に、機械学習モデルが適正であるか否かを検証することが可能になる。
【0017】
(2)好ましくは、データベースは、分散型コンピュータネットワークシステムを用いた分散型台帳として構成されている。これにより、データベースに記憶させた再学習用データの公平性を高めることができる。
【0018】
(3)好ましくは、管理処理は、分散型コンピュータネットワークシステムに実装されたスマートコントラクトを、分散型コンピュータネットワークシステムを構成するコンピュータが実行することによって実現される処理である。
【0019】
スマートコントラクトは、ブロックチェーンを構成するコンピュータによって実行されるソフトウェア(コンピュータプログラム)である。スマートコントラクトは、例えば、システムの管理者によって、ブロックチェーンにおいて実行されるように、ブロックチェーンに実装される。スマートコントラクトを用いることで、再学習用データをデータベースに記憶させる処理が容易になる。
【0020】
また、スマートコントラクトは、記述できるプログラムコード量(記述できる工程数)に制約が設けられていることがあるため、複数の処理がスマートコントラクトによって実行される場合、各処理を分離しておくことで、1つの処理の工程数の増大を回避するのが容易である。
【0021】
(4)好ましくは、スマートコントラクトによって実現される管理処理は、検証者用コンピュータからの要求に応じて、再学習用データを検証者用コンピュータに提供する、ことをさらに備える。これにより、検証者用コンピュータは再学習用データを用いて第1のAIシステムの検証などの処理を行うことができる。
【0022】
(5)好ましくは、スマートコントラクトによって実現される管理処理は、再学習用データの属性を記憶することを更に備え、属性は、第1のAIシステムの識別情報、再学習用データを生成した装置の識別情報、再学習用データの生成された位置の識別情報、及び、再学習用データの生成時の識別情報、の少なくとも1つを含む。このような属性を記憶することによって、データベースに記憶された再学習用データを、属性を利用して管理することができる。
【0023】
(6)好ましくは、再学習用データを検証者用コンピュータに提供することは、データベースに記憶される再学習用データのうちの、検証者用コンピュータからの要求に含まれる属性によって識別される再学習用データを、検証者用コンピュータに提供することを含む。これにより、検証者用コンピュータから要求された再学習用データを検証者用コンピュータに提供することができるとともに、検証者用コンピュータからの要求も容易になる。
【0024】
(7)好ましくは、スマートコントラクトによって実現される管理処理は、第1のAIシステムから得た再学習用データに対してコードを付与し、コードを第1のAIシステムに送信する、ことをさらに備える。コードは、第1のAIシステムに記憶されてもよい。これにより、第1のAIシステムでは、再学習用データを検証者用コンピュータに提供可能なようにデータベースに記憶させていることが証明できるようになる。
【0025】
(8)好ましくは、コードは、第1のAIシステムに対して再学習用データを用いた再学習を許可するコードである。これにより、第1のAIシステムが再学習用データを用いた再学習を行うためには学習用データを検証者用コンピュータに提供可能なようにデータベースに記憶させることが必要となる。その結果、再学習用データが、検証者用コンピュータに提供可能なようにデータベースに記憶されるようになる。
【0026】
(9)好ましくは、スマートコントラクトによって実現される前記管理処理は、検証者用コンピュータから第1のAIシステムの異常の検証結果を得たことに応じて、第1のAIシステムと異なる第2のAIシステムに対して、第1のAIシステムの異常を通知する、ことをさらに備える。これにより、第2のAIシステムは、第1のAIシステムの異常を知ることができ、対処を講じることができる。
【0027】
(10)好ましくは、異常を通知することは、第1のAIシステムから得た再学習用データに関連する情報を第2のAIシステムに送信することを含む。これにより、第2のAIシステムは、第1のAIシステムの異常に対する対処を、第1のAIシステムから得た再学習用データに関連する情報を用いて行うことができる。
【0028】
(11)実施の形態に係る再学習用データ管理方法は、機械学習モデルを用いた推論処理を実行する第1のAIシステムのための再学習用データ管理方法であって、第1のAIシステムは、機械学習モデルの再学習用データを得て、機械学習モデルの再学習を行うよう構成され、再学習用データ管理方法は、再学習用データを取得し、再学習用データを、第1のAIシステムでの再学習用のデータとして、第1のAIシステムとは異なるコンピュータが備える、検証者用コンピュータからアクセス可能なデータベースに記憶させる、ことを備える。
【0029】
これにより、第1のAIシステムにおける再学習用データが、第1のAIシステムとは異なるコンピュータに備えられた、検証者用コンピュータからアクセス可能なデータベースに記憶されるようになる。そのため、検証者用コンピュータは再学習用データを取得することが可能になる。その結果、検証者用コンピュータなどの他の装置において、第1のAIシステムの検証など、再学習用データを用いた処理が可能になる。検証者用コンピュータで第1のAIシステムの検証が可能になることで、事後的に、機械学習モデルが適正であるか否かを検証することが可能になる。
【0030】
<2.再学習用データ管理システム、及び、再学習用データ管理方法の例>
【0031】
[第1の実施の形態]
【0032】
図1を参照して、実施の形態に係るデータ管理システム1は、ブロックチェーン等のコンピュータネットワークシステム100に実装されたスマートコントラクト121を備える。ブロックチェーンは、図1に示すように、複数のコンピュータが相互に接続されたP2Pのコンピュータネットワークによって構成されている。
【0033】
スマートコントラクト121は、ブロックチェーン等のコンピュータネットワークシステム100に実装されたソフトウェア(コンピュータプログラム)であり、本実施の形態に係るデータ管理処理を実行するよう構成されている。スマートコントラクト121は、コンピュータネットワークシステム100を構成する複数のコンピュータのいずれかによって実行され得る。
【0034】
以降の説明では、スマートコントラクト121を実行する、コンピュータネットワークシステム100を構成するいずれかのコンピュータによる動作を、スマートコントラクト121の動作として説明する。なお、以降の説明では、コンピュータネットワークシステム100を構成する複数のコンピュータのうち、スマートコントラクト121を実行する1つのコンピュータを、コンピュータネットワークシステム100とも称する。
【0035】
コンピュータネットワークシステム100は、インターネット等のネットワークを介して、AI(Artificial Intelligence)システム(第1AIシステム)300と接続されている。AIシステム300は、機械学習モデル312(図3)を有するコンピュータである。
【0036】
コンピュータネットワークシステム100は、図1に示されたように、第1AIシステム300,第2AIシステム300B,…第nAIシステム300Nと接続されていてもよい。その場合、以降の説明において、AIシステム300は、複数のAIシステム300,300B,…300Nのうちの1つのAIシステムを指す。AIシステム300とスマートコントラクト121とは相互に通信可能である。
【0037】
AIシステム300は、学習された機械学習モデル312を備えている。AIシステム300は、機械学習モデル312を用いて、推論処理311(図3)を行う。AIシステム300は、一例として、自動走行を行う車両700の走行制御を行うシステムである。その場合、推論処理311は、車両700の走行中に得られた情報から走行制御を推論する処理であって、具体的には、車両700からの撮影画像から周囲環境を推論する処理を含む。
【0038】
図1の例では、AIシステム300は車両700の走行制御を行うシステムであり、第1AIシステム300は、車両700及び車両700Aの走行制御を行うものとする。同様に、第2AIシステム300Bは、車両700Bの走行制御を行うものとする。
【0039】
機械学習モデル312は、学習データを用いて学習されている。学習データは、機械学習に用いられるデータである。学習は、機械学習モデルを使うことで、適切な出力が生成されるように、モデルをトレーニングすることを指す。機械学習によって、モデルのパラメータが調整される。
【0040】
学習が教師あり学習の場合、学習データは、入力とそれに対応すべき出力とからなる対のデータである。この例の場合、学習データは、例えば、道路標識を含む撮影画像を入力データ、及び、道路標識の示す内容を出力データとする対のデータが挙げられる。学習は、その他、教師なし学習、強化学習などがあり、学習データは、それぞれの学習に応じたデータであってもよい。機械学習モデル312は、学習が繰り返されることによってパラメータが適宜更新され、推論精度を向上させたものである。
【0041】
AIシステム300は、再学習用データを得て、学習済の機械学習モデル312の再学習を行う。再学習は、AIシステム300において学習済の機械学習モデル312に対して行われる、学習データを用いたさらなる学習を指す。学習用データは、再学習に用いられる学習データを指す。再学習により、機械学習モデル312が更新され、進化する。
【0042】
スマートコントラクト121は、第1AIシステム300,第2AIシステム300B,…第nAIシステム300Nそれぞれの再学習に用いられた再学習用データD1,D2,…Dnを取得する。再学習用データD1,D2,…Dnのうちの1つを、再学習用データDとも称する。
【0043】
データ管理システム1は、コンピュータネットワークシステム100に実装された再学習用データ台帳122を備える。再学習用データ台帳122は、AIシステム300とは異なるコンピュータに備えられたデータベース(記憶領域)である。詳しくは、再学習用データ台帳122は、コンピュータネットワークシステム100を構成する複数のコンピュータそれぞれが有するデータベースである。複数のコンピュータそれぞれが有するデータベースは、分散型台帳技術を利用して同期される。
【0044】
スマートコントラクト121は、AIシステム300から取得した再学習用データDを再学習用データ台帳122に記憶させる。再学習用データDを、ブロックチェーン等のコンピュータネットワークシステム100に保持される再学習用データ台帳122に記憶させることによって、再学習用データ台帳122に記憶させた再学習用データDの公平性が高められる。
【0045】
コンピュータネットワークシステム100は、インターネット等のネットワークを介して、検証者用コンピュータ500と接続されている。検証者用コンピュータ500は、検証対象とするAIシステム300(例えば、第1AIシステム300)とは異なるコンピュータであって、再学習用データ台帳122に記憶されている、第1AIシステム300の再学習用データを用いて後述する検証を行う検証者が用いるコンピュータである。検証者用コンピュータ500は、検証対象とする第1AIシステム300以外のAIシステム300(例えば、第2AIシステム300B)を含んでもよい。
【0046】
再学習用データ台帳122は、検証者用コンピュータ500からアクセス可能なデータベースである。アクセス可能であることは、再学習用データ台帳122からデータを取得可能であることを指す。データの取得は、一例として、図1に示されたように、検証者用コンピュータ500がスマートコントラクト121にデータをリクエストし、スマートコントラクト121から取得することであってもよい。データの取得は、他の例として、検証者用コンピュータ500が再学習用データ台帳122と直接通信してデータを取得することであってもよい。
【0047】
図2は、コンピュータネットワークシステム100を構成する複数のコンピュータそれぞれの概略構成を表したブロック図であって、そのうちの1つのコンピュータとしてのコンピュータネットワークシステム100の概略構成として表した図である。
【0048】
図2を参照して、コンピュータネットワークシステム100は、プロセッサ11及びメモリ12を備える。メモリ12は、プロセッサ11に接続されている。メモリ12は、例えば、一次記憶装置及び二次記憶装置を備える。一次記憶装置は、例えば、RAMである。二次記憶装置は、例えば、ハードディスクドライブ(HDD)又はソリッドステートドライブ(SSD)である。
【0049】
メモリ12は、プロセッサ11によって実行されるコンピュータプログラムとしてスマートコントラクト121を備える。プロセッサ11は、メモリ12に格納されたスマートコントラクト121を読み出して実行する。スマートコントラクト121は、コンピュータネットワークシステム100が実行する処理のためのプログラムコードを有し、それぞれがプロセッサ11に処理を実行させる1又は複数のプログラムモジュールを含んでもよい。
【0050】
メモリ12は、スマートコントラクト121によって再学習用データを記憶するための記憶領域として、再学習用データ台帳22を備える。また、メモリ12は、後述する、再学習用データの属性を記憶するための記憶領域として、属性記憶部123を備える。属性記憶部123は、再学習用データごとの属性を示す属性データ124を記憶する。属性が記憶されることによって、再学習用データ台帳22に記憶された再学習用データを、属性を利用して管理することができる。
【0051】
スマートコントラクト121を読み出して実行することによって、プロセッサ11は、格納処理111を実行する。すなわち、スマートコントラクト121は、格納処理111を実行する。格納処理111は、AIシステム300それぞれにおける再学習用データD1,D2,…Dnを取得して、再学習用データ台帳122に記憶させることを含む。一例として、再学習用データD1,D2,…Dnは、それぞれ、AIシステム300それぞれから受信されたものとする。
【0052】
格納処理111は、抽出処理112を含む。抽出処理112は、AIシステム300から受信した再学習用データDから属性を抽出することを含む。抽出される属性は、AIシステム300の識別情報(例えばID(identification))、再学習用データDを生成した装置の識別情報、再学習用データDの生成された位置の識別情報、及び、再学習用データDの生成時の識別情報、の少なくとも1つを含む。
【0053】
AIシステム300の識別情報は、再学習用データDの送信元を解析することによって得られる。AIシステム300が再学習用データDとして車両700から得られた撮影画像を入力データとして用いる場合、再学習用データDを生成した装置の識別情報は、車両700の識別情報(車両ID)となり、AIシステム300での再学習用データDとした撮影画像の送信元を解析することによって得られる。
【0054】
また、上の例の場合、再学習用データDの生成時の識別情報は車両700が撮影を行った時点の識別情報であって、例えば、撮影日時である。また、上の例の場合、再学習用データDの生成位置の識別情報は車両700が撮影を行った位置の識別情報であって、例えば、撮影地点の位置情報である。これらは、再学習用データDに含まれる撮影画像を解析することによって得られる。
【0055】
詳しくは、格納処理111は、コード付与処理113を含む。コード付与処理113は、AIシステム300から得た再学習用データDに対してコードを付与することを含む。コードは、再学習用データ固有の識別情報を指す。
【0056】
コード付与処理113は、再学習用データDに付与したコードを、その再学習用データの送信元であるAIシステム300に送信することを含む。AIシステム300は、このコードを取得することにより、再学習用データDをコンピュータネットワークシステム100に登録したことの証明として用いることができる。
【0057】
再学習用データDをコンピュータネットワークシステム100に登録したことは、ある局面では、機械学習モデル312の再学習を行ったことの証明となる。そのため、コードが取得されていることは、AIシステム300において機械学習モデル312が更新されていることの証明となり得る。また、再学習用データDは、後述するように、検証者用コンピュータ500で読み出されてAIシステム300での機械学習モデル312の検証にも用いることができる。そのため、コードが取得されていることは、AIシステム300が機械学習モデル312の検証可能なAIシステムであることの証明となり得る。
【0058】
好ましくは、格納処理111は、AIシステム300から再学習用データDにコードを関連付けて、再学習用データ台帳122に記憶させる。これにより、再学習用データ台帳122に記憶された再学習用データDがコードを用いて容易に識別できる。
【0059】
格納処理111は、再学習用データDに抽出した属性にコードを対応付け、属性データ124として属性記憶部123に記憶させることを含む。これにより、属性からコードが識別され、そのコードから再学習用データDが容易に識別できる。
【0060】
スマートコントラクト121は、検証処理114を実行する。検証処理114は、検証者用コンピュータ500からの要求に応じて、再学習用データDを検証者用コンピュータ500に提供することを含む。
【0061】
再学習用データDを検証者用コンピュータ500に提供することは、一例として、要求に対応した再学習用データDを再学習用データ台帳122から読み出し、検証者用コンピュータ500に送信することであってよい。これにより、検証者用コンピュータ500は要求した再学習用データDを取得できる。
【0062】
このとき、スマートコントラクト121は、検証者用コンピュータ500から受信した要求より再学習用データDを識別する。そのため、好ましくは、検証処理114は、読出処理115を含む。読出処理115は、検証者用コンピュータ500から受信した要求より再学習用データDの属性を読み出すことを含む。
【0063】
要求から読み出される属性は、一例として、AIシステム300の識別情報である。これは、検証者用コンピュータ500が検証の対象とするAIシステム300の識別情報を特定してスマートコントラクト121に再学習用データDを要求した場合が想定される。
【0064】
要求から読み出される属性は、他の例として、再学習用データDを生成した車両700の識別情報である。これは、検証者用コンピュータ500が検証の対象とする再学習用データDの生成者である車両700の識別情報を特定してスマートコントラクト121に再学習用データDを要求した場合が想定される。
【0065】
要求から読み出される属性は、他の例として、再学習用データDの生成された位置の識別情報や、再学習用データDの生成時の識別情報などである。これは、検証者用コンピュータ500が検証の対象とする再学習用データDの撮影位置や撮影時を特定してスマートコントラクト121に再学習用データDを要求した場合が想定される。
【0066】
再学習用データDを識別することは、一例として、属性記憶部123の属性データ124を参照して、要求から読み出した属性に対応したコードを識別することと、コードに対応した再学習用データDを再学習用データ台帳122から読み出すこと、とを含む。再学習用データDを識別することは、他の例として、要求から読み出した属性を用いて再学習用データ台帳122を検索し、要求から読み出した属性に対応した再学習用データDを再学習用データ台帳122から読み出すこと、であってもよい。これにより、スマートコントラクト121は、検証者用コンピュータ500から要求された再学習用データDを検証者用コンピュータ500に送信することができる。また、検証者用コンピュータ500は、検証に応じた属性で再学習用データDをスマートコントラクト121に要求することができる。
【0067】
スマートコントラクト121は、通知処理116を実行する。通知処理116は、検証者用コンピュータ500から得られた第1AIシステム300の検証結果を、第1AIシステム300とは異なる装置に通知することを含む。第1AIシステム300の検証結果は、正常であることでも、異常であることでも、その両方でもよい。また、検証を行ったことまででもよい。これにより、第1AIシステム300とは異なる装置において、第1AIシステム300の検証結果や、検証が行われたことを把握できる。
【0068】
第1AIシステム300とは異なる装置は、例えば、他のAIシステム300B,…300Nであってもよい。これにより、他のAIシステム300B,…300Nにおいて、第1AIシステム300の検証結果や、検証が行われたことを把握できる。
【0069】
通知処理116は、一例として、検証者用コンピュータ500から第1AIシステム300の検証結果を得たことに応じて行われる。通知処理116は、例えば、異常や正常などの特定の検証結果を得たタイミングで行われてもよい。他の例として、通知処理116は、所定回数、検証者用コンピュータ500から検証結果を受信したタイミングで行われてもよい。これにより、適切なタイミングで、第1AIシステム300の検証結果を把握できる。
【0070】
通知することは、検証に関連した、第1AIシステム300から得られた再学習用データDに関連する情報を他の装置に送信することを含む。再学習用データDに関連する情報は、再学習用データDのコードであってもよいし、再学習用データDの属性であってもよいし、再学習用データDそのものであってもよいし、それらの組み合わせであってもよい。
【0071】
また、検証に関連した再学習用データDは、例えば、検証者用コンピュータ500から検証結果とともに通知されたタイミングに関連した再学習用データDであって、一例として、通知されたタイミングに車両700で撮影された撮影画像を含む再学習用データD、通知されたタイミングに第1AIシステム300から送信された再学習用データD、などである。他の例として、再学習用データDは、通知されたタイミングより前の所定期間に車両700で撮影された撮影画像を含む再学習用データD、第1AIシステム300から送信された再学習用データD、などであってもよい。
【0072】
例えば、検証者用コンピュータ500から異常である検証結果が通知された場合、異常の原因となった可能性のある再学習用データDが他の装置に通知されることになる。他の装置が他のAIシステム300B,…300Nである場合、それらのAIシステム300において通知された再学習用データDや再学習用データDに関連する再学習用データを用いた再学習を行わないようにすることができる。その結果、他のAIシステム300B,…300Nの異常の発生を防止できる。また、他のAIシステム300B,…300Nにおいて通知された再学習用データDや再学習用データDに関連する再学習用データを用いた再学習が行われていたか否かを確認することで、異常の発生を予測することもできる。
【0073】
図3を参照して、AIシステム300は、プロセッサ31及びメモリ32を備える一般的なコンピュータが想定されている。メモリ32は、プロセッサ31に接続されている。メモリ32は、例えば、一次記憶装置及び二次記憶装置を備える。
【0074】
メモリ32は、プロセッサ31によって実行されるコンピュータプログラムとして、推論用プログラム321を備える。プロセッサ31は、推論用プログラム321をメモリ32から読み出して実行することによって、推論処理311を実行する。
【0075】
推論処理311は、機械学習モデル312にデータを入力し、機械学習モデル312から出力されるデータを取得することを含む。一例として、AIシステム300は、車両700からの撮影画像から、車両700の走行方向に設置された道路標識を推論する。この場合、推論処理311において、プロセッサ31は、車両700からの撮影画像を機械学習モデル312の入力データとし、機械学習モデル312から出力される道路標識を示すラベルを取得する。
【0076】
推論処理311は、推論結果を用いた処理の一例として、第1送信処理313を含む。第1送信処理313は、推論結果を所定の出力先に送信することを含む。この例では、第1送信処理313は、機械学習モデル312から出力されたラベルに基づいて生成された制御信号を、車両700に送信することを含む。これにより、機械学習モデル312を利用して車両700の走行制御が実現される。
【0077】
推論処理311は、好ましくは、格納処理314を含む。格納処理314は、推論処理311での推論結果を、メモリ32の記憶領域である推論結果記憶部324に推論結果データ325として格納することを含む。推論結果データ325は、機械学習モデル312への入力データとした車両700からの撮影画像と機械学習モデル312から出力された道路標識を示すラベルの組み合わせを含む。推論結果データ325がメモリ32に格納されることで、後述の再学習処理315で推論結果データ325を再学習用データとして用いることができる。
【0078】
メモリ32は、プロセッサ31によって実行されるコンピュータプログラムとして、再学習用プログラム322を備える。プロセッサ31は、再学習用プログラム322をメモリ32から読み出して実行することによって、再学習処理315を実行する。
【0079】
再学習処理315は、機械学習モデル312を再学習することを含む。再学習処理315では、再学習用データが用いられる。再学習用データは、一例として、推論結果記憶部324に格納された推論結果データ325に含まれる撮影画像とラベルとの組み合せが用いられる。これにより、再学習用データが容易に得られる。好ましくは、推論結果記憶部324に格納された推論結果データ325のうちの、再学習に適したと判定された撮影画像とラベルとの組み合せが用いられる。これにより、再学習に適した再学習データが容易に得られる。再学習に適した推論結果であるか否かの判定は、一例として、外部装置から入力されてもよい。
【0080】
上の例の場合、再学習処理315は、選択処理316を含む。選択処理316は、所定の条件に従って、推論結果記憶部324に格納されている推論結果データ325から、再学習用データとする撮影画像とラベルとの組み合せを選択することを含む。所定の条件は、例えば、上記の例では、外部装置などのからの入力内容に従うものである。所定の条件は、他の例では、所定のタイミングで推論処理311に用いられた撮影画像とラベルとの組み合せなどであってもよい。これにより、再学習用データが得られる。
【0081】
なお、図3に示された、再学習処理315に含まれている第2コード処理319Bは、第2の実施の形態において用いられるものとする。
【0082】
メモリ32は、プロセッサ31によって実行されるコンピュータプログラムとして、記録用プログラム323を備える。プロセッサ31は、記録用プログラム323をメモリ32から読み出して実行することによって、記録処理317を実行する。
【0083】
記録処理317は、第2送信処理318を含み、再学習処理315で用いられた再学習用データDを通信装置33に渡し、スマートコントラクト121に送信させることを含む。これにより、再学習用データDがスマートコントラクト121に送信され、再学習用データ台帳22に記録される。
【0084】
好ましくは、記録処理317は、第1コード処理319Aを含む。第1コード処理319Aは、スマートコントラクト121から、送信した再学習用データDに対して付与されたコードを受信し、コードを、推論結果データ325の再学習用データDに対応した撮影画像とラベルとの組み合せに関連付けて推論結果データ325に加えることを含む。
【0085】
この処理により、図3に表されたように、推論結果データ325のうちの再学習用データDとして再学習用データ台帳22に記録された撮影画像とラベルとの組み合せにコードが付与される。推論結果データ325にコードが含まれていることによって、AIシステム300での再学習が、検証者用コンピュータ500によって検証可能であることが示されている。
【0086】
図4及び図9を用いて、実施の形態に係るデータ管理方法について説明する。実施の形態に係るデータ管理方法は、前提として、第1AIシステム300において、車両700の自動運手制御(ステップS10)の中で、適当なタイミングで機械学習モデル312の再学習(ステップS30)が行われているものとしている。
【0087】
ステップS10の自動運転制御においては、車両700が進行方向などを撮影する(ステップS11)。図9に示されるように、ステップS11では、撮影範囲に道路標識5が含まれる場合、道路標識5の画像を含む撮影画像60が得られる。
【0088】
車両700は、撮影画像60の画像データを第1AIシステム300に送信すると(ステップS13)、第1AIシステム300において撮影画像から標識が推論される(ステップS15)。
【0089】
第1AIシステム300からは、推論結果に基づく制御信号SGが車両700に送信される(ステップS17)。車両700では、その制御信号に基づいて運転制御が実現される(ステップS19)。これにより、車両700の自動運転が実現される。
【0090】
実施の形態に係るデータ管理方法は、ステップS10の自動運転、及び、ステップS20の再学習のうちの適当なタイミングにおいて行われる、再学習用データDを登録すること(ステップS50)を含む。ステップS50においては、ステップS20の再学習を行った第1AIシステム300が再学習用データDをメモリ32に登録するとともに(ステップS51)、再学習用データDをスマートコントラクト121に送信する(ステップS53)。スマートコントラクト121は、再学習用データDを再学習用データ台帳122に登録する(ステップS55)。
【0091】
実施の形態に係るデータ管理方法は、検証者用コンピュータ500に対して再学習用データ台帳122に登録された再学習用データDを提供すること(ステップS70)を含む。ステップS70の処理は、ステップS10の自動運転、及び、ステップS20の再学習のうちの適当なタイミングにおいて行われる。一例として、検証者用コンピュータ500からスマートコントラクト121に対して再学習用データDのリクエストが送信されたタイミング(ステップS71)で、ステップS70は開始される。
【0092】
ステップS70の処理においては、スマートコントラクト121によってステップS71のリクエストに応じた再学習用データDが再学習用データ台帳122から読み出され(ステップS73)、検証者用コンピュータ500に送信される(ステップS75)。これにより、検証者用コンピュータ500などによって、機械学習モデル312の機械学習が正常であるか異常であるかの検証を行うことが可能になる。
【0093】
実施の形態に係るデータ管理方法は、検証者用コンピュータ500からの検証結果に応じて通知を行う処理(ステップS90)を含む。ステップS90の処理は、ステップS10の自動運転、及び、ステップS20の再学習のうちの適当なタイミングにおいて行われる。一例として、検証者用コンピュータ500からスマートコントラクト121に対して検証結果が送信されたタイミング(ステップS91)で、ステップS90の処理は開始される。
【0094】
ステップS91においては、検証者用コンピュータ500から第1AIシステム300の検証結果が送信されたものとする。この場合、スマートコントラクト121は、再学習用データ台帳122から第1AIシステム300の検証結果に関連した再学習用データDを読み出す(ステップS93)。そして、スマートコントラクト121は、第1AIシステム300とは異なるAIシステム、例えば、第2AIシステム300Bに検証結果に基づく通知を行う(ステップS95)。
【0095】
AIシステム300では、一例として、図5に表された流れで処理が行われる。すなわち、図5を参照して、車両700から画像データを受信すると(ステップS101でYES)、AIシステム300のプロセッサ31は、受信した画像データを機械学習モデル312に入力して(ステップS103)、機械学習モデル312から道路標識を示すラベルを受け取る(ステップS105)。プロセッサ31は、機械学習モデル312に入力した画像データと機械学習モデル312から出力されたラベルとを推論結果としてメモリ32に記憶させる(ステップS107)。
【0096】
プロセッサ31は、得られた推論結果から車両700の走行制御のための制御信号を生成するなどして制御信号を得(ステップS109)、車両700に送信する(ステップS111)。これにより、車両700では運転が制御される。
【0097】
プロセッサ31は、予め規定された所定のタイミングに達すると(ステップS113でYES)、機械学習モデル312の再学習用データDとして用いる推論結果をメモリ32から選択し(ステップS115)、機械学習モデル312の再学習を行う(ステップS117)。プロセッサ31は、再学習に用いた再学習用データDをスマートコントラクト121に送信する(ステップS119)。これにより、再学習用データDは再学習用データ台帳122に登録される。
【0098】
ステップS119で再学習用データDを送信した後、プロセッサ31は、ステップS119で送信した再学習用データDに対して付与されたコードをスマートコントラクト121から受信する(ステップS121)。プロセッサ31は、ステップS121でスマートコントラクト121から取得したコードを、再学習用データDとして用いた推論結果と関連付けてメモリ32に記憶させる(ステップS123)。
【0099】
以上の処理を繰り返し実行することで、プロセッサ31は、機械学習モデル312を用いた処理を行う中で機械学習モデル312の再学習を行い、再学習用データDを再学習用データ台帳122に登録する。再学習用データ台帳122に記憶された再学習用データDは、スマートコントラクト121によって検証者用コンピュータ500に提供され得る、つまり、AIシステム300以外の装置からアクセス可能な再学習用データ台帳122に記憶されている。そのため、AIシステム300以外の装置によって再学習用データDを用いた検証などが可能になる。
【0100】
スマートコントラクト121では、一例として、図6に表された流れで、AIシステム300で機械学習モデル312の再学習に用いられた再学習用データDを登録する処理が行われる。すなわち、図6を参照して、スマートコントラクト121は、AIシステム300から再学習用データDを受信すると(ステップS201でYES)、属性を抽出する(ステップS203)。また、スマートコントラクト121は、コードを付与する(ステップS205)。
【0101】
スマートコントラクト121は、再学習用データDをコードとともに再学習用データ台帳122に登録する(ステップS207)。また、スマートコントラクト121は、ステップS203で抽出した属性をコードとともにメモリ12に記憶させる(ステップS209)。
【0102】
プロセッサ11が以上の処理を繰り返し実行することで、AIシステム300で機械学習モデル312の再学習に用いられた再学習用データDが再学習用データ台帳122に登録される。つまり、AIシステム300で機械学習モデル312の再学習に用いられた再学習用データDを、AIシステム300以外の装置によって再学習用データDを用いた検証などが可能な状態とすることができる。
【0103】
スマートコントラクト121では、一例として、図7に表された流れで、AIシステム300で機械学習モデル312の再学習に用いられた再学習用データDを他の装置に提供する処理が行われる。すなわち、図7を参照して、スマートコントラクト121は、検証者用コンピュータ500から再学習用データDのリクエストを受信すると(ステップS301でYES)、リクエストから送信対象とする再学習用データDの属性を抽出する(ステップS303)。
【0104】
スマートコントラクト121は、ステップS303で抽出した属性に対応したコードを識別し、そのコードが付与された再学習用データDを再学習用データ台帳122から読み出す(ステップS305)。スマートコントラクト121は、再学習用データ台帳122から読み出した再学習用データDを検証者用コンピュータ500に送信する(ステップS307)。
【0105】
プロセッサ11が以上の処理を繰り返し実行することで、AIシステム300で機械学習モデル312の再学習に用いられた再学習用データDが、検証者用コンピュータ500などAIシステム300と異なる装置に提供されるようになる。つまり、AIシステム300で機械学習モデル312の再学習に用いられた再学習用データDを、AIシステム300以外の装置によって再学習用データDを用いた検証などが可能なように提供することができる。
【0106】
スマートコントラクト121では、一例として、図8に表された流れで、検証者用コンピュータ500などによるAIシステム300の検証結果に基づいて他の装置に通知する処理が行われる。すなわち、図8を参照して、スマートコントラクト121は、検証者用コンピュータ500からAIシステム300の検証結果を受信すると(ステップS401でYES)、検証結果から通知に用いる再学習用データDの属性を抽出する(ステップS403)。
【0107】
スマートコントラクト121は、ステップS403で抽出した属性に対応したコードを識別し、そのコードが付与された再学習用データDを再学習用データ台帳122から読み出す(ステップS405)。スマートコントラクト121は、再学習用データ台帳122から読み出した再学習用データDを、AIシステム300とは異なる第2AIシステム300Bなどの他の装置に送信する(ステップS407)。
【0108】
プロセッサ11が以上の処理を繰り返し実行することで、機械学習モデル312に異常が生じているなどの検証結果が得られると、その検証に関連したAIシステム300の再学習用データDが第2AIシステム300Bなどの他の装置に送信される。これによって、他の装置に検証結果が通知される。つまり、AIシステム300の機械学習モデル312の異常や正常などの検証結果が他のAIシステムなどで活かされるようになる。
【0109】
例えば、車両700から、図9に示された道路標識5の画像を含む撮影画像60がAIシステム300に送信された場合、AIシステム300は、機械学習モデル312を用いて道路標識5の推論を行う。
【0110】
道路標識5は、図9の示されたように、汚れ51が付着しているなど、本来の表示とは異なる場合がある。本来の表示と異なることは、図9の例のように偶発的なものや、人為的なものや、それらの組み合わせなどを含む。
【0111】
図9の例では、道路標識5は制限速度を表す標識であって、制限速度が時速60キロメートルであることを表したものである。しかしながら、道路標識5に汚れ51が付着していることで、6が8に近い表示となっていることが示されている。この場合、機械学習モデル312から出力されるラベルが「時速60キロメートル以下で走行する」というラベル61の場合と、「時速80キロメートル以下で走行する」というラベル62の場合とが想定される。
【0112】
前者の場合、機械学習モデル312は正常であり、ラベル61に基づく制御信号SGが車両700に送信される。これにより、車両700では道路標識5に従う走行が行われる。
【0113】
一方、後者の場合、機械学習モデル312は異常であり、ラベル62に基づく制御信号SGが車両700に送信される。これにより、車両700では道路標識5で制限速度が時速60キロメートルであることが示されているにも関わらず、それ以上の速度で走行が行われる可能性がある。
【0114】
撮影画像60とラベル61とを用いて機械学習モデル312の再学習が行われた場合、撮影画像60とラベル61とを含む再学習用データDがスマートコントラクト121に送信され、再学習用データ台帳122に登録される。この場合、機械学習モデル312の再学習は適切に行われる。
【0115】
撮影画像60とラベル62とを用いて機械学習モデル312の再学習が行われた場合、撮影画像60とラベル62とを含む再学習用データDがスマートコントラクト121に送信され、再学習用データ台帳122に登録される。この場合の再学習用データDを用いて機械学習モデル312の再学習が行われると、機械学習モデル312の推論精度が劣化する方向の機械学習モデル312の更新となる。
【0116】
再学習用データ台帳122に登録されている再学習用データDを用いることで、検証者用コンピュータ500などの他の装置において、このようにして生じた機械学習モデル312の異常を検証することができる。この場合、一例として、撮影画像60とラベル62とを含む再学習用データDが第2AIシステム300Bなどの他の装置に送信される。これにより、同様の再学習用データを用いて再学習が行われていないか確認したり、以降に同様の再学習用データを用いて再学習を行わないようにしたり、他のシステム300における異常を検出したり防止したりすることに用いることができる。
【0117】
[第2の実施の形態]
【0118】
スマートコントラクト121によって付与されるコードは、再学習の許可コードとして用いられてもよい。第2の実施の形態において、AIシステム300は、選択処理316を行って機械学習モデル312の再学習のための再学習用データDを選択すると、記録処理317を実行し、スマートコントラクト121に再学習用データDを送信する。
【0119】
第2の実施の形態において、AIシステム300の再学習処理315は、図3に表された第2コード処理319Bを含む。第2コード処理319Bは、スマートコントラクト121から付与されたコードを許可コードとして用い、再学習用データDに許可コードが付与されている場合に機械学習モデル312の再学習の再学習処理315を許可することを含む。
【0120】
第2の実施の形態において、AIシステム300は、一例として、図10に表された流れの処理を実行する。図10において、図5のフローチャートと同じステップ番号の処理は、図5の処理と同じである。
【0121】
すなわち、図10を参照して、AIシステム300のプロセッサ31は、予め規定された所定のタイミングに達すると(ステップS113でYES)、機械学習モデル312の再学習用データDとして用いる推論結果をメモリ32から選択する(ステップS115)。このとき、第2の実施の形態では、プロセッサ31は、選択した再学習用データDをスマートコントラクト121に送信する(ステップS513)。これにより、再学習用データDは再学習用データ台帳122に登録される。
【0122】
プロセッサ31は、再学習用データDを用いて機械学習モデル312の再学習を行う際、その再学習用データDにコードが付与されているか否かを確認する。コードが付与されている場合、つまり、ステップS513で送信した再学習用データDに対して付与されたコードをスマートコントラクト121から受信していると(ステップS515でYES)、プロセッサ31は、再学習用データDを用いて機械学習モデル312の再学習を行う(ステップS517)。
【0123】
一方、再学習用データDにコードが付与されていない場合、つまり、再学習用データDに対して付与されたコードをスマートコントラクト121から受信していない場合(ステップS515でNO)、プロセッサ31は、ステップS517をスキップする。
【0124】
プロセッサ31が以上の処理を繰り返し実行することで、機械学習モデル312の再学習は、スマートコントラクト121に送信した再学習用データDのみ用いられ、スマートコントラクト121に送信していない再学習用データDを用いては再学習が行われない。そのため、AIシステム300では、機械学習モデル312の再学習を行うために、用いる再学習用データDを再学習の前にAIシステム300に送信する必要がある。その結果、AIシステム300において再学習に用いられた再学習用データDはすべて再学習用データ台帳122に登録されるようになる。このようにコードを活用することによって、AIシステム300の機械学習モデル312の検証が容易になる。
【0125】
<3.付記>
本発明は、上記実施形態に限定されるものではなく、様々な変形が可能である。
【符号の説明】
【0126】
1 :データ管理システム
5 :道路標識
11 :プロセッサ
12 :メモリ
22 :再学習用データ台帳
31 :プロセッサ
32 :メモリ
33 :通信装置
60 :撮影画像
61 :ラベル
62 :ラベル
100 :コンピュータネットワークシステム
111 :格納処理
112 :抽出処理
113 :コード付与処理
114 :検証処理
115 :読出処理
116 :通知処理
121 :スマートコントラクト
122 :再学習用データ台帳
123 :属性記憶部
124 :属性データ
300 :AIシステム
300B :第2AIシステム
300N :第nAIシステム
311 :推論処理
312 :機械学習モデル
313 :第1送信処理
314 :格納処理
315 :再学習処理
316 :選択処理
317 :記録処理
318 :第2送信処理
319A :第1コード処理
319B :第2コード処理
321 :推論用プログラム
322 :再学習用プログラム
323 :記録用プログラム
324 :推論結果記憶部
325 :推論結果データ
500 :検証者用コンピュータ
700 :車両
700A :車両
700B :車両
D :再学習用データ
D1 :再学習用データ
SG :制御信号
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10