IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社フィードフォースの特許一覧

特許7473274情報処理システム、プログラム及び情報処理方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-04-15
(45)【発行日】2024-04-23
(54)【発明の名称】情報処理システム、プログラム及び情報処理方法
(51)【国際特許分類】
   G06N 20/00 20190101AFI20240416BHJP
【FI】
G06N20/00
【請求項の数】 11
(21)【出願番号】P 2024012286
(22)【出願日】2024-01-30
(62)【分割の表示】P 2023213612の分割
【原出願日】2023-12-19
【審査請求日】2024-01-31
【早期審査対象出願】
(73)【特許権者】
【識別番号】517137251
【氏名又は名称】株式会社フィードフォース
(74)【代理人】
【識別番号】110002789
【氏名又は名称】弁理士法人IPX
(72)【発明者】
【氏名】塚田 耕司
(72)【発明者】
【氏名】八百 俊哉
【審査官】大塚 俊範
(56)【参考文献】
【文献】国際公開第2020/153193(WO,A1)
【文献】国際公開第2023/238544(WO,A1)
【文献】特開2023-088136(JP,A)
【文献】特開2022-064214(JP,A)
【文献】特開2018-206199(JP,A)
【文献】特表2021-536146(JP,A)
【文献】特開2023-133160(JP,A)
【文献】特開2021-086558(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06N 3/00-99/00
G06T 7/00- 7/90
(57)【特許請求の範囲】
【請求項1】
プロセッサを備える情報処理システムであって、
前記プロセッサが、
情報取得ステップでは、機械学習により学習モデルを生成する際に教師データとして用いる画像群に関連する関連情報と、前記学習モデルに再学習をさせることで生じる複数バージョンの学習モデルの間の繋がりを示す接続情報とを取得し、
第1出力ステップでは、前記画像群を教師データとして用いて機械学習をした結果生成される学習モデルを用いた人工知能モジュールにより生成される画像に対応付けて、当該画像群について取得された前記関連情報を示すメタデータを出力し、
出力された前記メタデータには、当該メタデータが示す画像群を用いた機械学習が行なわれた学習モデルのバージョン情報が前記関連情報として示され、
第2出力ステップでは、取得された前記接続情報に基づいて、前記メタデータに前記バージョン情報が示される学習モデルの再学習の元となった旧バージョンの学習元モデル及び当該学習元モデルが教師データとして用いた画像群を示す情報を出力する、
情報処理システム。
【請求項2】
プロセッサを備える情報処理システムであって、
前記プロセッサが、
情報取得ステップでは、機械学習により学習モデルを生成する際に教師データとして用いる画像群に関連する関連情報を取得し、
出力ステップでは、前記画像群を教師データとして用いて機械学習をした結果生成される学習モデルを用いた人工知能モジュールにより生成される画像に対応付けて、当該画像群について取得された前記関連情報を示すメタデータを出力し、
表示制御ステップでは、前記人工知能モジュールにより生成される画像の利用者を入力する画面を表示させ、
前記情報取得ステップでは、入力された前記利用者が前記画像群を利用する権利を示す権利情報を前記関連情報として取得する、
情報処理システム。
【請求項3】
プロセッサを備える情報処理システムであって、
前記プロセッサが、
情報取得ステップでは、機械学習により学習モデルを生成する際に教師データとして用いる画像群に関連する関連情報を取得し、
出力ステップでは、前記画像群を教師データとして用いて機械学習をした結果生成される学習モデルを用いた人工知能モジュールにより生成される画像に対応付けて、当該画像群について取得された前記関連情報を示すメタデータを出力し、
前記学習モデルには、当該学習モデルが機械学習に用いた画像群に関連する情報を含む学習モデル情報が対応付けられており、
前記情報取得ステップでは、前記画像の生成に用いられた学習モデルに対応付けられている前記学習モデル情報に基づいて前記関連情報を取得し、
情報生成ステップでは、前記人工知能モジュールが機械学習に用いた画像群を利用する権利を示す権利情報を含む学習モデル情報を、当該機械学習により生成された学習モデルに対応付けて生成し、
表示制御ステップでは、前記人工知能モジュールにより生成される画像の利用者を入力する画面を表示させ、
前記情報生成ステップでは、入力された前記利用者が前記画像群を利用する権利を示す権利情報を含む情報を前記学習モデル情報として生成する、
情報処理システム。
【請求項4】
プロセッサを備える情報処理システムであって、
前記プロセッサが、
情報取得ステップでは、機械学習により学習モデルを生成する際に教師データとして用いる画像群に関連する関連情報を取得し、
前記関連情報には、前記画像群についての権利情報が含まれ、
前記権利情報は、前記画像群に含まれる画像を利用する権利を示す情報であり、
出力ステップでは、前記画像群を教師データとして用いて機械学習をした結果生成される学習モデルを用いた人工知能モジュールにより生成される画像に対応付けて、当該画像群について取得された前記関連情報を示すメタデータを出力し、
前記権利情報には、前記画像群に含まれる画像に写っている被写体のうちの当該画像に写っている部分又は当該被写体の向きを示す情報が含まれる、
情報処理システム。
【請求項5】
プロセッサを備える情報処理システムであって、
前記プロセッサが、
情報取得ステップでは、機械学習により学習モデルを生成する際に教師データとして用いる画像群に関連する関連情報を取得し、
出力ステップでは、前記画像群を教師データとして用いて機械学習をした結果生成される学習モデルを用いた人工知能モジュールにより生成される画像に対応付けて、当該画像群について取得された前記関連情報を示すメタデータを出力し、さらに、前記メタデータをユーザ端末に対して表示可能に出力し、
画像表示ステップでは、前記メタデータが表示されたユーザ端末に対して前記画像群の表示操作が行われた場合、当該メタデータにより前記関連情報が示される前記画像群に含まれる画像を前記ユーザ端末に表示させ、さらに、前記メタデータにより前記関連情報が示される前記画像群に含まれる画像とともに、当該画像が満たす属性の条件又は当該画像を利用する権利の条件とを前記ユーザ端末に表示させる、
情報処理システム。
【請求項6】
プロセッサを備える情報処理システムであって、
前記プロセッサが、
情報取得ステップでは、機械学習により学習モデルを生成する際に教師データとして用いる画像群に関連する関連情報を取得し、
前記関連情報には、前記画像群についての権利情報が含まれ、
前記権利情報は、前記画像群に含まれる画像を利用する権利を示す情報であり、
出力ステップでは、前記画像群を教師データとして用いて機械学習をした結果生成される学習モデルを用いた人工知能モジュールにより生成される画像に対応付けて、当該画像群について取得された前記関連情報を示すメタデータを出力し、
画像取得ステップでは、ユーザが提供するユーザ画像を取得し、前記ユーザは、前記人工知能モジュールにより生成される画像の利用者であり、
前記ユーザ画像は、前記ユーザが同意した提供条件に基づき取得され、
前記情報取得ステップでは、取得された前記ユーザ画像を含む画像群を教師データとして用いて前記人工知能モジュールが機械学習を行った場合、前記ユーザ画像の前記提供条件を含む情報を当該画像群についての前記権利情報として取得する、
情報処理システム。
【請求項7】
プロセッサを備える情報処理システムであって、
前記プロセッサが、
情報取得ステップでは、機械学習により学習モデルを生成する際に教師データとして用いる画像群に関連する関連情報を取得し、
前記機械学習は、画像を生成する機能を有する人工知能モジュールが行い、
前記関連情報は、前記人工知能モジュールにより生成される画像の利用者が前記画像群を利用する権利を示す権利情報であり、
出力ステップでは、前記画像群を教師データとして用いて機械学習をした結果生成される学習モデルを用いた人工知能モジュールにより生成される画像に対応付けて、当該画像群について取得された前記関連情報を示すメタデータを出力する、
情報処理システム。
【請求項8】
プロセッサを備える情報処理システムであって、
前記プロセッサが、
情報取得ステップでは、機械学習により学習モデルを生成する際に教師データとして用いる画像群に関連する関連情報を取得し、
前記画像群に含まれる各画像は、複数パターンで表される属性をそれぞれ有し、
前記関連情報には、前記画像群に含まれる画像のうち前記属性のパターンが共通する画像の量を示す情報が含まれ、
出力ステップでは、前記画像群を教師データとして用いて機械学習をした結果生成される学習モデルを用いた人工知能モジュールにより生成される画像に対応付けて、当該画像群について取得された前記関連情報を示すメタデータを出力する、
情報処理システム。
【請求項9】
プロセッサを備える情報処理システムであって、
前記プロセッサが、
情報取得ステップでは、機械学習により学習モデルを生成する際に教師データとして用いる画像群に関連する関連情報を取得し、
前記学習モデルには、当該学習モデルが機械学習に用いた画像群に関連する情報を含む
学習モデル情報が対応付けられており、
出力ステップでは、前記画像群を教師データとして用いて機械学習をした結果生成される学習モデルを用いた人工知能モジュールにより生成される画像に対応付けて、当該画像群について取得された前記関連情報を示すメタデータを出力し、
情報生成ステップでは、前記人工知能モジュールが機械学習に用いた画像群を利用する権利を示す権利情報を含む学習モデル情報を、当該機械学習により生成された学習モデルに対応付けて生成し、
前記権利は、前記人工知能モジュールが生成する画像の利用者による権利であり、
前記情報取得ステップでは、前記画像の生成に用いられた学習モデルに対応付けられている前記学習モデル情報に基づいて前記関連情報を取得する、
情報処理システム。
【請求項10】
プログラムであって、コンピュータに、請求項1~請求項の何れか1つに記載の情報処理システムが実行する各ステップを実行させる、プログラム。
【請求項11】
情報処理方法であって、
情報処理システムが備えるプロセッサが、
請求項1~請求項の何れか1つに記載の情報処理システムが実行する各ステップを実行する、
情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理システム、プログラム及び情報処理方法に関する。
【背景技術】
【0002】
特許文献1には、被写体が撮影された複数の画像の一群であるサブ学習画像群の各画像と、前記サブ学習画像群の各画像における前記特定被写体の姿勢情報と、の組み合わせを教師データとして用いた学習処理を行うことによって得られる画像生成器のパラメータに基づいて、前記特定被写体の画像を新たに生成する技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2020-86869号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
人工知能モジュールが画像を生成するためには、既存の画像を教師データとする機械学習が行われる。その際、機械学習に用いられた画像について把握することは、生成された画像を利用する上で重要になる場合がある。
【0005】
本発明では上記事情に鑑み、機械学習に用いられた画像群についての情報を容易に把握することができる情報処理システム等を提供することとした。
【課題を解決するための手段】
【0006】
本発明の一態様によれば、プロセッサを備える情報処理システムが提供される。この情報処理システムでは、プロセッサが、情報取得ステップでは、機械学習に用いる画像群に関連する関連情報を取得する。出力ステップでは、画像群を用いて機械学習をした人工知能モジュールにより生成される画像に対応付けて、当該画像群について取得された関連情報を示すメタデータを出力する。
【0007】
このような態様によれば、機械学習に用いられた画像群についての情報を容易に把握することができる。
【図面の簡単な説明】
【0008】
図1】画像生成システム1の全体構成の一例を示す図である。
図2】サーバ装置10のハードウェア構成の一例を示す図である。
図3】運用者端末20のハードウェア構成の一例を示す図である。
図4】データセット作成処理の一例を示すアクティビティ図である。
図5】表示されたデータセット作成用画面の一例を示す図である。
図6】画像データベースDB1の一例を示す図である。
図7】表示された候補画像の一例を示す図である。
図8】生成されたデータセット情報の一例を示す図である。
図9】学習処理の一例を示すアクティビティ図である。
図10】表示された機械学習用画面の一例を示す図である。
図11】格納された学習モデル情報の一例を示す図である。
図12】画像生成処理の一例を示すアクティビティ図である。
図13】表示された画像生成用画面の一例を示す図である。
図14】表示されたAI画像画面の一例を示す図である。
図15】表示されたDS画像画面の一例を示す図である。
図16】表示された契約情報画面の一例を示す図である。
図17】表示されたメタデータの一例を示す図である。
図18】表示されたメタデータの一例を示す図である。
図19】表示された権利情報の選択用画面の一例を示す図である。
図20】表示されたDS画像の変更用画面の一例を示す図である。
図21】格納された学習モデル情報の別の一例を示す図である。
図22】表示されたメタデータの別の一例を示す図である。
図23】表示されたユーザ画像の追加用画面の一例を示す図である。
図24】格納された学習モデル情報の別の一例を示す図である。
図25】ノード形式で管理される学習モデル情報の一例を示す図である。
【発明を実施するための形態】
【0009】
以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。
【0010】
ところで、本実施形態に登場するソフトウェアを実現するためのプログラムは、コンピュータが読み取り可能な非一時的な記録媒体(Non-Transitory Computer-Readable Medium)として提供されてもよいし、外部のサーバからダウンロード可能に提供されてもよいし、外部のコンピュータで当該プログラムを起動させてクライアント端末でその機能を実現(いわゆるクラウドコンピューティング)するように提供されてもよい。
【0011】
また、本実施形態において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現されうるソフトウェアの情報処理とを合わせたものも含みうる。また、本実施形態においては様々な情報を取り扱うが、これら情報は、例えば電圧・電流を表す信号値の物理的な値、0又は1で構成される2進数のビット集団体としての信号値の高低、又は量子的な重ね合わせ(いわゆる量子ビット)によって表され、広義の回路上で通信・演算が実行されうる。
【0012】
また、広義の回路とは、回路(Circuit)、回路類(Circuitry)、プロセッサ(Processor)、及びメモリ(Memory)等を少なくとも適当に組み合わせることによって実現される回路である。すなわち、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、及びフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))等を含むものである。
【0013】
<実施形態1>
1.システム構成
以下、実施形態1に係るシステム構成を説明する。
図1は、画像生成システム1の全体構成の一例を示す図である。図1においては、画像生成システム1が備える各装置と、それらの装置を使用するユーザの概要が示されている。各概要については、他の図も参照しながら随時説明する。画像生成システム1は、画像を生成する機能を有する人工知能モジュールを用いて画像を生成する情報処理システムである。画像生成システム1は、人工知能モジュールに機械学習を行わせる学習処理及び学習済みの人工知能モジュールに画像を生成させる画像生成処理等を実行する。
【0014】
画像生成システム1は、通信回線2と、サーバ装置10と、運用者端末20と、利用者端末30とを備える。通信回線2は、特に限定されるものではないが、例えば、インターネット網によって構成されている。また、通信回線2は、ローカルエリアネットワーク、移動体通信網及びVPN(Virtual Private Network)等を含んでいてもよい。通信回線2は、自回線に接続する装置同士のデータのやり取りを仲介する。図1の例では、通信回線2には、サーバ装置10が有線で接続され、運用者端末20及び利用者端末30が無線で接続されている。なお、各装置の通信回線2との接続は有線でも無線でもよい。
【0015】
サーバ装置10は、学習処理及び画像生成処理等を実行する情報処理装置である。サーバ装置10は、画像データベースDB1と、データセットデータベースDB2と、学習モデルデータベースDB3とを記憶している。画像データベースDB1は、機械学習に用いる画像等を格納する。データセットデータベースDB2は、画像データベースDB1に格納されている画像から選択された画像群を含むデータセットに関する情報(以下「データセット情報」と言う)を格納する。
【0016】
ここで言うデータセットとは、機械学習の教師データとして用いられるデータの集合体のことである。データセット情報は、例えば、データセットに含まれる画像(以下「DS画像」と言う)を特定可能な情報である。学習モデルデータベースDB3は、データセットを用いて行われた機械学習により生成される学習モデルに関する情報(以下「学習モデル情報」と言う)を格納する。データセット情報及び学習モデル情報については後ほど詳しく説明する。
【0017】
サーバ装置10は、画像生成AIモジュール100を備えている。画像生成AIモジュール100は、AI(Artificial Intelligence)の技術を用いて、画像を生成するように調整(チューニング)された人工知能モジュールである。画像生成AIモジュール100は、データセットデータベースDB2に格納されているデータセット情報により特定されるDS画像を含むデータセットを用いて機械学習を行い、DS画像と似た特徴を有する画像を生成する。以下では、画像生成AIモジュール100が生成した画像を「AI画像」と言う。
【0018】
運用者端末20は、画像生成システム1を運用する運用者をユーザとする端末であり、例えばノートパソコン等である。利用者端末30は、AI画像をウェブページ等で利用する画像利用者をユーザとする端末であり、例えばノートパソコン等である。サーバ装置10は、運用者端末20及び利用者端末30に画像を表示させるための表示処理と、運用者端末20及び利用者端末30のユーザを認証する認証処理とを実行する。
【0019】
サーバ装置10は、例えば、HTML(Hyper Text Markup Language)ファイルの生成及び送信等の処理を表示処理として行い、システム画面を示すウェブページを運用者端末20及び利用者端末30等のユーザ端末に表示させる。なお、ユーザ端末が画像生成システム1を利用するためのアプリケーションプログラムを導入し、サーバ装置10がそのアプリにおける表示用データの生成及び送信等の処理を表示処理として行ってもよい。サーバ装置10は、これらの表示処理を行うことで、ユーザ端末の表示を制御する。
【0020】
サーバ装置10は、運用者及び画像利用者等のユーザを認証するための認証情報(ユーザID及びパスワード等)を記憶し、認証情報を入力したユーザを認証する。サーバ装置10は、ユーザを認証することで、データへのアクセスを制限したり、ユーザが入力したデータを識別可能にしたりすることができる。
【0021】
2.ハードウェア構成
以下、実施形態1に係るハードウェア構成を説明する。
図2は、サーバ装置10のハードウェア構成の一例を示す図である。サーバ装置10は、制御部11と、記憶部12と、通信部13と、バス14とを備える。バス14は、サーバ装置10が備える各部を電気的に接続する。
【0022】
(制御部11)
制御部11は、少なくとも1つのプロセッサを有している。少なくとも1つのプロセッサは、例えば不図示の中央処理装置(Central Processing Unit:CPU)、MPU(Micro Processing Unit)、GPU(Graphics Processing Unit)、1以上のIntegrated Circuit、1以上のDiscrete Circuit、及び、これらの組合せによって構成されてもよい。
【0023】
制御部11は、記憶部12に記憶された所定のプログラムを読み出すことによって、画像生成システム1に係る種々の機能を実現するコンピュータである。すなわち、記憶部12に記憶されているソフトウェアによる情報処理が、ハードウェアの一例である制御部11によって具体的に実現されることで、制御部11に含まれる各機能部として実行されうる。なお、制御部11は単一であることに限定されず、機能ごとに複数の制御部11を有するように実施してもよい。またそれらの組合せであってもよい。
【0024】
(記憶部12)
記憶部12は、前述の記載により定義される様々な情報を記憶する。これは、例えば、制御部11によって実行される画像生成システム1に係る種々のプログラム等を記憶するソリッドステートドライブ(Solid State Drive:SSD)やHDD(Hard Disk Drive)等のストレージデバイスとして、あるいは、プログラムの演算に係る一時的に必要な情報(引数、配列等)を記憶するランダムアクセスメモリ(Random Access Memory:RAM)等のメモリとして実施されうる。記憶部12は、制御部11によって実行される画像生成システム1に係る種々のプログラムや変数等を記憶している。
【0025】
(通信部13)
通信部13は、通信モジュールによって構成される。通信モジュールは、IEEE802.11a/b/g/n/ac/ax、LTE、5G、6G等の規格に準拠する無線通信モジュールであってもよく、IEEE802.3等の規格に準拠する有線通信モジュールであってもよい。通信部13は、サーバ装置10から種々の電気信号を外部の構成要素に送信可能に構成される。また、通信部13は、外部の構成要素からサーバ装置10への種々の電気信号を受信可能に構成される。さらに好ましくは、通信部13がネットワーク通信機能を有し、これにより通信回線2を介して、サーバ装置10と外部機器との間で種々の情報を通信可能に実施してもよい。
【0026】
図3は、運用者端末20のハードウェア構成の一例を示す図である。運用者端末20は、制御部21と、記憶部22と、通信部23と、入力部24と、出力部25と、バス26とを備える。バス26は、運用者端末20が備える各部を電気的に接続する。制御部21、記憶部22及び通信部23は、図2に示す制御部11、記憶部12及び通信部13と、スペック、モデル等は異なっていてもよいが、同様のハードウェアである。
【0027】
(入力部24)
入力部24は、キー、ボタン、タッチスクリーン及びマウス等を有し、ユーザによる入力を受け付ける。また、入力部24は、マイクロフォンを有し、ユーザによる音声の入力を受け付ける。
【0028】
(出力部25)
出力部25は、ディスプレイ及びスピーカ等を有し、ディスプレイの表示面に画面、画像、アイコン、テキスト等といった、ユーザが視認可能な態様で生成された視覚情報を表示し、音声を含む音を出力する。
【0029】
図3に示す利用者端末30は、運用者端末20と同様のハードウェア構成を備える。利用者端末30については、制御部31のみ、運用者端末20の制御部21と異なる符号を付して説明する。
【0030】
3.情報処理
以下、実施形態に係る情報処理について説明する。以下の説明では、サーバ装置10、運用者端末20及び利用者端末30を各情報処理の主体として記載するが、それらの情報処理は、各装置の制御部が有するプロセッサによって実行されている。各プロセッサが実行する情報処理には、上述した学習処理及び画像生成処理の他に、機械学習に用いるデータセットを作成するデータセット作成処理が含まれる。
【0031】
図4は、データセット作成処理の一例を示すアクティビティ図である。図4に示すデータセット作成処理は、運用者端末20のユーザが、データセット作成用画面を表示させる操作を行うことを契機として開始される。まず、サーバ装置10は、データセット作成用画面を示す画面データを生成し、生成した画面データを運用者端末20に送信する(A11)。運用者端末20は、送信されてきた画面データが示すデータセット作成用画面を表示する(A12)。
【0032】
データセット作成用画面では、運用者の操作によってDS画像(データセットに含める画像)が選択される。DS画像の選択方法としては、DS画像として選択する画像のファイル名及びパス名を個別に入力する方法やDS画像とする画像が格納されたフォルダを指定する方法などがあるが、図5の例では、大量の画像の中から特徴が共通する画像をDS画像の候補となる画像(以下「候補画像」と言う)として絞り込んだ上でDS画像とする画像を選択する方法について説明する。
【0033】
図5は、表示されたデータセット作成用画面の一例を示す図である。図5に示すデータセット作成用画面G1では、「データセットに含める画像を選択してください。」という文字列と、画像利用者の入力欄E11と、データセット名の入力欄E12と、画像属性条件の入力欄E13と、画像権利条件の入力欄E14と、画像の表示欄E15と、全て選択ボタンB11と、選択解除ボタンB12と、決定ボタンB13とが表示されている。
【0034】
入力欄E11には、上述したように、AI画像を利用する者が画像利用者として入力される。入力欄E12には、作成するデータセットの名称が入力される。入力欄E13及びE14には、候補画像を絞り込むための絞り込み条件が入力される。これらの絞り込み条件は、後述する画像データベースDB1において各画像に対応付けられている情報に基づいて判断可能な条件である。
【0035】
入力欄E13には、候補画像の属性の条件が絞り込み条件として入力される。画像属性条件は、例えば、画像のサイズ、解像度及び被写体等である。被写体とは、画像が写真である場合に写真に写っている主たる対象のことであり、人物及び風景等がある。なお、「人物」を被写体とする画像とは、その人物が誰であるか見分け可能であり、その人物に肖像権が発生する画像をいうものとする。ここで挙げた属性条件は一例であり、候補画像を絞り込むための条件であれば、どのような属性(例えば、撮影日時、撮影場所又は被写体である人物の氏名等)が用いられてもよい。
【0036】
入力欄E13に、例えば、画像のサイズとして「大」、「中」、「小」が入力される場合、1つのサイズだけが入力されてもよいし、複数のサイズが入力されてもよいし、「全サイズ」というようにサイズを絞り込まない条件が入力されてもよい。このように、画像属性条件には、1以上の条件が入力されていればよい。なお、条件を入力しない場合に、「全サイズ」を入力した場合と同様に条件を絞り込まないようにしてもよい。
【0037】
入力欄E14には、候補画像について画像利用者が有する権利に関する条件が、候補画像の絞り込み条件として入力される。画像利用者が有する権利とは、例えば、候補画像を作成した人物に与えられる著作権、候補画像に写っている著作物の創作者(著作者)が有する著作権、候補画像に写っている人物が主張可能な肖像権、又は、それらの権利の所有者から許諾された、候補画像を利用する権利(以下では単に「許諾」と言う)等である。
【0038】
入力欄E14には、利用可否、利用目的及び利用可能期限等が入力される。利用可否とは、画像利用者が画像を現在利用することが可能か否か、言い換えると、画像利用者が画像の利用を可能にする何らかの権利を現時点で有しているか否かを示す。以下では、画像の利用を可能にする権利のうち、著作権又はその許諾のことを「著作関連権利」と言い、肖像権又はその許諾のことを「肖像関連権利」と言うものとする。
【0039】
以下では、被写体が人物の画像の場合、画像利用者が、著作関連権利及び肖像関連権利の両方を有していると利用可能なので「○」、著作関連権利及び肖像関連権利の片方しか有していないと「△」、著作関連権利及び肖像関連権利の両方を有していないと「×」と示されるものとする。また、被写体が人物以外の画像の場合、画像利用者が、著作関連権利を有していれば利用可能なので「○」、著作関連権利を有していないと「×」と示されるものとする。なお、「△」や「×」の画像であっても、機械学習に使いたい画像であれば画像利用者が著作関連権利又は肖像関連権利を取得して利用することが考えられるので、絞り込み条件とすることが可能となっている。
【0040】
画像利用者が著作権及び肖像権を有している場合は特に画像の利用目的を制限されることはないが、画像利用者がそれらの権利を保持する権利保持者から利用を許諾された被許諾者である場合は、許諾者との契約により利用目的が制限される場合がある。利用目的の入力欄には、そのように制限された利用目的が入力される。利用目的は、例えば、ウェブページでの利用、広告での利用、社内での利用及び社外での利用等である。
【0041】
画像利用者が著作権及び肖像権を有している場合はそれらの権利を有している限りは無期限で画像を利用可能であるが、画像利用者が被許諾者である場合は、許諾者との契約により利用可能な期間の終わり、すなわち利用可能な期限が定められる場合がある。利用可能期限の入力欄には、そのように定められた画像利用者が画像を利用可能な期限が入力される。例えば、「2025年末まで」という期限を入力すると、2025年末までは少なくとも利用可能な画像に絞り込まれる。
【0042】
入力欄E14には、例えば、画像の利用可否を示す情報として、「○」だけが入力されてもよいし、「○」と「△」など複数の条件が入力されてもよいし、「全部」というように利用可否で画像を絞り込まない条件が入力されてもよい。このように、画像権利条件には、画像属性条件と同様に、1以上の条件が入力されていればよい。なお、条件を入力しない場合に、「全部」を入力した場合と同様に条件を絞り込まないようにしてもよい。
【0043】
運用者端末20は、ユーザによる候補画像の絞り込み条件の入力を受け付ける(A13)。運用者端末20は、入力された絞り込み条件をサーバ装置10に送信する。サーバ装置10は、送信されてきた絞り込み条件を満たす画像を、画像データベースDB1に格納されている画像から候補画像として読み出す(A14)。
【0044】
図6は、画像データベースDB1の一例を示す図である。画像データベースDB1には、各画像の画像ファイル名と、画像の属性情報と、契約情報とが対応付けて格納されている。画像ファイル名には、画像データのファイル名に加え、画像データが記憶されているフォルダへのパスが含まれていてもよい。画像の属性情報としては、画像のサイズ、解像度及び被写体等が格納されている。画像の被写体には、人物及び風景等が含まれている。なお、被写体には、これらの他に、建築物、車両及び動物等が含まれていてもよい。
【0045】
画像の契約情報としては、画像の著作権者、著作権の被許諾者、著作権の許諾条件、肖像権の所有者、肖像権の被許諾者及び肖像権の許諾条件等が格納されている。なお、被写体が人物でない場合は肖像権が発生しないので、被写体が風景等の場合は肖像権等が「NA」(該当なし)となっている。許諾条件には、図5で述べた画像の利用目的及び画像の利用可能期限画像等が含まれている。
【0046】
なお、許諾条件には、これらの条件以外にも、画像中の著作物や肖像の範囲を明確に定める条件、画像中の著作物や肖像の改変の制限、利用料金(著作権者と肖像権者への報酬又はロイヤリティを含む)、利用可能期間(利用可能期限だけでなく利用開始時期を含む)、著作権者や肖像権者の表示義務、肖像権者のプライバシーや名誉の保護義務又は利用可能地域等の条件が含まれていてもよい。また、契約情報には、契約の名義人、契約年月日又は契約番号等の情報や、契約書の画像データなどが含まれていてもよい。サーバ装置10は、これらの属性情報及び契約情報が絞り込み条件を満たす画像を読み出して、運用者端末20に送信する。運用者端末20は、送信されてきた画像を候補画像として表示する(A15)。
【0047】
図7は、表示された候補画像の一例を示す図である。図7では、図5に示すデータセット作成用画面G1が示されている。図7の例では、画像利用者として「企業C1」が入力され、データセット名として「企業C1用DSv1.1」が入力されている。運用者端末20は、送信されてきた候補画像を、図5に示す画像の表示欄E15に表示し、それらの候補画像に対応付けてチェックボックスE16を表示する。表示欄E15に表示されている候補画像は一部であり、スクロール等の操作により他の候補画像も表示されるものとする。
【0048】
運用者は、データセットに含めたい候補画像のチェックボックスE16にチェックを入れる。なお、全て選択ボタンB11が操作されると全てのチェックボックスE16がチェックされ、選択解除ボタンB12が操作されると全てのチェックボックスE16のチェックが解除される。運用者が画像属性条件の入力欄E13及び画像権利条件の入力欄E14に入力する条件を変更するたびに、A13からA15までの動作が行われて表示される候補画像が更新される。
【0049】
運用者は、例えば、絞り込み条件により候補画像を大まかに絞り込み、全てのチェックボックスE16にチェックを入れてから、不要な候補画像のチェックボックスE16を解除することで、データセットに含める候補画像を選択する。なお、絞り込み条件を満たさない候補画像を追加できるように、絞り込み条件を満たさない候補画像を別の表示領域に表示させる機能があってもよい。運用者は、データセットに含める候補画像が決定すると、決定ボタンB13を操作する。
【0050】
運用者端末20は、絞り込み条件の入力操作、チェック操作及び決定ボタンB13への操作を候補画像の選択操作及び決定操作として受け付け(A16)、選択結果を示す選択結果データをサーバ装置10に送信する。サーバ装置10は、送信されてきた選択結果データが示す候補画像をDS画像として確定し、確定したDS画像を含むデータセットに関する情報をデータセット情報として生成する(A17)。そして、サーバ装置10は、生成したデータセット情報を図1に示すデータセットデータベースDB2に格納して保存する(A18)。
【0051】
図8は、生成されたデータセット情報の一例を示す図である。図8に示すデータセットデータベースDB2には、データセット名に対応付けて、絞り込み条件と、画像情報と、権利情報とがデータセット情報として格納されている。絞り込み条件には、データセット作成用画面G1において画像属性条件の入力欄E13及び画像権利条件の入力欄E14に入力されていた条件が格納されている。この絞り込み条件で絞り込まれた候補画像が全てデータセットに含められている訳ではないが、データセットに含まれている画像の特徴を表す参考情報として、絞り込み条件が格納される。
【0052】
画像情報には、画像ファイル名及び被写体等の情報が含まれている。画像ファイル名には、データセットに含まれる全DS画像のファイル名(パス名も含まれていてもよい)が示されている。サーバ装置10は、この画像ファイル名を参照することで、データセットに含まれるDS画像を読み出すことができる。
【0053】
被写体には、データセットに含まれる全てのDS画像に写る被写体の割合が示されている。例えば、「企業C1用DSv1.1」というデータセットの場合、人物が80%、風景が10%というように被写体の割合が示されている。サーバ装置10は、画像データベースDB1に格納されている全DS画像の被写体の件数を計数してこの割合を算出する。なお、画像情報には、被写体以外にも、例えば、画像の枚数、画像サイズ及び解像度等の情報が格納されていてもよい。要するに、データセットにどのようなDS画像が含まれているのかという見当を付けやすいように、それらのDS画像の特徴が表される情報が画像情報として含まれていればよい。
【0054】
権利情報には、画像利用者(図中では「利用者」)、可否情報、著作権所有、著作権許諾、その許諾条件、肖像権所有、肖像権許諾及びその許諾条件等が含まれている。画像利用者は、権利情報が示すDS画像の利用者である。
【0055】
可否情報は、データセットに含まれる全DS画像の利用可否を示す情報である。DS画像の利用可否は、上述したように、画像利用者が、著作関連権利及び肖像関連権利の両方(被写体に人物を含まない場合は著作関連権利のみ)を有する場合は「○」、それらのうちの片方しか有しない場合は「△」、それらの両方を(被写体に人物を含まない場合は著作関連権利のみを)有しない場合は「×」と示される。可否情報は、全DS画像が「○」である場合は「○」、一つでも「△」がある場合は「△」、一つでも「×」がある場合は「×」と示されるものとする。
【0056】
「著作権所有」には、全DS画像のうち画像利用者が著作権を所有している画像の割合が示されている。「著作権許諾」には、全DS画像のうち画像利用者が著作権を許諾されている画像の割合が示されている。著作権の「許諾条件」には、全DS画像のうち、許諾条件が共通する画像の割合が示されている。図8の例では、許諾条件のうち利用可能期間が共通する画像の割合が示されている。「企業C1用DSv1.1」というデータセットの場合、「無期限」が50%、「~20xx」が25%、「~20yy」が10%というように示されている。
【0057】
「肖像権所有」には、被写体が人物である全DS画像のうち画像利用者が肖像権を所有している画像の割合が示されている。「肖像権許諾」には、被写体が人物である全DS画像のうち画像利用者が肖像権を許諾されている画像の割合が示されている。肖像権の「許諾条件」には、被写体が人物である全DS画像のうち、許諾条件が共通する画像の割合が示されている。図8の例では、許諾条件のうち利用可能期間が共通する画像の割合が示されている。「企業C1用DSv1.1」というデータセットの場合、「無期限」が40%、「~20xx」が30%、「~20yy」が15%というように示されている。
【0058】
サーバ装置10は、画像データベースDB1に格納されている各DS画像の契約情報を参照して上述した権利情報を算出し、データセットデータベースDB2に格納する。なお、図8に示す権利情報は一例であり、これらの情報に限らない。権利情報には、例えば、利用可能期限以外の許諾条件が含まれていてもよいし、共通する画像の割合が最も多い許諾条件のみが含まれていてもよい。要するに、データセットに含まれているDS画像の権利の状況の見当を付けやすいように、それらのDS画像の権利についての特徴が表される情報が権利情報として含まれていればよい。
【0059】
続いて、以上で述べたデータセット作成処理により作成されたデータセットを用いて機械学習を行わせる学習処理について説明する。
図9は、学習処理の一例を示すアクティビティ図である。図9に示す学習処理は、運用者端末20のユーザが、機械学習用画面を表示させる操作を行うことを契機に開始される。まず、サーバ装置10は、機械学習用画面を示す画面データを生成し、生成した画面データを運用者端末20に送信する(A21)。運用者端末20は、送信されてきた画面データが示す機械学習用画面を表示する(A22)。
【0060】
図10は、表示された機械学習用画面の一例を示す図である。図10に示す機械学習用画面G2では、「機械学習に用いるデータセットを選択してください。」という文字列と、画像利用者の入力欄E21と、学習モデル名の入力欄E22と、データセットの一覧の表示欄E23と、機械学習の実行ボタンB21とが表示されている。入力欄E21には、AI画像を利用する者が画像利用者として入力される。図10の例では、画像利用者として「企業C1」が入力されている。
【0061】
運用者端末20は、画像利用者の入力を受け付けると(A23)、入力された画像利用者を示す利用者データをサーバ装置10に送信する。サーバ装置10は、利用者データが送信されてくると、データセットデータベースDB2を参照し、利用者データが示す画像利用者に対応付けられているデータセット情報を読み出す(A24)。サーバ装置10は、読み出したデータセット情報を運用者端末20に送信する。運用者端末20は、送信されてきたデータセット情報をデータセットの一覧の表示欄E23に表示する(A25)。
【0062】
図10の例では、運用者端末20は、データセット名、利用の可否(図中の「可否」)、被写体、著作権の許諾条件及び肖像権の許諾条件をデータセット情報として表示している。図10の例では、「企業C1用DSv1.1」、「企業C1用DSv1.2」、「企業C1用DSv1.3」、「企業C1用DSv2.1」及び「企業C1用DSv2.2」という企業C1を画像利用者として作成されたデータセットのデータセット情報が表示されている。
【0063】
なお、表示欄E23に表示されるデータセット情報は図10に示すものに限らない。例えば、画像の枚数、解像度、著作権とその許諾との割合又は肖像権とその許諾との割合等が表示欄E23に表示されてもよい。要するに、機械学習に用いるデータセットを選ぶ際の判断材料として、そのデータセットに含まれるDS画像の特徴及び権利の特徴が表される情報がデータセット情報として表示されていればよい。
【0064】
運用者は、表示されているデータセット情報を参考にして、機械学習に用いるデータセットを選択する。図10の例では、運用者は、「企業C1用DSv1.3」を選択している。なお、図10の例では1つのデータセットだけが選択されているが、2以上のデータセットが選択されてもよい。運用者は、機械学習により生成される学習モデルの名称を入力する。図10の例では、運用者は「企業C1用モデルv1.3」と入力している。運用者は、機械学習の実行ボタンB21を操作することで、選択したデータセットでの機械学習を画像生成AIモジュール100に実行させる。
【0065】
運用者端末20は、上記の操作を、データセットを選択する操作(A26)と、機械学習を指示する操作(A27)として受け付け、選択されたデータセット及び入力された学習モデルの名称とを示す指示データをサーバ装置10に送信する。サーバ装置10は、送信されてきた指示データが示すデータセットに含まれるDS画像のファイル名をデータセットデータベースDB2において参照し、参照したファイル名の画像をデータセットとして読み出す(A31)。
【0066】
次に、サーバ装置10は、読み出したデータセットを用いて機械学習を実行するよう画像生成AIモジュール100に指示する(A32)。画像生成AIモジュール100は、指示されたデータセットを用いて機械学習を実行する(A33)。画像生成AIモジュール100は、機械学習を実行した結果、データセットに含まれるDS画像に似た画像を出力することが可能な学習モデルを生成する。サーバ装置10は、生成された学習モデルを、その学習モデルに関する学習モデル情報に対応付けて学習モデルデータベースDB3に格納して保存する(A34)。
【0067】
図11は、格納された学習モデル情報の一例を示す図である。図11に示す学習モデルデータベースDB3には、学習モデルに対応付けて学習モデル情報が格納されている。学習モデル情報には、データセット名と、画像情報と、権利情報とが含まれている。データセット名には、学習モデルを生成する際の機械学習に用いられたデータセットの名称が示されている。例えば、「企業C1用モデルv1.1」には、「企業C1用DSv1.1」が対応付けられている。また、「企業C1用モデルv1.2」には、「企業C1用DSv1.1」及び「企業C1用DSv2.1」という2つのデータセットが対応付けられている。
【0068】
画像情報及び権利情報には、データセットデータベースDB2において該当するデータセットに対応付けて格納されている画像情報及び権利情報が読み出されて格納されている。例えば、「企業C1用モデルv1.1」には、「人物:80%」等の被写体の割合を含む画像情報と、「企業C1」という画像利用者、「○」という利用可否、「無期限:50%」等の著作権の許諾条件及び「無期限:40%」等の肖像権の許諾条件等を含む権利情報とが対応付けて格納されている。
【0069】
サーバ装置10は、データセットデータベースDB2に格納されている画像情報及び権利情報を参照し、機械学習に用いられたデータセットに対応付けられている情報を読み出して学習モデルデータベースDB3に格納する。なお、サーバ装置10は、「企業C1用モデルv1.2」のように機械学習に用いられたデータセットが2以上ある学習モデルについては、画像データベースDB1においてそれらのデータセットに含まれる画像に対応付けられている画像情報及び契約情報を参照し、被写体の割合及び許諾条件等の割合を算出し直して、画像情報及び権利情報として格納する。
【0070】
図11に示す学習モデル情報は一例であり、これらの情報に限らない。学習モデル情報には、画像の枚数又は解像度等の画像情報が含まれていてもよいし、利用可能期限以外の許諾条件又は共通する画像の割合が最も多い許諾条件のみが権利情報として含まれていてもよい。要するに、学習モデルの機械学習に用いられたデータセットに含まれているDS画像の特徴やそのDS画像の権利の状況の見当を付けやすいように、それらのDS画像の特徴及び権利の特徴が表される情報が学習モデル情報として含まれていればよい。
【0071】
続いて、以上で述べた学習処理により生成された学習モデルを用いてAI画像を生成する画像生成処理について説明する。
図12は、画像生成処理の一例を示すアクティビティ図である。図12に示す画像生成処理は、運用者端末20のユーザが、画像生成用画面を表示させる操作を行うことを契機に開始される。まず、サーバ装置10は、画像生成用画面を示す画面データを生成し、生成した画面データを運用者端末20に送信する(A41)。運用者端末20は、送信されてきた画面データが示す画像生成用画面を表示する(A42)。
【0072】
図13は、表示された画像生成用画面の一例を示す図である。図13に示す画像生成用画面G3では、「画像生成に用いる学習モデルを選択してください。」という文字列と、画像利用者の入力欄E31と、学習モデルの一覧の表示欄E32と、プロンプトの入力欄E33と、画像生成の実行ボタンB31とが表示されている。入力欄E31には、AI画像を利用する者が画像利用者として入力される。図13の例では、画像利用者として「企業C1」が入力されている。
【0073】
運用者端末20は、画像利用者の入力を受け付けると(A43)、入力された画像利用者を示す利用者データをサーバ装置10に送信する。サーバ装置10は、利用者データが送信されてくると、利用者データが示す画像利用者に対応付けられている学習モデル情報を読み出す(A44)。サーバ装置10は、読み出した学習モデル情報を運用者端末20に送信する。運用者端末20は、送信されてきた学習モデル情報を学習モデルの一覧の表示欄E32に表示する(A45)。
【0074】
図13の例では、運用者端末20は、学習モデル名、利用の可否(図中の「可否」)、被写体、著作権の許諾条件及び肖像権の許諾条件を学習モデル情報として表示している。図13の例では、「企業C1用モデルv1.1」、「企業C1用モデルv1.2」、「企業C1用モデルv1.3」、「企業C1用モデルv2.1」及び「企業C1用モデルv2.2」という企業C1を画像利用者として実行された機械学習により生成された学習モデルの学習モデル情報が表示されている。
【0075】
なお、表示欄E32に表示される学習モデル情報は図13に示すものに限らない。例えば、画像の枚数、解像度、著作権とその許諾との割合又は肖像権とその許諾との割合等が表示欄E32に表示されてもよい。要するに、AI画像生成に用いる学習モデルを選ぶ際の判断材料として、その学習モデルの機械学習に用いられたデータセットに含まれるDS画像の特徴及び権利の特徴が表される情報が学習モデル情報として表示されていればよい。
【0076】
運用者は、表示されている学習モデル情報を参考にして、AI画像の生成に用いる学習モデルを選択する。図13の例では、運用者は、「企業C1用モデルv1.3」を選択している。運用者は、プロンプトの入力欄E33に生成させたいAI画像を指示する文章(いわゆるプロンプト)を入力する。そして、運用者は、画像生成の実行ボタンB31を操作することで、入力したプロンプトを用いて、選択した学習モデルでのAI画像の生成を画像生成AIモジュール100に実行させる。
【0077】
運用者端末20は、上記の操作を、学習モデルを選択する操作(A46)と、プロンプトの入力操作(A47)と、AI画像の生成を指示する操作(A48)として受け付け、選択された学習モデルと入力されたプロンプトとを示す指示データをサーバ装置10に送信する。サーバ装置10は、送信されてきた指示データに基づいてAI画像の生成処理を実行する(A51)。サーバ装置10は、具体的には、画像生成AIモジュール100に対して、指示データが示す学習モデル及びプロンプトを用いたAI画像の生成を指示する処理を実行する。画像生成AIモジュール100は、この指示に基づいて、AI画像を生成する。
【0078】
次に、サーバ装置10は、AI画像の生成に用いられた学習モデルに学習モデルデータベースDB3において対応付けられている学習モデル情報を読み出す(A52)。続いて、サーバ装置10は、読み出した学習モデル情報に基づいて、生成されたAI画像のメタデータを生成する(A53)。そして、サーバ装置10は、生成されたAI画像及びメタデータを表示するAI画像画面を示す画面データを生成し、生成した画面データを運用者端末20に送信する(A54)。運用者端末20は、送信されてきた画面データが示すAI画像画面を表示する(A55)。
【0079】
図14は、表示されたAI画像画面の一例を示す図である。図14に示すAI画像画面G4では、「AI画像が完成しました。」という文字列と、AI画像の表示欄E41と、メタデータの表示欄E42と、戻るボタンB41と、画像の再生成ボタンB42とが表示されている。表示欄E41には、生成されたAI画像F41が表示されている。表示欄E41には、生成されたメタデータM41が表示されている。
【0080】
図14の例では、サーバ装置10は、「画像ID」と、「学習モデル名」と、「モデルの安全性」と、「データセット名」と、DS画像へのリンクL41と、契約情報へのリンクL42とを含むメタデータM41を生成している。「画像ID」には、画像生成AIモジュール100がAI画像F41を生成する際に発行するそのAI画像の識別情報が示されている。「学習モデル名」には、AI画像F41の生成に用いられた学習モデルの名称が示されている。「データセット名」には、AI画像F41の生成に用いられた学習モデルの機械学習に用いられたデータセットの名称が示されている。
【0081】
「モデルの安全性」には、AI画像F41の生成に用いられた学習モデルの権利的な安全性が示されている。サーバ装置10は、AI画像F41の生成に用いられた学習モデルの学習モデル情報に含まれる「利用可否」を「モデルの安全性」として示している。つまり、サーバ装置10は、AI画像F41の生成に用いられた学習モデルの機械学習に用いられたデータセットに含まれるDS画像の全てにおいて、著作関連権利及び肖像関連権利の両方が揃っている場合は「○」、それらのうち一方が欠けた画像が1つでも含まれている場合は「△」、それらの両方が欠けた画像が1つでも含まれている場合は「×」と示している。
【0082】
戻るボタンB41が操作された場合は、サーバ装置10は、1つ前の画面の図13に示す画像生成用画面G3に戻って、画像生成の実行ボタンB31が操作される直前の画面を表示させる。運用者は、表示された画像生成用画面G3において、再度学習モデルの選択等を行うことができる。画像の再生成ボタンB42が操作された場合は、サーバ装置10は、学習モデル等を変更せずに再度A51以降の処理を実行し、再度生成したAI画像及びメタデータを運用者端末20に表示させる。
【0083】
DS画像へのリンクL41は、「データセット名」に示されるデータセットに含まれる画像へのリンクを示す。リンクL41が操作された場合、運用者端末20は、その操作を受け付け、操作されたリンクL41によりリンクされているデータセットの名称と、DS画像の表示を指示する指示データをサーバ装置10に送信する(A61)。サーバ装置10は、送信されてきた指示データが示す名称のデータセットに含まれるDS画像を画像データベースDB1から読み出し(A62)、読み出したDS画像の一覧を示すDS画像画面を生成する(A63)。サーバ装置10は、生成したDS画像画面を示す画面データを生成し、生成した画面データを運用者端末20に送信する。運用者端末20は、送信されてきた画面データが示すDS画像画面を表示する(A64)。
【0084】
図15は、表示されたDS画像画面の一例を示す図である。図15に示すDS画像画面G5では、「機械学習に用いられたデータセットに含まれる画像です。」という文字列と、画像利用者の表示欄E51と、データセット名の表示欄E52と、画像属性条件の表示欄E53と、画像権利条件の表示欄E54と、DS画像の表示欄E55とが表示されている。サーバ装置10は、画像データベースDB1、データセットデータベースDB2及び学習モデルデータベースDB3を参照して、これらの表示欄の表示を制御している。
【0085】
サーバ装置10は、表示欄E51に、生成されたAI画像を利用する画像利用者の名称を表示させ、表示欄E52に、機械学習に用いられたデータセットの名称を表示させている。また、サーバ装置10は、表示欄E53及びE54に、機械学習に用いられたDS画像が満たす絞り込み条件(属性の条件及び権利の条件)を表示させ、表示欄E55に、そのデータセットに含められるDS画像を表示させている。表示欄E55に表示されているDS画像は一部であり、スクロール等の操作により他のDS画像も表示されるものとする。
【0086】
図15では、図5等で述べたように絞り込み条件で候補画像を絞り込んでから選択した場合のDS画像の表示の一例を示している。図15の例においては、絞り込み条件を表示することで、DS画像がどのような共通する特徴を有しているのかを把握することができるようになっている。なお、DS画像の選択がファイル名、パス名やフォルダ名を指定することで行われた場合は、絞り込み条件に代えてそれらのファイル名等が表示されてもよい。
【0087】
契約情報へのリンクL42は、「データセット名」に示されるデータセットに含まれる画像の契約情報へのリンクを示す。リンクL42が操作された場合、運用者端末20は、その操作を受け付け、操作されたリンクL42によりリンクされているデータセットの名称と、契約情報の表示を指示する指示データをサーバ装置10に送信する(A71)。サーバ装置10は、送信されてきた指示データが示す名称のデータセットに含まれるDS画像の契約情報を画像データベースDB1から読み出し(A72)、読み出した契約情報の一覧を示す契約情報画面を生成する(A73)。サーバ装置10は、生成した契約情報画面を示す画面データを生成し、生成した画面データを運用者端末20に送信する。運用者端末20は、送信されてきた画面データが示す契約情報画面を表示する(A74)。
【0088】
図16は、表示された契約情報画面の一例を示す図である。図16に示す契約情報画面G6では、「機械学習に用いられたデータセットに含まれる画像の契約情報です。」という文字列と、画像利用者の表示欄E61と、データセット名の表示欄E62と、DS画像の契約情報一覧の表示欄E63とが表示されている。サーバ装置10は、画像データベースDB1、データセットデータベースDB2及び学習モデルデータベースDB3を参照して、これらの表示欄の表示を制御している。
【0089】
サーバ装置10は、表示欄E61に、生成されたAI画像を利用する画像利用者の名称を表示させ、表示欄E62に、機械学習に用いられたデータセットの名称を表示させている。また、サーバ装置10は、表示欄E63に、機械学習に用いられたDS画像のファイル名と、それらのDS画像の契約情報とを対応付けて表示させている。契約情報には、画像の著作権者、著作権の被許諾者、著作権の許諾条件、肖像権の所有者、肖像権の被許諾者及び肖像権の許諾条件等が含まれている。被写体が人物でないDS画像については肖像関連権利が「NA」(該当なし)と示されている。
【0090】
以上のとおり、画像生成システム1においては、サーバ装置10は、機械学習に用いる画像群に関連する関連情報を取得する情報取得部の一例として機能する。機械学習に用いる画像群は、言い換えると、データセットに含まれる画像群、すなわち、複数のDS画像である。サーバ装置10は、例えば、図12に示すA52において学習モデル情報を関連情報として取得している。学習モデル情報は、図11に示すように、複数のDS画像の画像情報及び権利情報を示す情報である。このように、サーバ装置10が取得する関連情報(学習モデル情報)には、機械学習に用いる画像群についての権利情報が含まれている。
【0091】
権利情報は、機械学習に用いる画像群に含まれる画像(DS画像)を利用する権利を示す情報である。図11の例では、DS画像を利用する権利の主体である画像利用者、DS画像の利用可否、著作権の許諾条件及び肖像権の許諾条件等が権利情報に含まれている。そして、サーバ装置10は、それらの画像群を用いて機械学習をした人工知能モジュール(画像生成AIモジュール100がその一例)により生成されるAI画像に対応付けて、それらの画像群について取得された関連情報を示すメタデータを出力する出力部の一例として機能する。
【0092】
サーバ装置10は、図14の例では、AI画像F41に対応付けてメタデータM41を運用者端末20に対して出力し、表示させている。メタデータM41には、AI画像F41を生成した画像生成AIモジュール100が機械学習に用いたDS画像、すなわち、「企業C1用DSv1.3」というデータセットに含まれるDS画像について、「モデルの安全性」(DS画像の利用可否と同じ情報)が「○」であるという権利情報が示されている。
【0093】
このような態様によれば、図14に示すようなメタデータが出力されない場合に比べて、機械学習に用いられた画像群、すなわち、AI画像を生成した人工知能モジュールが機械学習に用いた複数のDS画像についての情報を容易に把握することができる。図14の例では、AI画像F41の生成にあたり人工知能モジュールの機械学習に用いられた複数のDS画像についての権利情報を容易に把握することができる。
【0094】
もし仮に、AI画像の利用者が利用する権利を有しないDS画像を含む画像群、すなわち、権利に不備がある画像群を用いて機械学習をさせた場合、他人の権利を侵害する意図があったと判断されたり、他人の権利を侵害しないようにするための注意を怠ったと判断されたりする可能性がある。反対に、AI画像の利用者が利用する権利を有するDS画像のみを含む画像群、すなわち、権利に不備がない画像群を用いて機械学習をさせた場合、他人の権利を侵害する意図がないことや、他人の権利を侵害しないように十分注意していることが認められやすい。
【0095】
メタデータに権利情報が示されることで、そのメタデータに対応するAI画像を生成した人工知能モジュールが権利に不備がある画像群と権利に不備がない画像群のどちらを用いて機械学習を行ったかが分かるので、そのAI画像の利用者は、AI画像の権利的な安全性を把握することができる。
【0096】
また、サーバ装置10は、機械学習に用いる画像群に含める画像(DS画像)の選択を受け付ける選択受付部の一例として機能する。サーバ装置10は、図5図7の例では、データセット作成用画面G1を表示させることでDS画像の選択を受け付けている。選択されたDS画像には、図6に示すように、それらのDS画像を利用する権利を規定する契約の内容を表す契約情報が対応付けられている。
【0097】
サーバ装置10は、上記の選択により画像群に含められたDS画像に対応付けられている契約情報に基づいて、その画像群についての権利情報を生成する生成部の一例として機能する。サーバ装置10は、例えば、図8の例では、DS画像に対応付けられている著作関連権利及び肖像関連権利を示す契約情報に基づいて、DS画像の利用可否及び許諾条件が共通するDS画像の割合という権利情報を生成している。このような態様によれば、同様の権利情報をユーザが手作業で準備する場合に比べて、権利情報の準備の手間を減らすことができる。
【0098】
また、サーバ装置10は、メタデータをユーザ端末に対して表示可能に出力する出力部の一例として機能する。運用者端末20は、ユーザ端末の一例であり、図14の例ではメタデータM41を表示している。そして、サーバ装置10は、メタデータが表示されたユーザ端末に対して機械学習に用いられた画像群の表示操作が行われた場合、そのメタデータにより関連情報が示される画像群に含まれる画像をユーザ端末に表示させる画像表示部の一例として機能する。このような態様によれば、上記の表示操作によるDS画像の表示制御が行われない場合に比べて、機械学習された実際の画像の検証を容易にすることができる。
【0099】
また、サーバ装置10は、メタデータが表示されたユーザ端末に対して権利の詳細の表示操作が行われた場合、そのメタデータが示す権利情報の元となった契約情報をユーザ端末に表示させる契約表示部の一例として機能する。サーバ装置10は、図14の例では、メタデータM41に含まれる契約情報へのリンクL42への操作が機械学習に用いられた画像群を利用する権利の詳細の表示操作として行われた場合に、図16に示すようにメタデータM41により権利情報が示されるDS画像の契約情報を運用者端末20に表示させている。このような態様によれば、上記の表示操作による契約情報の表示制御が行われない場合に比べて、画像の権利を示す契約内容の検証を容易にすることができる。
【0100】
<変形例:権利情報>
メタデータに含まれる権利情報は、図14に示す情報(モデルの安全性=利用の可否)に限らない。
図17は、表示されたメタデータの一例を示す図である。図17の例では、サーバ装置10が、図14に示すメタデータの表示欄E42に、メタデータM42を表示させている。メタデータM42には、図14に示す権利情報(モデルの安全性)に加え、「著作関連権利」及び「肖像関連権利」が含まれている。
【0101】
具体的には、著作関連権利として、「著作権=4%」及び「著作権の許諾=96%」という「利用の権原」と、「無期限:45%、~20xx:35%、~20yy:5%、・・・」という「利用可能期限」と、「ウェブページ、広告、社内資料、社外資料、・・・」という「利用目的」とが含まれている。また、肖像関連権利として、「肖像権=2%」及び「肖像権の許諾=98%」という「利用の権原」と、「~20xx:30%、~20yy:25%、無期限:20%、・・・」という「利用可能期限」と、「ウェブページ、広告、社内資料、社外資料、・・・」という「利用目的」とが含まれている。
【0102】
このように、権利情報には、DS画像を利用する権利が有効となる条件を示す情報が含まれていてもよい。DS画像を利用する権利が有効となる条件は、図17に示す利用可能期限及び利用目的の他、DS画像の利用可能地域、許諾の更新条件又は許諾料金等の条件である。メタデータにこれらの条件が含まれていることで、AI画像の利用者に対して、DS画像を利用する権利が無効にならないように注意喚起することができる。
【0103】
例えば、AI画像の利用者は、利用可能期限が20xx年までとなっているDS画像が含まれていることが注意喚起されれば、生成されたAI画像の利用を20xx年までとするか、該当するDS画像の利用可能期限を延長するといった対策を行うことができる。また、AI画像の利用者は、許諾されている利用目的以外の目的で生成されたAI画像を利用しないように注意することができる。
【0104】
また、権利情報には、DS画像を利用する権利が有効となる条件が共通するDS画像の量を示す情報が含まれていてもよい。図17の例では、「無期限:45%、~20xx:35%、~20yy:5%、・・・」というように利用可能期限が共通するDS画像の割合が権利情報に含まれている。なお、DS画像の量を示す情報は、割合に限らず、枚数又はデータサイズ等によって表されてもよい。このような態様によれば、一部のDS画像において利用する権利が無効になったと仮定した場合の影響度を把握することができる。
【0105】
また、サーバ装置10は、DS画像を利用する権利が有効となる条件が満たされなくなりそうな場合に、その条件を示す権利情報を、他の権利情報とは異なる態様で表示させてもよい。サーバ装置10は、例えば、利用可能期限まで1年を切ったDS画像がある場合は、その利用可能期限を赤い太字で表示させ、又は、「利用可能期限まで1年切りました!」等の文字列を付加して表示させて、特に注意するよう仕向けてもよい。このような態様によれば、一律の表示しか行わせない場合に比べて、DS画像を利用する権利が無効になる事態が起こりにくいようにすることができる。
【0106】
また、権利情報には、DS画像を利用する権利の種類についての情報が含まれていてもよい。DS画像を利用する権利の種類は、例えば、図17に示す「著作関連権利」及び「肖像関連権利」である。著作関連権利は、DS画像を作成した人物に関する権利の一例であり、肖像関連権利は、DS画像に表されている人物に関する権利の一例である。なお、これらの権利は、少なくとも1つが含まれていればよい。
【0107】
DS画像を作成した人物に関する権利には、著作権に限らず、例えば、意匠権又は商標権等が含まれていてもよい。また、DS画像に表されている人物に関する権利には、パブリシティ権又はプライバシー権等が含まれていてもよい。それらのいずれの権利が権利情報に含まれている場合でも、例えばDS画像の利用の可否だけが権利情報に含まれる場合に比べて、権利に関する安全性を詳細に評価することができる。
【0108】
また、権利情報には、DS画像を利用する権利の種類が共通するDS画像の量を示す情報が含まれていてもよい。図17の例では、「著作権=4%」及び「著作権の許諾=96%」というように権利の種類が共通するDS画像の割合が権利情報に含まれている。なお、DS画像の量を示す情報は、割合に限らず、枚数又はデータサイズ等によって表されてもよい。このような態様によれば、権利の種類のバランスを把握し、必要であれば、バランスを調整するための対策(例えば許諾の割合を下げ、著作権の所有率を高めるという対策など)を行うことができる。
【0109】
また、DS画像の被写体が人物である場合、許諾された肖像権により保護される箇所が限定される場合がある。例えば、DS画像が顔のアップの写真である場合、顔のアップを表すAI画像についてはDS画像の肖像権について許諾された権利による保護が及ぶ可能性が高いが、全身を表すAI画像についてはその権利による保護が及ばない可能性が高くなる。また、反対に、DS画像が全身の写真である場合、全身を表すAI画像についてはDS画像の肖像権について許諾された権利による保護が及ぶ可能性が高いが、顔のアップを表すAI画像についてはその権利による保護が及ばない可能性が高くなる。
【0110】
そこで、権利情報には、画像群に含まれる画像に写っている対象物のうち権利が及ぶ範囲を示す情報が含まれていてもよい。ここで言う「権利」は、DS画像を利用する権利のことであり、例えば肖像権の所有者から許諾された権利である。この場合、画像データベースDB1において、各画像に対応付けて、権利が及ぶ範囲を示す情報(以下「範囲情報」と言う)が格納される。DS画像に写っている被写体が人物である場合、「顔」、「全身」、「上半身」又は「横向きの姿」等が範囲情報として格納される。
【0111】
サーバ装置10は、データセットに含めるDS画像が選択された場合、画像データベースDB1を参照して、それらのDS画像に対応付けられている範囲情報を読み出し、読み出した範囲情報に基づいて権利情報を生成する。サーバ装置10は、例えば、権利の及ぶ範囲が共通するDS画像の量を示す情報を権利情報として生成する。そして、サーバ装置10は、AI画像を生成させた場合に、範囲情報に基づく権利情報を含むメタデータを出力する。
【0112】
図18は、表示されたメタデータの一例を示す図である。図18の例では、サーバ装置10が、図14に示すメタデータの表示欄E42に、メタデータM43を表示させている。メタデータM43には、図14に示す権利情報(モデルの安全性)に加え、「肖像関連権利」として、「権利が及ぶ範囲:顔=65%、上半身=30%、・・・」が含まれている。
【0113】
この場合、AI画像の利用者は、メタデータによって示される権利情報に基づいてAI画像の構図を定めればよい。例えば、図18の例では、権利情報が示す範囲、すなわち、DS画像について許諾された権利の及ぶ範囲が上半身よりも上の部分にほぼ限定されているので、人物を表すAI画像を生成させる場合は、上半身よりも上の部分を大きく表す構図のAI画像を生成するようにプロンプトで指示すればよい。このような態様によれば、権利的なリスクが少ない構図のAI画像を生成させることができる。また、権利が及ぶ範囲が共通するDS画像の量を示す権利情報をメタデータに含めることで、権利的なリスクが少ない構図が直感的に分かるようにすることができる。
【0114】
また、権利情報には、上記の他にも、DS画像を利用する権利の名義人、著作関連権利及び肖像関連権利の所有者又は利用料金等の項目の情報が含まれていてもよい。メタデータには、AI画像の利用者が、AI画像の元となったDS画像の権利の状況について把握し、権利的なリスクを判断したり、そのリスクを回避するための対策を行ったりする場合に参考となるような項目の情報が権利情報として含まれていることが望ましい。
【0115】
また、権利情報には、図17図18の例のように、複数の項目が含まれていてもよい。複数の項目には、権利の有無(「モデルの安全性」がその一例)、権利が有効となる条件(「利用可能期限」がその一例)、権利の種類(「著作関連権利」及び「肖像関連権利」がその一例)、権利が及ぶ範囲、権利の権原の種類(「利用の権原」がその一例)又は権利の名義のうちの2以上の項目が含まれていることが望ましい。このような態様によれば、生成されるAI画像についての権利的な安全性を多面的に評価することができる。
【0116】
<変形例:権利情報の選択>
メタデータに含まれる権利情報を選択可能としてもよい。その場合、サーバ装置10は、権利情報を選択するための選択用画面を表示させる。権利情報の項目の選択は、運用者及びAI画像の利用者のどちらも行うことが考えられるので、選択用画面は、運用者端末20及び利用者端末30のどちらのユーザ端末に表示されてもよい。
【0117】
図19は、表示された権利情報の選択用画面の一例を示す図である。図19に示す権利情報の選択用画面G7では、選択する権利情報の項目のチェック欄E71と、メタデータのイメージE72と、決定ボタンB71とが表示されている。チェック欄E71には、「権利の有無」、「権利の種類」、「権利の名義」、「利用可能期限」、「利用可能地域」、「利用料金」及び「更新条件」等の権利情報の項目とそのチェック欄(「○」がチェックされたことを表す)とが含まれている。
【0118】
イメージE72は、チェック欄E71においてチェックされた項目を含めた場合のメタデータのイメージを示している。図19の例では、「権利の有無」、「権利の種類」、「利用可能期限」及び「利用料金」がチェックされており、イメージE72では、「権利の有無」が「モデルの安全性」という名称で表され、「権利の種類」が「著作関連権利」及び「肖像関連権利」という名称で表されている。また、「利用可能期限」及び「利用料金」は、項目と同じ名称で表されている。
【0119】
ユーザ(運用者又はAI画像の利用者)は、チェック欄E71において項目をチェックしながらイメージE72を確認し、メタデータに含めるべき項目が決まったら、決定ボタンB71を操作する。このように、サーバ装置10は、権利情報に含まれる複数の項目のうちメタデータに含める項目の選択操作を受け付ける選択画像をユーザ端末に表示させる選択表示部の一例として機能する。チェック欄E71をチェックする操作及び決定ボタンB71に対する操作が選択操作の一例であり、選択用画面G7が選択画像の一例である。そして、サーバ装置10(出力部の一例)は、選択操作により選択された項目を示すデータをメタデータとして出力する。このような態様によれば、ユーザは、メタデータに所望の項目を含ませることができる。
【0120】
<変形例:DS画像の変更>
データセットに含まれるDS画像は、データセットの作成後に変更されてもよい。その場合、サーバ装置10は、図4に示すデータセット作成処理のA11及びA12において、データセット作成用画面に替えて、DS画像を変更するための変更用画面を表示させる。DS画像の変更は、運用者及びAI画像の利用者のどちらも行うことが考えられるので、変更用画面は、運用者端末20及び利用者端末30のどちらのユーザ端末に表示されてもよい。
【0121】
図20は、表示されたDS画像の変更用画面の一例を示す図である。図20に示すDS画像の変更用画面G8では、「データセットに含める画像を選択し直してください。」という文字列と、画像利用者の入力欄E81と、データセット名の入力欄E82と、DS画像の表示欄E83と、チェックボックスE84と、画像属性条件の入力欄E85と、画像権利条件の入力欄E86と、候補画像の表示欄E87と、チェックボックスE88と、変更後のデータセット名の入力欄E89と、決定ボタンB81とが表示されている。
【0122】
ユーザによって入力欄E81に画像利用者が入力されると、その画像利用者に対応付けられているデータセットの名称が入力欄E82に入力可能になり、入力欄E82にデータセット名が入力されると、そのデータセットに含まれるDS画像が表示欄E83に表示される。表示されたDS画像は、対応するチェックボックスE84にチェックが入っているが、チェックを外すことで、データセットから除くことができる。
【0123】
画像属性条件の入力欄E85及び画像権利条件の入力欄E86には、データセットに追加する候補画像を絞り込むための条件が入力される。絞り込み条件が入力されると、図4に示すA13からA15までの動作が行われ、表示欄E87に、ユーザによって入力された絞り込み条件を満たす候補画像が表示される。表示された候補画像のうち、対応するチェックボックスE88がチェックされた候補画像は、データセットに追加される。
【0124】
入力欄E89には、DS画像が変更された後のデータセット名が入力される。この状態で決定ボタンB81が操作されると、図4に示すA16からA18までの動作が行われて、入力欄E89に入力されたデータセット名を含むデータセット情報が新たに生成されて保存される。このとき、図8に示すデータセットデータベースDB2には、新たに生成されたデータセットについての権利情報が格納される。
【0125】
このように、サーバ装置10は、例えば変更用画面G8におけるユーザの操作に基づいて、データセットの画像群に含めるDS画像の変更を受け付ける変更受付部の一例として機能する。そして、サーバ装置10(生成部の一例)は、その変更が受け付けられた後のデータセットの画像群に含まれるDS画像に対応付けられている契約情報に基づいて、その画像群の権利情報を生成する。このような態様によれば、データセットの変更後も、同様の権利情報をユーザが手作業で準備する場合に比べて、権利情報の準備の手間を減らすことができる。
【0126】
なお、サーバ装置10は、変更後のデータセット名を自動的に生成して、入力欄E89に表示させてもよい。サーバ装置10は、例えば、入力欄E82を参照し、入力されているデータセット名に「v(N1).(N2)」(N1、N2は自然数)という箇所がある場合、「v(N1).(N2+1)」というデータセット名を生成して入力欄E89に表示させる。例えば、図20の例であれば、サーバ装置10は、「企業C1用DSv3.1」というデータセット名に基づいて、「企業C1用DSv3.2」という変更後のデータセット名を生成して入力欄E89に表示させる。
【0127】
また、サーバ装置10は、DS画像の変更の内容が大幅な変更を示す条件を満たす場合はメジャーバージョンアップをさせたデータセット名(v(N1+1)、(N2))を生成し、その条件を満たさない場合はマイナーバーッジョンアップをさせたデータセット名(v(N1)、(N2+1))を生成してもよい。大幅な変更を示す条件とは、例えば、データセットに含まれるDS画像のうちの所定の割合(例えば3割や5割)以上が変化した場合に満たされる条件である。このような態様によれば、変更後のデータセット名を入力する手間を省くことができる。
【0128】
<変形例:コンポーネント>
人工知能モジュール(例えば画像生成AIモジュール100)は、複数のコンポーネントを有していてもよい。コンポーネントとは、人工知能モジュールの一部を構成する部品である。人工知能モジュールは、複数のコンポーネントがそれぞれ稼働することで1つのAI画像を生成する。これらの複数のコンポーネントは、それぞれが同一又は異なる画像群を用いて機械学習を行う。
【0129】
人工知能モジュールが上記の複数のコンポーネントを有する場合、サーバ装置10は、図11の例とは異なる学習モデル情報を学習モデルデータベースDB3に格納する。
図21は、格納された学習モデル情報の別の一例を示す図である。図21に示す学習モデルデータベースDB3には、「モデルML1」、「モデルML2」及び「モデルML3」等の学習モデルが格納されている。
【0130】
各学習モデルには、「CMP1」、「CMP2」及び「CMP3」という3つのコンポーネントと、各コンポーネントの機械学習に用いられたデータセット名がそれぞれ対応付けられている。図21の例では、データセットDS1、DS2及びDS3が機械学習に用いられている。例えば、「モデルML1」の場合、CMP1にはDS1が、CMP2にはDS1及びDS2が、CMP3にはDS3が対応付けられている。
【0131】
また、「モデルML2」の場合、CMP1にはDS2が、CMP2にはDS3が、CMP3にはDS2が対応付けられており、「モデルML3」の場合、CMP1及びCMP2にはDS1及びDS2が、CMP3にはDS2及びDS3が対応付けられている。また、各コンポーネントには、機械学習に用いたデータセットに応じた画像情報及び権利情報が対応付けられている。これらの画像情報及び権利情報は、図11の例と同様にデータセットデータベースDB2から読み出された又は算出し直された情報である。
【0132】
AI画像の生成が指示されると、サーバ装置10(出力部の一例)は、人工知能モジュールが生成するAI画像に対応付けて、複数のコンポーネントがそれぞれ機械学習に用いた画像群について取得された関連情報を示すデータをメタデータとして出力する。サーバ装置10は、例えば、図14の例等と同様に、機械学習に用いられたデータセットに含まれる画像群についての権利情報を関連情報として示すメタデータを出力する。
【0133】
図22は、表示されたメタデータの別の一例を示す図である。図22の例では、サーバ装置10が、図14に示すメタデータの表示欄E42に、メタデータM44を表示させている。メタデータM44には、「モデルML1」という学習モデル名と、「CMP1」、「CMP2」及び「CMP3」というコンポーネント名と、「DS1」、「DS1+DS2」及び「DS3」というデータセット名と、全て「○」というモデルの安全性とがそれぞれ対応付けて含まれている。
【0134】
図22の例では、画像の利用者は、メタデータが出力されない場合に比べて、各コンポーネントの学習内容(データセット)を容易に把握することができ、各コンポーネントがいずれも権利的に安全なDS画像を用いて機械学習をしていることを容易に把握することができる。
【0135】
<変形例:ユーザ提供画像>
データセットに含まれる画像は、画像生成システム1のために予め用意された画像であるが、これに限らず、ユーザが提供する画像を追加できるようにしてもよい。その場合、サーバ装置10は、ユーザが提供する画像(以下「ユーザ画像」と言う)を追加するための追加用画面を表示させる。ユーザ画像の追加は、運用者及びAI画像の利用者のどちらも行うことが考えられるので、追加用画面は、運用者端末20及び利用者端末30のどちらのユーザ端末に表示されてもよい。
【0136】
図23は、表示されたユーザ画像の追加用画面の一例を示す図である。図23に示すユーザ画像の追加用画面G9では、「追加するユーザ画像とその提供条件を入力してください。」という文字列と、追加しようとしているユーザ画像のファイル名の入力欄E91と、AI画像の利用者の入力欄E92と、著作権に関する提供条件の入力欄E93と、肖像権に関する提供条件の入力欄E94と、決定ボタンB91とが表示されている。
【0137】
入力欄E91には、ユーザ画像のファイル名に加えてパス名も入力されてよく、また、2以上のユーザ画像のファイル名が入力されてもよい。入力欄E92には、追加されたユーザ画像をDS画像とした場合に生成されるAI画像を利用する利用者が入力される。入力欄E93及びE94に入力される提供条件は、この利用者に対する提供条件である。
【0138】
入力欄E93には、「著作権者」、「著作権譲渡」、「利用許諾」、「利用可能期限」、「利用目的」及び「利用料金」等の提供条件が入力される。「著作権者」にはユーザ画像の著作権者の氏名等が入力される。「著作権譲渡」には、ユーザ画像の著作権を画像利用者に譲渡する場合に「○」が入力される。「利用許諾」には、著作権を譲渡せずに利用を許諾する場合に「○」が入力される。「利用可能期限」、「利用目的」及び「利用料金」等には、利用を許諾する場合の条件が入力される。
【0139】
入力欄E94には、ユーザ画像について肖像権が存在する場合に、入力欄E93と同様に提供条件が入力される。各入力欄が入力されて決定ボタンB91が操作されると、サーバ装置10は、入力された提供条件に同意するか否かを画像利用者に問い合わせる。サーバ装置10は、画像利用者から提供条件に同意する旨の回答がされた場合に、ユーザ画像を画像データベースDB1に格納する。その際、サーバ装置10は、追加用画面G9において入力された提供条件を、契約情報として画像データベースDB1に格納する。
【0140】
サーバ装置10は、例えば、画像データベースDB1の「著作権者」として、著作権が譲渡された場合は画像利用者を格納し、譲渡されなかった場合は入力された著作権者を格納する。なお、格納される画像利用者等の情報は、法人名又は個人名である。サーバ装置10は、「著作権被許諾者」として、著作権が譲渡された場合は「NA」(該当なし)を格納し、著作権が許諾された場合は画像利用者を格納する。
【0141】
サーバ装置10は、著作権の「許諾条件」として、「利用可能期限」、「利用目的」及び「利用料金」等の提供条件を格納する。また、サーバ装置10は、肖像権の提供条件がある場合は、肖像権についても同様に「肖像権所有者」、「肖像権被許諾者」及び「許諾条件」等を格納する。このようにして画像データベースDB1に格納された提供条件は、契約情報として図4に示すデータセット作成処理等に用いられる。その結果、データセット作成処理においてデータセットデータベースDB2に格納される権利情報には、この提供条件が含まれることになる。
【0142】
以上のとおり、サーバ装置10は、ユーザが提供するユーザ画像を取得する画像取得部の一例として機能する。このユーザ画像は、前述したように、ユーザ及び画像利用者が同意した提供条件に基づき取得される。そして、サーバ装置10は、取得されたユーザ画像を含む画像群を用いて人工知能モジュールが機械学習を行った場合、そのユーザ画像の提供条件を含む情報をその画像群についての権利情報として取得する情報取得部の一例として機能する。このような態様によれば、ユーザは自分が好きな画像をDS画像としてデータセットに含めることができるので、生成されるAI画像の傾向をユーザ好みにすることができる。
【0143】
<変形例:複数の権利保持者>
DS画像についての著作権及び肖像権等の権利保持者は、複数人になる場合がある。例えば、DS画像を撮影した撮影者だけでなく、DS画像に著作物が写っている場合はその著作物の著作権者もDS画像についての権利を有することがある。また、DS画像に複数の人物が個人を特定可能に写っていれば、それらの人物がいずれも肖像権を有する場合がある。
【0144】
それらの場合、図6に示す画像データベースDB1には、1つの画像に対応付けて複数の権利保持者についての契約情報がそれぞれ格納される。これにより、サーバ装置10は、例えば図5に示すデータセット作成用画面G1において、画像権利条件として権利保持者を入力可能にすることで、特定の権利保持者が権利を有する画像に候補画像を絞り込むことができる。また、サーバ装置10は、データセットデータベースDB2及び学習モデルデータベースDB3にも、権利保持者について示すデータセット情報及び学習モデル情報をそれぞれ格納してもよい。
【0145】
そうすることで、サーバ装置10は、例えば図10に示す機械学習用画面G2のデータセットの一覧の表示欄E23及び図13に示す画像生成用画面G3の学習モデルの一覧の表示欄E32において、DS画像の権利保持者についての情報(例えば、DS画像の著作権をC1社とC2社が共有していることを示す情報等)を表示させて、データセットの選択及び学習モデルの選択の際の参考にさせることができる。
【0146】
<変形例:再学習>
画像生成AIモジュール100は、一度生成した学習モデルとデータセット(新たなデータセット又は学習済みのデータセットのどちらでもよい)とを用いて再度機械学習を行う再学習を行ってもよい。その場合、サーバ装置10は、学習モデルデータベースDB3に、再学習に用いる学習モデルを学習元モデルとして格納する。
【0147】
図24は、格納された学習モデル情報の別の一例を示す図である。図24に示す学習モデルデータベースDB3aには、学習元モデルを含む学習モデル情報が格納されている。学習元モデルには、対応する学習モデルを生成する際に用いられた学習モデルの名称が示されている。図24の例では、まず、最初に生成される「企業C1用モデルv1.1」は、再学習ではないので、「企業C1用DSv1」というデータセットのみが対応付けられ、学習元モデルは「NA」(該当なし)となっている。
【0148】
その「企業C1用モデルv1.1」を学習元モデルとし、「企業C1用DSv2」というデータセットを用いて再学習がされて生成された学習モデルが「企業C1用モデルv1.2」である。また、「企業C1用モデルv1.2」を学習元モデルとし、「企業C1用DSv3」というデータセットを用いて再学習がされて生成された学習モデルが「企業C1用モデルv1.3」であり、「企業C1用モデルv1.2」を学習元モデルとし、「企業C1用DSv4」というデータセットを用いて再学習がされて生成された学習モデルが「企業C1用モデルv2.1」である。
【0149】
また、「企業C1用モデルv2.1」を学習元モデルとし、「企業C1用DSv5」というデータセットを用いて再学習がされて生成された学習モデルが「企業C1用モデルv2.2」であり、「企業C1用モデルv1.3」を学習元モデルとし、「企業C1用DSv4」というデータセットを用いて再学習がされて生成された学習モデルが「企業C1用モデルv3.1」である。このように、図24の例によれば、再学習が行われた学習モデルの学習元となる学習モデルを何代にも渡って追跡可能とすることができる。なお、学習元モデルを含む学習モデル情報の管理は、図24の例では表形式で行われたが、ノード形式で行われてもよい。
【0150】
図25は、ノード形式で管理される学習モデル情報の一例を示す図である。図25の例では、サーバ装置10は、学習モデルを示すノードNm1~Nm6と、データセットを示すノードNd1~Nd5を記憶している。ノードNm1~Nm6は、それぞれ「企業C1用モデル」の「v1.1」、「v1.2」、「v1.3」、「v2.1」、「v2.2」及び「v3.1」を示している。ノードNd1~Nd5は、それぞれ「企業C1用DS」の「v1」、「v2」、「v3」、「v4」及び「v5」を示している。ノードNd1~Nd5には、各データセットに対応する権利情報が対応付けられている。なお、ノードNm1~Nm6に、各学習モデルに対応する学習モデル情報が対応付けられていてもよい。
【0151】
サーバ装置10は、各ノードの繋がりを示す接続情報を記憶している。図25の例では、図24において示された再学習による各学習モデルの繋がりが示されている。例えば、ノードNm2(企業C1用モデルv1.2)は、ノードNm1(企業C1用モデルv1.1)を学習元モデルとして、ノードNd2(企業C1用DSv2)を用いて再学習がされて生成された学習モデルであることが接続情報により示されている。
【0152】
また、ノードNm2からはマイナーバージョンアップをさせたノードNm3(企業C1用モデルv1.3)と、メジャーバージョンアップをさせたノードNm4(企業C1用モデルv2.1)とに枝分かれしており、ノードNm3からはメジャーバージョンアップをさせたノードNm5(企業C1用モデルv3.1)のみが接続されていることが接続情報により示されている。サーバ装置10は、各ノードの情報と接続情報とに基づいて、図25に示すようなノードの関係を視覚的に表した画像を表示することができてもよい。これにより、学習モデル、学習元モデル及びデータセットの関係が直感的に分かるようにすることができる
【0153】
<変形例:関連情報>
機械学習に用いる画像群に関連する関連情報は、権利情報(DS画像を利用する権利を示す情報)に限らない。例えば、関連情報は、データセットのバージョン情報や、DS画像に関する画像情報であってもよい。DS画像の画像情報には、データセットに含まれるDS画像の数、DS画像の解像度又はDS画像の被写体等が含まれる。DS画像の解像度及びDS画像の被写体等の画像情報については、画像情報が共通するDS画像の量を示す情報であってもよい。
【0154】
<変形例:DS画像の閲覧機能>
図15の例では、メタデータからDS画像を閲覧する機能の一例について説明したが、次のような態様であってもよい。AI画像及びメタデータは、例えば、画像利用者によって閲覧されるが、画像利用者の中にDS画像の閲覧権限、編集権限又はアクセス権等(以下「閲覧権限等」と言う)を有する者と有しない者が含まれる場合がある。
【0155】
その場合に、サーバ装置10は、DS画像の閲覧権限等を有する者が利用するユーザ端末には、図15に示すDS画像へのリンクL41を含むメタデータを出力し、DS画像の閲覧権限等を有しない者が利用するユーザ端末には、DS画像へのリンクL41を含まないメタデータを出力してもよい。このような態様によれば、権限のない者がDS画像を見ることを防ぐことができる。
【0156】
また、図15に示すDS画像画面G5では、表示されるDS画像が膨大な数になる場合がある。その場合、単にDS画像の一覧を表示させても、DS画像の検証が困難である。そこで、サーバ装置10は、データセットに含まれるDS画像について、例えば、画像認識で用いられる特徴量(HOG(Histograms of Oriented Gradients)又はSIFT(Scaled Invariance Feature Transform)等)を算出して、算出した特徴量が共通する範囲に収まる類似の画像から抽出した代表画像を優先的に表示させてもよい。このような態様によれば、画像の特徴に関係なくDS画像を表示させる場合に比べて、特徴が異なるDS画像を短時間で見比べることができる。
【0157】
<変形例:契約情報の閲覧機能>
図16の例では、メタデータから契約情報を閲覧する機能の一例について説明したが、次のような態様であってもよい。サーバ装置10は、前述したDS画像と同様、契約情報の閲覧権限を有する者が利用するユーザ端末には、図16に示す契約情報へのリンクL42を含むメタデータを出力し、契約情報の閲覧権限を有しない者が利用するユーザ端末には、契約情報へのリンクL42を含まないメタデータを出力してもよい。このような態様によれば、権限のない者が契約情報を見ることを防ぐことができる。
【0158】
<変化例:構成のバリエーション>
図1等に示す構成(全体構成、ハードウェア構成及び機能構成等)は一例であり、実施に不都合が無い限り、他の構成を取り得る。例えば、サーバ装置10は、2台以上の装置に分散されてもよく、また、SaaS(Software as a Service)又はクラウドコンピューティングシステム等の形態で提供されてもよい。また、サーバ装置10が実行する情報処理を、運用者端末20等のユーザ端末がまとめて実行してもよい。要するに、画像生成システム1の全体で必要な情報処理が実行されていれば、それらの情報処理を実行する装置はどのような構成であってもよい。
【0159】
情報同士の対応付けは、様々な態様で行われてもよい。例えば、データベース又はテーブル等において対応する領域に各情報を格納することで対応付けてもよいし、各情報を対応付けて示すテーブル等を作成して対応付けてもよい。また、一方の情報に、他方の情報を識別する情報を付加することで対応付けてもよい。他にも、周知の様々な方法で対応付けて行われてもよい。情報又はデータ(以下「情報等」と言う)の出力先は、他の装置、ディスプレイ、記憶部(内蔵の記憶部および外部の記憶部を含む)等であってもよい。情報等の取得には、他の装置から送信されてきた情報等を取得する態様に加え、自装置で生成された情報等を取得する態様を含む。
【0160】
上述した実施形態の態様は、サーバ装置10、運用者端末20及び利用者端末30のような情報処理装置や、それらの情報処理装置を備える画像生成システム1のような情報処理システムであったが、情報処理方法であってもよい。その情報処理方法は、情報処理システムが実行するものと同じ各ステップを備える。また、上述した実施形態の態様は、プログラムであってもよい。そのプログラムは、コンピュータに、情報処理システムが実行するものと同じ各ステップを実行させる。
【0161】
<付記>
さらに、次に記載の各態様で提供されてもよい。
【0162】
(1)プロセッサを備える情報処理システムであって、前記プロセッサが、情報取得ステップでは、機械学習に用いる画像群に関連する関連情報を取得し、出力ステップでは、前記画像群を用いて機械学習をした人工知能モジュールにより生成される画像に対応付けて、当該画像群について取得された前記関連情報を示すメタデータを出力する、情報処理システム。
【0163】
このような態様によれば、機械学習に用いられた画像群についての情報を容易に把握することができる。
【0164】
(2)上記(1)に記載の情報処理システムにおいて、前記関連情報には、前記画像群についての権利情報が含まれ、前記権利情報は、前記画像群に含まれる画像を利用する権利を示す情報である、情報処理システム。
【0165】
このような態様によれば、生成された画像の権利的な安全性を把握することができる。
【0166】
(3)上記(2)に記載の情報処理システムにおいて、前記権利情報には、前記権利が有効となる条件を示す情報が含まれる、情報処理システム。
【0167】
このような態様によれば、権利切れについて注意喚起することができる。
【0168】
(4)上記(2)又は(3)に記載の情報処理システムにおいて、前記権利情報には、前記権利の種類についての情報が含まれ、前記権利の種類には、前記画像を作成した人物に関する権利及び前記画像に表されている人物に関する権利のうちの少なくとも1つが含まれる、情報処理システム。
【0169】
このような態様によれば、権利に関する安全性を詳細に評価することができる。
【0170】
(5)上記(2)~(4)のいずれか1つに記載の情報処理システムにおいて、前記権利情報には、前記画像群に含まれる画像に写っている対象物のうち前記権利が及ぶ範囲を示す情報が含まれる、情報処理システム。
【0171】
このような態様によれば、権利的なリスクが少ない構図の画像を生成させることができる。
【0172】
(6)上記(2)~(5)のいずれか1つに記載の情報処理システムにおいて、前記権利情報には、複数の項目が含まれ、前記複数の項目には、前記権利の有無、前記権利が有効となる条件、前記権利の種類、前記権利が及ぶ範囲、前記権利の権原の種類又は前記権利の名義のうちの2以上の項目が含まれる、情報処理システム。
【0173】
このような態様によれば、権利的な安全性を多面的に評価することができる。
【0174】
(7)上記(2)~(6)のいずれか1つに記載の情報処理システムにおいて、前記権利情報には、複数の項目が含まれ、前記プロセッサは、選択表示ステップでは、前記複数の項目のうち前記メタデータに含める項目の選択操作を受け付ける選択画像をユーザ端末に表示させ、前記出力ステップでは、前記選択操作により選択された項目を示すデータを前記メタデータとして出力する、情報処理システム。
【0175】
このような態様によれば、メタデータに所望の項目を含ませることができる。
【0176】
(8)上記(2)~(7)のいずれか1つに記載の情報処理システムにおいて、前記プロセッサは、選択受付ステップでは、前記画像群に含める画像の選択を受け付け、当該画像には、当該画像を利用する権利を規定する契約の内容を表す契約情報が対応付けられており、生成ステップでは、前記選択により前記画像群に含められた画像に対応付けられている前記契約情報に基づいて、当該画像群についての前記権利情報を生成する、情報処理システム。
【0177】
このような態様によれば、権利情報の準備の手間を減らすことができる。
【0178】
(9)上記(8)に記載の情報処理システムにおいて、前記プロセッサは、変更受付ステップでは、前記画像群に含める画像の変更を受け付け、前記生成ステップでは、前記変更が受け付けられた後の前記画像群に含まれる画像に対応付けられている前記契約情報に基づいて、当該画像群の前記権利情報を生成する、情報処理システム。
【0179】
このような態様によれば、データセットの変更後も権利情報の準備の手間を減らすことができる。
【0180】
(10)上記(8)又は(9)に記載の情報処理システムにおいて、前記プロセッサは、前記出力ステップでは、前記メタデータをユーザ端末に対して表示可能に出力し、契約表示ステップでは、前記メタデータが表示されたユーザ端末に対して前記権利の詳細の表示操作が行われた場合、当該メタデータが示す前記権利情報の元となった契約情報を前記ユーザ端末に表示させる、情報処理システム。
【0181】
このような態様によれば、画像の権利を示す契約内容の検証を容易にすることができる。
【0182】
(11)上記(1)~(10)のいずれか1つに記載の情報処理システムにおいて、前記プロセッサは、前記出力ステップでは、前記メタデータをユーザ端末に対して表示可能に出力し、画像表示ステップでは、前記メタデータが表示されたユーザ端末に対して前記画像群の表示操作が行われた場合、当該メタデータにより前記関連情報が示される前記画像群に含まれる画像を前記ユーザ端末に表示させる、情報処理システム。
【0183】
このような態様によれば、学習された実際の画像の検証を容易にすることができる。
【0184】
(12)上記(1)~(11)のいずれか1つに記載の情報処理システムにおいて、前記人工知能モジュールは、複数のコンポーネントを有し、前記複数のコンポーネントは、それぞれが同一又は異なる画像群を用いて機械学習を行い、前記人工知能モジュールは、前記複数のコンポーネントがそれぞれ稼働することで1つの画像を生成し、前記プロセッサは、前記出力ステップでは、前記人工知能モジュールが生成する画像に対応付けて、前記複数のコンポーネントがそれぞれ機械学習に用いた画像群について取得された前記関連情報を示すデータを前記メタデータとして出力する、情報処理システム。
【0185】
このような態様によれば、各コンポーネントの学習内容を容易に把握することができる。
【0186】
(13)上記(2)~(10)のいずれか1つに記載の情報処理システムにおいて、前記プロセッサは、画像取得ステップでは、ユーザが提供するユーザ画像を取得し、前記ユーザ画像は、前記ユーザが同意した提供条件に基づき取得され、前記情報取得ステップでは、取得された前記ユーザ画像を含む画像群を用いて前記人工知能モジュールが機械学習を行った場合、前記ユーザ画像の前記提供条件を含む情報を当該画像群についての前記権利情報として取得する、情報処理システム。
【0187】
このような態様によれば、生成される画像の傾向をユーザ好みにすることができる。
【0188】
(14)プログラムであって、コンピュータに、上記(1)~(13)の何れか1つに記載の情報処理システムが実行する各ステップを実行させる、プログラム。
【0189】
このような態様によれば、機械学習に用いられた画像群についての情報を容易に把握することができる。
【0190】
(15)情報処理方法であって、情報処理システムが備えるプロセッサが、上記(1)~(13)の何れか1つに記載の情報処理システムが実行する各ステップを実行する、情報処理方法。
【0191】
このような態様によれば、機械学習に用いられた画像群についての情報を容易に把握することができる。
もちろん、この限りではない。
また、上述した実施形態及び変形例を任意に組み合わせて実施するようにしてもよい。
【0192】
最後に、本発明に係る種々の実施形態を説明したが、これらは、例として提示したものであり、発明の範囲を限定することは意図していない。新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0193】
1 :画像生成システム
2 :通信回線
10 :サーバ装置
11 :制御部
20 :運用者端末
21 :制御部
30 :利用者端末
31 :制御部
100 :画像生成AIモジュール
DB1 :画像データベース
DB2 :データセットデータベース
DB3 :学習モデルデータベース
【要約】
【課題】機械学習に用いられた画像群についての情報を容易に把握することができる情報処理システム等を提供する。
【解決手段】本発明の一態様によれば、プロセッサを備える情報処理システムが提供される。この情報処理システムでは、プロセッサが、情報取得ステップでは、機械学習に用いる画像群に関連する関連情報を取得する。出力ステップでは、画像群を用いて機械学習をした人工知能モジュールにより生成される画像に対応付けて、当該画像群について取得された関連情報を示すメタデータを出力する。
【選択図】図1
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25