特許 7623055 プログラム、方法、情報処理装置及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2025-01-20

(45)【発行日】2025-01-28

(54)【発明の名称】プログラム、方法、情報処理装置及びシステム

(51)【国際特許分類】

   G06F 16/53 20190101AFI20250121BHJP

【ＦＩ】

G06F16/53

【請求項の数】 14

(21)【出願番号】P 2024100317

(22)【出願日】2024-06-21

【審査請求日】2024-06-21

【早期審査対象出願】

(73)【特許権者】

【識別番号】519165490

【氏名又は名称】Ａ１Ａ株式会社

(74)【代理人】

【識別番号】110002815

【氏名又は名称】ＩＰＴｅｃｈ弁理士法人

(72)【発明者】

【氏名】森岡 周平

【審査官】酒井 恭信

(56)【参考文献】

【文献】特開２０２１－０２２３３０（ＪＰ，Ａ）

【文献】特開２０２３－１００３１１（ＪＰ，Ａ）

【文献】特開２０２２－０４７９１５（ＪＰ，Ａ）

【文献】特開２０２３－０８３９３１（ＪＰ，Ａ）

【文献】特開２０２４－０３７０２２（ＪＰ，Ａ）

【文献】特許第７４６５０２５（ＪＰ，Ｂ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １６／００ － １６／９５８

(57)【特許請求の範囲】

【請求項1】

プロセッサと、メモリとを備えるコンピュータの前記メモリに格納されたプログラムであって、前記プログラムは、前記プロセッサに、
図面に関する図面情報と、前記図面に図示された図示対象物の見積書に関する見積情報と、前記図示対象物に関するテキスト情報である第１情報の出力を指示する第１プロンプトとを第１生成ＡＩモデルに入力し、前記第１生成ＡＩモデルから前記第１情報を出力させる出力ステップと、
複数の前記図面について出力させた複数の前記第１情報をデータベースに格納して、検索データベースを構築する構築ステップと、
検索対象の画像データ及び前記検索対象に関するテキスト情報の入力を、第２情報の入力として受け付ける入力ステップと、
受け付けた前記第２情報、及び前記検索対象の画像データの内容と前記検索対象に関するテキスト情報とを統合した統合テキスト情報の出力を指示する第２プロンプトを、前記第１生成ＡＩモデルと異なる第２生成ＡＩモデルに入力し、当該第２生成ＡＩモデルから出力された前記統合テキスト情報に基づいて、前記検索データベースから前記統合テキスト情報と類似する前記第１情報を類似情報として検索し、検索した前記類似情報、及び検索情報の出力を指示する第３プロンプトを前記第２生成ＡＩモデルに入力し、当該第２生成ＡＩモデルから出力された前記検索情報を提示する提示ステップとを実行させるプログラム。

【請求項2】

前記出力ステップにおいて、更に、前記図面、前記見積書、前記見積書を他の見積書と比較したときの比較結果に関する資料、又はこれらの少なくとも２つの組み合わせに関する通信情報を前記第１生成ＡＩモデルに入力する請求項１に記載のプログラム。

【請求項3】

前記通信情報は、前記見積書に記載された見積額の決定に至るまでのやり取りに関する情報を含む請求項２に記載のプログラム。

【請求項4】

前記入力ステップにおいて、所定の入力フォームに設けられた複数種類の項目のそれぞれに前記検索対象の該当情報が入力されることにより、前記第２情報の入力を受け付ける請求項１に記載のプログラム。

【請求項5】

前記検索情報は、前記類似情報を含んだ類似図面の画像データを含む請求項１に記載のプログラム。

【請求項6】

前記検索情報は、前記類似情報を含んだ類似見積書の画像データを含む請求項１に記載のプログラム。

【請求項7】

前記検索情報は、前記類似情報を含んだ類似見積書を他の見積書と比較したときの比較結果に関する資料の画像データを含む請求項１に記載のプログラム。

【請求項8】

前記検索情報は、前記類似情報を説明する説明文を含む請求項１に記載のプログラム。

【請求項9】

前記出力ステップにおいて、
前記第１生成ＡＩモデルは、第１マルチモーダル生成ＡＩモデルと、大規模言語モデルとを含み、
前記第２生成ＡＩモデルは、第２マルチモーダル生成ＡＩモデルを含み、
前記図面情報としての前記図面の画像データを、前記第１プロンプトと共に前記第１マルチモーダル生成ＡＩモデルに入力し、当該第１マルチモーダル生成ＡＩモデルから前記図示対象物に関する第１テキスト情報を出力させ、
前記見積情報としての前記見積書に関するテキスト情報を、前記第１プロンプトと共に前記大規模言語モデルに入力し、当該大規模言語モデルから前記図示対象物に関する第２テキスト情報を出力させ、
前記第１テキスト情報及び前記第２テキスト情報を、前記第１生成ＡＩモデルから出力させる前記第１情報とする請求項１に記載のプログラム。

【請求項10】

前記出力ステップにおいて、前記第１テキスト情報、前記第２テキスト情報、前記図面の画像データ、前記図面の画像データに関する説明文及び前記第１プロンプトを、前記第１マルチモーダル生成ＡＩモデル及び前記第２マルチモーダル生成ＡＩモデルの何れとも異なる第３マルチモーダル生成ＡＩモデルに入力し、当該第３マルチモーダル生成ＡＩモデルから前記第１情報として前記図示対象物に関する第３テキスト情報を出力させる請求項９に記載のプログラム。

【請求項11】

提示した検索情報に基づいて、前記第２マルチモーダル生成ＡＩモデルをファインチューニングする調整ステップを前記プロセッサに実行させる請求項９に記載のプログラム。

【請求項12】

プロセッサと、メモリとを備えるコンピュータに実行される方法であって、前記プロセッサが、請求項１から請求項１１の何れかに係る発明において実行される全てのステップを実行する方法。

【請求項13】

プロセッサと、メモリとを備えるコンピュータを含む情報処理装置であって、前記プロセッサが、請求項１から請求項１１の何れかに係る発明において実行される全てのステップを実行する情報処理装置。

【請求項14】

プロセッサと、メモリとを備えるコンピュータを含むシステムであって、前記プロセッサが、請求項１から請求項１１の何れかに係る発明において実行される全てのステップを実行する、システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、プログラム、方法、情報処理装置及びシステムに関する。

【背景技術】

【0002】

従来から、生成ＡＩモデルの出力データを格納したデータベースを用いて、検索対象と類似するデータを検索する技術が知られている。例えば、特許文献１には、検索画像及び当該検索画像についての質問文に対する回答文（以下、第１回答文）と、参照画像及び当該参照画像についての質問文に対する回答文（以下、第２回答文）との類似度を算出することにより、第１回答文に関して、検索画像と類似する類似参照画像を検索する技術が開示されている。第１回答文は、検索画像及び当該検索画像についての質問文をＶＱＡ（Visual Question Answering）モデルに入力したときの出力結果として得られる。参照画像及び第２回答文は、過去の検索で用いられた検索画像及び第１回答文であり、互いに関連付けられて参照事例データベースに格納されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２３－３９６５６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に開示された技術は、災害、事故、故障及び／又は事件のような、人間及び／又は機械が画像の撮像対象となる事例に用いられることを前提とした技術であり、例えば、図面及び見積書等を画像の撮像対象とすることを前提としていない。そのため、特許文献１に開示された技術は、図面の撮像画像及び見積書の撮像画像を用いた検索に対応すること自体が困難である。ましてや、見積書に関する情報を加味して図面検索を行う、図面に関する情報を加味して見積書検索を行う等の多様なユースケースに対して柔軟に対応することは極めて困難である。

【0005】

本開示の目的は、図面に関する情報を用いたデータ検索において、多様なユースケースに柔軟に対応することである。

【課題を解決するための手段】

【0006】

前記の課題を解決するために、本開示の一態様に係るプログラムは、プロセッサと、メモリとを備えるコンピュータに実行させるためのプログラムである。プログラムは、プロセッサに、図面に関する図面情報と、図面に図示された図示対象物の見積書に関する見積情報と、図示対象物に関する第１情報の出力を指示する第１プロンプトとを生成ＡＩモデルに入力し、生成ＡＩモデルから第１情報を出力させる出力ステップと、出力させた複数の第１情報をデータベースに格納して、検索データベースを構築する構築ステップと、検索対象に関する第２情報の入力を受け付ける入力ステップと、受け付けた第２情報に基づいて、検索データベースから第２情報に類似する第１情報を類似情報として検索し、検索結果に関する検索情報を提示する提示ステップとを実行させる。

【発明の効果】

【0007】

本開示によれば、図面情報を用いたデータ検索において、多様なユースケースに柔軟に対応することができる。

【図面の簡単な説明】

【0008】

【図1】システム１の全体構成の例を示すブロック図である。

【図2】図１に示す端末装置１０の構成例を示すブロック図である。

【図3】図１に示すサーバ２０の機能的な構成の例を示すブロック図である。

【図4】図３に示すユーザ情報テーブル２０２３のデータ構造を示す図である。

【図5】図３に示す検索データベース２０２４のデータ構造を示す図である。

【図6】ユーザに検索情報を提示するときにおける、サーバ２０の動作の例を示すフローチャートである。

【図7】ユーザが第２情報を入力するときにおける、タッチ・センシティブ・デバイス１３１の操作面の例を示す模式図である。

【図8】ユーザに検索情報を提示したときにおける、ディスプレイ１４１の表示画面の例を示す模式図である。

【図9】ユーザに検索情報を提示したときにおける、ディスプレイ１４１の表示画面の他の例を示す模式図である。

【図10】コンピュータ９０の基本的なハードウェア構成を示すブロック図である。

【発明を実施するための形態】

【0009】

以下、本開示の実施形態について図面を参照して説明する。実施形態を説明する全図において、共通の構成要素には同一の符号を付し、繰り返しの説明を省略する。なお、以下の実施形態は、特許請求の範囲に記載された本開示の内容を不当に限定するものではない。また、実施形態に示される構成要素のすべてが、本開示の必須の構成要素であるとは限らない。また、各図は模式図であり、必ずしも厳密に図示されたものではない。

【0010】

〔１ システム全体の構成〕
図１は、システム１の全体構成の例を示すブロック図である。図１に示すシステム１は、例えば、図面検索サービス、見積書検索サービス、又はこれら２つの組み合わせに係る検索サービス（以下、検索サービスと総称）を提供するためのシステムである。システム１は、例えば、端末装置１０、サーバ２０及び生成ＡＩシステム３０を含む。端末装置１０、サーバ２０及び生成ＡＩシステム３０は、例えば、ネットワーク８０を介して通信接続する。

【0011】

図１において、システム１が端末装置１０を２台含む例を示しているが、システム１に含まれる端末装置１０は、３台未満であってもよいし、３台以上であってもよい。図１において、システム１が１つの生成ＡＩシステム３０を含む例を示しているが、システム１に含まれる生成ＡＩシステム３０は、２つ以上であってもよい。図１において、生成ＡＩシステム３０がサーバ２０から独立している例を示しているが、サーバ２０は、生成ＡＩシステム３０の機能を含んでいてもよい。

【0012】

本実施形態において、複数の装置の集合体を１つのサーバとしてもよい。本実施形態に係るサーバ２０を実現するために要する複数の機能を１又は複数のハードウェアに配分する仕方は、各ハードウェアの処理能力及び／又はサーバ２０に求められる仕様等に応じて適宜決定できる。

【0013】

図１に示す端末装置１０は、例えば、検索サービスを利用するユーザ（以下、ユーザと略記）が操作する情報処理装置である。端末装置１０は、例えば、スマートフォン、タブレット等の携帯端末により実現される。端末装置１０は、例えば、据え置き型のＰＣ（Personal Computer）、ラップトップＰＣ等により実現されてもよい。本実施形態では、端末装置１０は、タブレットであるものとする。

【0014】

端末装置１０は、通信ＩＦ（Interface）１２と、入力装置１３と、出力装置１４と、メモリ１５と、ストレージ１６と、プロセッサ１９とを備える。入力装置１３は、ユーザからの入力操作を受け付けるための装置（例えば、タッチパネル、タッチパッド、マウス等のポインティングデバイス、キーボード等）である。出力装置１４は、ユーザに対して情報を提示するための装置（ディスプレイ、スピーカー等）である。本実施形態では、端末装置１０は、入力装置１３と出力装置１４とが一体化したタッチパネルを備えているものとする。

【0015】

サーバ２０は、例えば、検索サービスを展開する情報処理装置であり、検索サービスに利用される各種情報を管理及び処理する。サーバ２０は、例えば、ネットワーク８０に接続されたコンピュータにより実現される。図１に示すように、サーバ２０は、通信ＩＦ２２と、入出力ＩＦ２３と、メモリ２５と、ストレージ２６と、プロセッサ２９とを備える。入出力ＩＦ２３は、ユーザからの入力操作を受け付けるための入力装置、及び、ユーザに対して情報を出力するための出力装置のインタフェースとして機能する。

【0016】

生成ＡＩシステム３０は、例えば、第１生成ＡＩモデル、及び第１生成ＡＩモデルと異なる第２生成ＡＩモデルとを有している。第１生成ＡＩモデル及び第２生成ＡＩモデルは、例えば、大規模言語モデル又はマルチモーダル生成ＡＩモデルである。大規模言語モデルは、大量のデータセットを使用してトレーニングされた、自然言語処理に特化した人工知能システムであり、トランスフォーマーアーキテクチャなどのニューラルネットワークを基にして構築される。マルチモーダル生成ＡＩモデルは、例えば、テキスト、音声、画像、動画等の２種類以上の情報を収集し、それらを統合的に処理する深層学習により構築された人工知能システムである。大規模言語モデルの例としては、「ＯｐｅｎＡＩ ＣｈａｔＧＰＴ ＧＴＰ－３．５（登録商標）」等が挙げられる。マルチモーダル生成ＡＩモデルの例としては、「ＯｐｅｎＡＩ ＣｈａｔＧＰＴ ＧＴＰ－４（登録商標）」等が挙げられる。

【0017】

なお、各情報処理装置は、演算装置と記憶装置とを備えたコンピュータ９０（図１０参照）により構成される。コンピュータ９０の基本ハードウェア構成、及び当該基本ハードウェア構成により実現されるコンピュータ９０の基本機能構成のそれぞれについては後述する。なお、端末装置１０、サーバ２０、生成ＡＩシステム３０のそれぞれについて、コンピュータ９０の基本ハードウェア構成及びコンピュータの基本機能構成と重複する説明は省略する。

【0018】

＜１．１ 端末装置の構成＞
図２は、図１に示す端末装置１０の構成例を示すブロック図である。図２に示すように、端末装置１０は、通信部１２０と、入力装置１３と、出力装置１４と、記憶部１８０と、制御部１９０とを備える。端末装置１０に含まれる各ブロックは、例えば、バス等により電気的に接続される。なお、端末装置１０は、音声処理部、マイク、スピーカー、カメラ、位置情報センサ、又はこれらの少なくとも２つの組み合わせを備えていてもよい。

【0019】

通信部１２０は、端末装置１０が他の装置との間で通信するための変復調処理等の処理を行う。通信部１２０は、制御部１９０で生成された信号に対して送信処理を施し、外部（例えば、サーバ２０）へ送信する。通信部１２０は、外部から受信した信号に受信処理を施し、制御部１９０へ出力する。

【0020】

入力装置１３は、端末装置１０を操作するユーザが指示又は情報を入力するための装置である。入力装置１３は、例えば、操作面へ触れることで指示が入力されるタッチ・センシティブ・デバイス１３１により実現される。端末装置１０がＰＣ等である場合には、入力装置１３は、リーダー、キーボード、マウス等により実現されてもよい。入力装置１３は、ユーザにより入力される指示を電気信号に変換し、制御部１９０へ出力する。なお、入力装置１３には、例えば、外部の入力機器から入力される電気信号を受け付ける受信ポートが含まれてもよい。

【0021】

出力装置１４は、端末装置１０を操作するユーザに情報を提示するための装置である。出力装置１４は、例えば、ディスプレイ１４１により実現される。ディスプレイ１４１は、制御部１９０の制御に応じて各種情報を表示する。ディスプレイ１４１は、例えば、ＬＣＤ（Liquid Crystal Display）、又は有機ＥＬ（Electro-Luminescence）ディスプレイにより実現される。

【0022】

記憶部１８０は、例えば、メモリ１５及びストレージ１６により実現され、端末装置１０が使用するデータ及びプログラムを記憶する。記憶部１８０は、例えば、アプリ１８１を記憶する。記憶部１８０に記憶されるアプリはアプリ１８１に限定されない。アプリ１８１は、ユーザによる検索サービスの利用を管理するためのアプリケーションである。アプリ１８１は、端末装置１０にインストールされており、ブラウザを含む概念である。アプリ１８１は、例えば、端末装置１０にインストールされている他のアプリのバックグランドで実行され、ユーザにより実行される処理を監視する。

【0023】

制御部１９０は、プロセッサ１９が記憶部１８０に記憶されたプログラムを読み込み、プログラムに含まれる命令を実行することにより実現される。制御部１９０は、端末装置１０の動作を制御する。制御部１９０は、プログラムに従って動作することにより、操作受付部１９１、送受信部１９２及び提示制御部１９３としての各機能を発揮する。

【0024】

操作受付部１９１は、入力装置１３から入力される指示又は情報を受け付けるための処理を行う。具体的には、操作受付部１９１は、タッチ・センシティブ・デバイス１３１から入力される指示又は情報を受け付ける。

【0025】

送受信部１９２は、端末装置１０が、サーバ２０等の外部の装置との間で、通信プロトコルに従ってデータを送受信するための処理を行う。具体的には、送受信部１９２は、ユーザから入力された指示又は情報をサーバ２０へ送信する。送受信部１９２は、サーバ２０から送信された情報を受信する。

【0026】

提示制御部１９３は、サーバ２０から送信された情報をユーザに提示するために出力装置１４を制御する。具体的には、提示制御部１９４は、サーバ２０から受信した検索情報をディスプレイ１４１に表示させる。検索情報の詳細については後述する。

【0027】

＜１．２ サーバの機能的な構成＞
図３は、図１に示すサーバ２０の機能的な構成の例を示すブロック図である。図３に示すように、サーバ２０は、通信部２０１、記憶部２０２及び制御部２０３としての各機能を発揮する。

【0028】

通信部２０１は、サーバ２０が外部の装置との間で通信するための処理を行う。記憶部２０２は、例えば、図面情報２０２１と、見積情報２０２２とを記憶する。

【0029】

図面情報２０２１は、図面に関する情報であり、具体的には、例えば、製造業のサプライヤーから納められた図面に関する情報を含むデータファイルである。図面情報２０２１のファイル形式は、例えば、サプライヤー毎に異なっており、様々な形式がある。図面情報２０２１は、例えば、画像データであってもよいし、テキスト情報であってもよい。また、画像データにテキスト情報が含まれていてもよいし、含まれていなくてもよい。画像データのファイル形式は、例えば、ＴＩＦＦ、ＪＰＥＧ、ＰＤＦ（登録商標）等の何れであってもよい。図面情報２０２１に含まれ得るテキスト情報としては、図面に図示された図示対象物が工業製品（又はその部品）であれば、図面名称、製品（又は部品）の概要、寸法情報（寸法公差を含む）、材料情報、製造方法に関する情報（加工方法、成形方法、溶接の有無等）、製品名（又は部品名）、品番等が挙げられる。

【0030】

本実施形態では、図面に図示された図示対象物が工業製品の部品であるものとして説明する。但し、図示対象物の種類に特段の限定は無い。例えば、図示対象物は、工業製品自体、つまり完成品であってもよい。また例えば、図示対象物は、部品の一部又は完成品の一部であってもよい。或いは、図示対象物は、商品の一部又は全部であってもよい。

【0031】

見積情報２０２２は、図面情報２０２１の基となる図面に図示された部品の見積書に関する情報であり、具体的には、例えば、部品のサプライヤーから納められた見積書に関する情報を含むデータファイルである。見積書は、例えば、部品の発注前に当該部品の価格の妥当性を把握するため、サプライヤーから受け取る書類であり、材料費、加工費、管理費等、単価（総合計）の細かい内訳まで記載されている。見積情報２０２２のファイル形式は、例えば、サプライヤー毎に異なっており、様々な形式がある。見積情報２０２２は、例えば、画像データであってもよいし、テキスト情報であってもよい。また、画像データにテキスト情報が含まれていてもよいし、含まれていなくてもよい。画像データのファイル形式は、例えば、ＰＮＧ、ＴＩＦＦ、ＪＰＥＧ、ＰＤＦ等の何れであってもよい。見積情報２０２２に含まれ得るテキスト情報としては、例えば、前述した材料費、加工費、管理費の他、部品名、品番、重量、寸法情報、基準数、工法、サプライヤー情報等が挙げられる。なお、システム１の適用対象となる見積書は、サプライヤーから納められた見積書に限定されない。システム１は、例えば、ユーザ（検索サービスを利用する企業等）自身が用意した見積書を適用対象としてもよい。また例えば、システム１の適用対象となる見積書には、例えば、部品の提供に要した費用、コストを示す原価明細も含まれる。

【0032】

記憶部２０２は、例えば、所定の部品に対応する図面情報２０２１と見積情報２０２２とのデータセット（以下、基本情報データセット）を記憶している。また、図示の簡略化の観点から、図３の例では１つの図面情報２０２１及び１つの見積情報２０２２しか記憶部２０２に記憶されていないが、実際には、基本情報データセットが部品の種類毎に記憶されている。

【0033】

なお、例えば、１つの部品について複数のサプライヤーに見積依頼する相見積の場合、基本情報データセットは、１つの図面情報２０２１に対して複数の見積情報２０２２が対応付けられて構成されていてもよい。また例えば、図面情報２０２１の基となる図面に図示された部品がアセンブリであり、複数のコンポーネントで構成されている場合、基本情報データセットは、１つの図面情報２０２１に含まれる複数のコンポーネントに関する情報に対して、１つの見積情報２０２２が対応付けられて構成されていてもよい。

【0034】

図面情報２０２１及び見積情報２０２２のサーバ２０へのアップロードについては、例えば、端末装置１０又は検索サービスの利用者が操作する情報処理装置から過去にサーバ２０へアップロードされた複数の基本情報データセットが、記憶部２０２に蓄積されたものであってもよい。ここで、「過去にサーバ２０へアップロードされた複数の基本情報データセット」における「過去」とは、具体的には、例えば、部品の設計者が端末装置１０等を操作して、設計者自身が作図した図面の図面情報２０２１をサーバ２０へアップロードした時点のことを指す。部品の設計者は、例えば、ユーザが所属する企業の設計者、又は検索サービスの利用者が所属する企業の設計者である。この場合、部品のバイヤーは、例えば、ユーザ又は検索サービスの利用者である。つまり、バイヤーであるユーザ又は検索サービスの利用者が設計者から図面を受け取った時点では、図面情報２０２１が既にアップロードされている。なお、バイヤーは、設計者から受け取った図面をサプライヤーに提供することで、サプライヤーから見積書を受領する。

【0035】

本実施形態では、図面情報２０２１は、過去にサーバ２０へアップロードされた図面の画像データであるものとする。また、見積情報２０２２は、過去にサーバ２０へアップロードされた見積書に関するテキスト情報であるものとする。見積書に関するテキスト情報は、例えば、サーバ２０へアップロードされた時点でテキスト情報になっていてもよいし、サーバ２０へ見積書の画像データがアップロードされた後にＯＣＲ処理等が施されてテキスト情報になってもよい。つまり、本実施形態では、図面の画像データと見積書の画像データとのデータセットが基本情報データセットとなる。

【0036】

また、記憶部２０２は、例えば、ユーザ情報テーブル２０２３と、検索データベース２０２４とを有する。記憶部２０２が有するテーブル／データベースの種類は、これらに限定されない。例えば、検索データベース２０２４は、記憶部２０２に記憶されていなくてもよい。具体的には、検索データベース２０２４に記憶された第１情報の内容に応じて検索サービスの内容が異なることがある。そのため、検索データベース２０２４は、異なる内容の検索サービスを管理するサーバ毎に記憶されていてもよい。また例えば、検索データベース２０２４は、複数のユーザ間で情報を共有するための検索サービスに係るサーバに記憶されていてもよい。

【0037】

ユーザ情報テーブル２０２３は、ユーザに関する各種情報を記憶するテーブルである。検索データベース２０２４は、複数の第１情報を格納するデータベースである。ユーザ情報テーブル２０２３及び検索データベース２０２４の詳細については後述する。

【0038】

第１情報は、図面情報２０２１の基となる図面に図示された図示対象物に関する情報である。本実施形態では、第１情報は、図面情報２０２１の基となる図面に図示された部品に関する情報となる。第１情報は、基本的にテキスト情報であるが、画像データが含まれていてもよい。

【0039】

図示対象物が本実施形態のような部品の場合、第１情報としてのテキスト情報は、部品の構成要素、機能を説明する文章及びテキストデータである。第１情報としてのテキスト情報には、例えば、品名、品番、材料、寸法、機能、特性、工法、取り付け方法、保守方法等が含まれる。また、第１情報としての画像データは、部品の外観、構造を表す画像データである。第１情報としての画像データには、例えば、部品の実物の外観が撮像された撮像画像、部品の設計図又は断面図が撮像された撮像画像、部品の設計図又は断面図がスキャンされたスキャンデータ、部品の設計図又は断面図を表す２次元データ、部品のＣＡＤデータ等の３次元データ、部品の製造工程が撮像された撮像画像等が含まれる。画像データのファイル形式は、例えば、ＴＩＦＦ、ＪＰＥＧ、ＰＤＦ（登録商標）等の何れであってもよい。

【0040】

第１情報は、図面情報２０２１と、見積情報２０２２と、第１情報の出力を指示する第１プロンプトとが第１生成ＡＩモデル（詳細については後述）に入力されることにより、第１生成ＡＩモデルから出力される。

【0041】

第１プロンプトは、具体的には、第１生成ＡＩモデルに対してどのような第１情報を生成し出力するかを指示する役割を果たす。例えば、「図面情報２０２１の基となる図面に図示された部品の部品情報と、見積情報２０２２の基となる見積対象の部品の部品情報とで、共通する情報及び関連性が高い情報を抽出して第１情報としてください。」のような第１プロンプトが想定される。また例えば、「第１情報をテキスト形式且つリスト形式で出力してください。」のような第１プロンプトが想定される。

【0042】

制御部２０３は、プロセッサ２９が記憶部２０２に記憶されたプログラムを読み込み、プログラムに含まれる命令を実行することにより実現される。プログラムは、ウェブブラウザアプリケーション等のアプリケーションを含む。プログラムは、端末装置１０に記憶されているウェブブラウザアプリケーション上で実行されるＪａｖａＳｃｒｉｐｔ（登録商標）等のプログラミング言語を含む。制御部２０３は、プログラムに従って動作することにより、受信制御モジュール２０３１、送信制御モジュール２０３２、データベース構築モジュール２０３３、検索モジュール２０３４及び提示制御モジュール２０３５としての各機能を発揮する。

【0043】

受信制御モジュール２０３１は、サーバ２０が外部の装置から通信プロトコルに従って信号を受信する処理を制御する。送信制御モジュール２０３２は、サーバ２０が外部の装置へ通信プロトコルに従って信号を送信する処理を制御する。

【0044】

データベース構築モジュール２０３３は、例えば、第１生成ＡＩモデルから出力された複数の第１情報を記憶部２０２が有しているデータベースに格納して、検索データベース２０２４を構築する。つまり、サーバ２０は、記憶部２０２から複数の基本情報データセットを順次読み出し、基本情報データセット毎に第１生成ＡＩモデルに入力して、当該第１生成ＡＩモデルから複数の第１情報を取得する。

【0045】

検索モジュール２０３４は、第２情報に基づいて、検索データベース２０２４から第２情報に類似する第１情報を類似情報として検索する。第２情報は、検索サービスの検索対象に関する情報であり、例えば端末装置１０から送信される。第２情報は、テキスト情報であってもよいし、画像データであってもよい。或いは、第２情報は、テキスト情報と画像データとが混在していてもよい。検索モジュール２０３４による第１情報と第２情報との類比判断の詳細については、後述する。

【0046】

検索サービスの検索対象は、例えば図面、見積書である。以下、検索対象となる図面を検索図面と称し、検索対象となる見積書を検索見積書と称する。つまり、検索対象が検索図面の場合、検索図面に図示された部品に関する情報が第２情報となる。また、検索対象が検索見積書の場合、検索見積書の見積対象となっている部品に関する情報が第２情報となる。本実施形態では、検索対象が検索図面であるものとするが、前述の通り検索対象が検索見積書であってもよく、或いは検索対象が検索図面及び検索見積書の両方であってもよい。

【0047】

検索対象が検索図面の場合、第２情報としてのテキスト情報は、前述した第１情報としてのテキスト情報と同様である。また、第２情報としての画像データも、前述した第１情報としての画像データと同様である。

【0048】

検索対象が検索見積書の場合、第２情報としてのテキスト情報は、検索見積書の見積対象となる部品の価格、条件等に関する文章及びテキストデータである。第２情報としてのテキスト情報には、例えば、サプライヤー情報、顧客（ユーザ）情報、有効期限、部品のスペック、価格、支払条件、保証条件等が含まれる。第２情報としての画像データは、検索見積書を映し出した画像データである。第２情報としての画像データには、検索見積書が表示された画面がキャプチャされたキャプチャ画像、検索見積書がスキャンされたスキャンデータ、検索見積書が撮像された撮像画像等が含まれる。

【0049】

提示制御モジュール２０３５は、ユーザに対して情報を提示する処理を制御する。例えば、提示制御モジュール２０３５は、検索モジュール２０３４の検索結果に関する情報を検索情報としてユーザに提示する処理を制御する。

【0050】

＜１．３ 生成ＡＩシステムの構成＞
生成ＡＩシステム３０は、例えば、端末装置１０から受信した図面情報２０２１、見積情報２０２２及び第１プロンプトを第１生成ＡＩモデルに入力し、当該第１生成ＡＩモデルに第１情報を出力させる。具体的には、例えば、第１生成ＡＩモデルは、第１マルチモーダル生成ＡＩモデルと、大規模言語モデルとを含んでいる。大規模言語モデルは、例えばＦｅｗ－Ｓｈｏｔ Ｐｒｏｍｐｔｉｎｇの手法によって学習されていてもよい。

【0051】

本実施形態では、過去にサーバ２０へアップロードされた図面の画像データが、図面情報２０２１として第１プロンプトと共に第１マルチモーダル生成ＡＩモデルに入力される。生成ＡＩシステム３０は、第１マルチモーダル生成ＡＩモデルに、第１情報として第１テキスト情報を出力させる。第１テキスト情報は、過去にサーバ２０へアップロードされた図面に図示された部品に関するテキスト情報である。

【0052】

本実施形態では、過去にサーバ２０へアップロードされた見積書に関するテキスト情報が、見積情報２０２２として第１プロンプトと共に大規模言語モデルに入力される。生成ＡＩシステム３０は、大規模言語モデルに、第１情報として第２テキスト情報を出力させる。第２テキスト情報は、見積情報２０２２の基となる見積書の見積対象である部品（言い換えれば、図面情報２０２１の基となる図面に図示された部品）に関するテキスト情報である。第１テキスト情報と第２テキスト情報とは、全部が一致してもよいし、全部が異なってもよい。或いは、第１テキスト情報と第２テキスト情報とは、一部が一致してもよい（言い換えれば、一部が異なってもよい）。

【0053】

生成ＡＩシステム３０は、例えば、端末装置１０から受信した第２情報及び第２プロンプトを第２生成ＡＩモデルに入力し、当該第２生成ＡＩモデルに検索情報を出力させる。第２プロンプトは、検索情報の出力を指示するテキスト情報である。本実施形態では、第２生成ＡＩモデルは、第１マルチモーダル生成ＡＩモデルと異なる第２マルチモーダル生成ＡＩモデルである。また、検索図面の画像データ及び検索図面に関するテキスト情報が第２情報となる。以下の説明では、検索対象が検索図面であるものとする。また、検索図面の画像データを検索画像データと称し、検索図面に関するテキスト情報を検索テキスト情報と称する。

【0054】

なお、第１生成ＡＩモデルは、例えば、第１マルチモーダル生成ＡＩモデル又は大規模言語モデルの何れか一方であってもよい。第１生成ＡＩモデルが第１マルチモーダル生成ＡＩモデルの場合、生成ＡＩシステム３０は、図面情報２０２１、見積情報２０２２及び第１プロンプトを第１生成ＡＩモデルとしての第１マルチモーダル生成ＡＩモデルに入力する。この場合において、図面情報２０２１及び見積情報２０２２の少なくとも一方は、画像データであってもよいし、テキスト情報であってもよい。また、第１情報も、画像データであってもよいし、テキスト情報であってもよい。第１生成ＡＩモデルが大規模言語モデルの場合、生成ＡＩシステム３０は、図面情報２０２１、見積情報２０２２及び第１プロンプトを第１生成ＡＩモデルとしての大規模言語モデルに入力する。この場合において、図面情報２０２１、見積情報２０２２及び第１情報は、何れもテキスト情報となる。

【0055】

また、第２生成ＡＩモデルは、例えば、大規模言語モデルであってもよい。この場合、生成ＡＩシステム３０は、第２情報及び第２プロンプトを第２生成ＡＩモデルとしての大規模言語モデルに入力する。この場合において、第２情報は検索テキスト情報のみで構成される。

【0056】

また、生成ＡＩシステム３０は、例えば、第２生成ＡＩモデルに代えてニューラルネットワークモデル等の学習済み機械学習モデルを有していてもよい。この場合、第２情報が学習済み機械学習モデルに入力され、第２プロンプトは不要となる。或いは、生成ＡＩシステム３０は、例えば、第２情報を入力データとするＡＩモデル全般を有していなくてもよい。この場合、例えば、第２情報が検索モジュール２０３４へ送信され、検索モジュール２０３４が検索情報を生成する。

【0057】

生成ＡＩシステム３０が有し得るＡＩモデルは、例えば、教師あり学習により学習されてもよいし、教師あり学習と強化学習の両方の手法で学習されてもよい。また、前記のＡＩモデルは、複数のサプライヤーから提供された図面及び見積書に対応可能な汎用的なモデルであってもよいし、サプライヤー毎に図面及び見積書の内容が学習された、個々のサプライヤー専用のＡＩモデルであってもよい。

【0058】

〔２ データ構造〕
図４及び図５は、サーバ２０が記憶する各テーブルのデータ構造を示す図である。なお、図４及び図５はあくまで一例であり、記載されていないデータを除外するものではない。また、同一のテーブルに記載されているデータであっても、記憶部２０２において離れた記憶領域に記憶されていることもあり得る。

【0059】

図４は、ユーザ情報テーブル２０２３のデータ構造を示す図である。図４に示すユーザ情報テーブル２０２３は、ユーザＩＤをキーとして、氏名、年齢、性別、生年月日及び連絡先の各カラムを有するテーブルである。

【0060】

ユーザＩＤは、ユーザを一意に識別するための識別子を記憶する項目である。氏名は、ユーザの氏名を記憶する項目である。年齢は、ユーザの年齢を記憶する項目である。性別は、ユーザの性別を記憶する項目である。生年月日は、ユーザの生年月日を記憶する項目である。連絡先は、ユーザが有している端末装置１０の連絡先（例えば、電話番号、メールアドレス等）を記憶する項目である。

【0061】

図５は、検索データベース２０２４のデータ構造を示す図である。図５に示す検索データベース２０２４は、部品ＩＤをキーとして、図面ＩＤ、図面ＵＲＬ、見積書ＩＤ、見積書ＵＲＬ及び部品情報の各カラムを有するデータテーブル形式になっている。

【0062】

部品ＩＤは、図面情報２０２１の基となる図面に図示された部品を一意に識別するための識別子を記憶する項目である。図面ＩＤは、図面情報２０２１の基となる図面を一意に識別するための識別子を記憶するための項目である。図面ＵＲＬは、図面の画像データ、つまり図面情報２０２１に対する参照情報（パス）を記憶する項目である。見積書ＩＤは、見積情報２０２２の基となる見積書を一意に識別するための識別子を記憶する項目である。見積書ＵＲＬは、見積情報２０２２の基となる見積書の画像データに対する参照情報（パス）を記憶する項目である。部品情報は、図面情報２０２１の基となる図面に図示された部品に関する情報、つまり第１情報を記憶する項目である。

【0063】

部品情報は、例えば、品名、品番、数量、カテゴリ、形状、交差、重量、寸法（最大直径、最小直径）、単価、受領日時、構成部品、材料、調達区分、サプライヤー情報及び工法等を含んでいる。また例えば、図面情報２０２１の基となる図面に図示された部品が複数の構成部品から成る場合、複数の構成部品のそれぞれについて、品名、品番等の情報が部品情報に含まれる。また例えば、材料の内容として、材料名、材料品番、投入重量、歩留り、単価、数量、寸法等が部品情報に含まれる。また例えば、工法の内容として、工程名、設備名、段取り時間、加工工数、合計工数、合計工数単位、マンレート、マシンレート、合計賃率、合計賃率単位、加工費等の情報が部品情報に含まれる。なお、部品情報に含まれる品名等のトークン化されたテキスト情報は、第２情報との類似度の算出が容易になるように、ベクトル化されて検索データベース２０２４に格納されるのが好ましい。

【0064】

部品情報は、部品の種類によって内容が異なり得る。例えば、部品がパイプ又はチューブの場合、部品情報は、外径、内径、肉厚等を含み得る。また例えば、部品がボルトの場合、部品情報は、直径、全長、頭部形状、強度区分等を含み得る。或いは、部品がブラケットの場合、部品情報は、機能（支持、取付、固定等）等を含み得る。

【0065】

〔３ 動作〕
図６を参照して、ユーザに検索情報を提示するときのサーバ２０の動作について説明する。図６は、ユーザに検索情報を提示するときにおける、サーバ２０の動作の例を示すフローチャートである。前提として、端末装置１０等から送信された複数の図面情報２０２１及び複数の見積情報２０２２が、サーバ２０へアップロードされているものとする。

【0066】

まず、ユーザが端末装置１０を起動させる。アプリ１８１は、例えば、端末装置１０が起動すると共に、端末装置１０のＯＳによって自動的に起動される。アプリ１８１が起動されると、提示制御部１９３は、アプリ１８１が動作していることをユーザに提示してもよいし、提示しなくてもよい。本実施形態では、提示制御部１９３は、タッチ・センシティブ・デバイス１３１の操作面、言い換えればディスプレイの１４１の表示画面に図７に示す入力フォーム画面（所定の入力フォーム）を表示させることにより、アプリ１８１が動作していることをユーザに提示する。入力フォーム画面の詳細については後述する。

【0067】

ステップＳ１１において、サーバ２０は、第１生成ＡＩモデルから第１情報を出力させる（出力ステップ）。具体的には、例えば、システム１を管理する担当者、又はサーバ２０を操作／管理する担当者（以下、担当者と総称）が、サーバ２０に備えられた不図示の入力装置を操作して第１プロンプトをサーバ２０に入力する。なお、第１プロンプトの入力先は、サーバ２０ではなく、例えば検索サービス提供元の不図示のＰＣであってもよい。制御部２０３は、不図示の操作受付モジュールとしての機能を発揮して第１プロンプトを受け付け、送信制御モジュール２０３２へ第１プロンプトを送信する。

【0068】

送信制御モジュール２０３２は、記憶部２０２から基本情報データセットを部品の種類毎に順次読み出し、第１プロンプトと共に生成ＡＩシステム３０へ送信する。このとき、送信制御モジュール２０３２から送信される図面情報２０２１は、図面の画像データである。また、送信制御モジュール２０３２から送信される見積情報２０２２は、見積書に関するテキスト情報である。

【0069】

生成ＡＩシステム３０は、送信制御モジュール２０３２から受信した図面情報２０２１（図面の画像データ）を、第１プロンプトと共に第１マルチモーダル生成ＡＩモデルに入力する。図面情報２０２１及び第１プロンプトを入力された第１マルチモーダル生成ＡＩモデルは、第１情報として第１テキスト情報を出力する。

【0070】

また、生成ＡＩシステム３０は、送信制御モジュール２０３２から受信した見積情報２０２２（見積書に関するテキスト情報）を、第１プロンプトと共に大規模言語モデルに入力する。第１プロンプトの大規模言語モデルへの入力処理は、例えば、前述した第１マルチモーダル生成ＡＩモデルへの入力処理と同様である。見積情報２０２２及び第１プロンプトを入力された大規模言語モデルは、第１情報として第２テキスト情報を出力する。

【0071】

なお、本実施形態では、記憶部２０２に予め記憶された図面情報２０２１及び見積情報２０２２が第１生成ＡＩモデルに入力される処理内容となっているが、この処理内容に限定されない。例えば、サーバ２０、又は検索サービス提供元の不図示のＰＣに入力される第１プロンプトの内容に、図面情報２０２１及び見積情報２０２２の少なくとも一方が含まれていてもよい。つまり、第１プロンプトの入力の際には、図面情報２０２１及び見積情報２０２２の少なくとも一方を含んだ動的な内容の第１プロンプトが生成されてもよい。

【0072】

生成ＡＩシステム３０は、第１マルチモーダル生成ＡＩモデルから出力された第１テキスト情報、及び大規模言語モデルから出力された第２テキスト情報をサーバ２０へ送信する。生成ＡＩシステム３０は、これら一連の処理を、送信制御モジュール２０３２から部品の種類毎に順次送信された基本情報データセットの全てについて実行する。

【0073】

ステップＳ１２において、サーバ２０は、検索データベース２０２４を構築する（構築ステップ）。具体的には、例えば、受信制御モジュール２０３１は、生成ＡＩシステム３０から順次送信された部品の種類毎の第１テキスト情報及び第２テキスト情報を受信し、データベース構築モジュール２０３３へ送信する。データベース構築モジュール２０３３は、例えば、部品の種類に対応する第１テキスト情報と第２テキスト情報とのデータセット（以下、テキスト情報データセット）を受信する度に、記憶部２０２に記憶された第１情報格納用のデータベースにテキスト情報データセットを格納する。

【0074】

このとき、第１テキスト情報に含まれている項目（例えば、品名、品番等）と第２テキスト情報に含まれている項目とで重複する項目がある場合、データベース構築モジュール２０３３は、例えば、第１テキスト情報又は第２テキスト情報のうち情報の信頼性が高い方の項目を選択する。データベース構築モジュール２０３３は、例えば、選択しなかった項目に対応する情報を削除する。このようにして、テキスト情報データセットから特定のテキスト情報が削除されたものが、検索データベース２０２４に格納された第１情報となる。

【0075】

データベース構築モジュール２０３３は、これら一連の処理を、全てのテキスト情報データセットについて実行する。全てのテキスト情報データセットについて前述した一連の処理が完了すると、第１情報格納用のデータベースが検索データベース２０２４となる。なお、データベース構築モジュール２０３３は、例えば、全てのテキスト情報データセットを一旦受信した後、当該全てのテキスト情報データセットを一括して第１情報格納用のデータベースに格納してもよい。また、検索データベース２０２４に格納された第１情報の状態に特段の限定はないものの、第１情報と統合テキスト情報との類比判断（詳細については後述）を容易にする観点から、ベクトル化された状態の第１情報が検索データベース２０２４に格納されるのが好ましい。本実施形態では、ベクトル化された状態の第１情報が検索データベース２０２４に格納されているものとする。但し、検索データベース２０２４は、例えば、全文検索方式のデータベースであってもよいし、リレーショナルデータベースであってもよい。

【0076】

Ｓ１３において、サーバ２０は、第２情報の入力を受け付ける（入力ステップ）。具体的には、例えば、ユーザは、入力装置１３を操作して第２情報を端末装置１０に入力する。操作受付部１９１は、入力装置１３に入力された第２情報を受け付け、送受信部１９２へ送信する。送受信部１９２は、操作受付部１９１から受信した第２情報をサーバ２０へ送信する。サーバ２０は、端末装置１０から送信された第２情報を受信制御モジュール２０３１が受信することにより、ユーザによる第２情報の入力を受け付ける。

【0077】

以下、図７を参照して、第２情報の入力の受け付け処理について詳細に説明する。図７は、ユーザが第２情報を入力するときにおける、タッチ・センシティブ・デバイス１３１の操作面の例を示す模式図である。ここで、図７及び図８では、紙面向かって左側を上側とし、紙面向かって右側を下側とする。また、図７及び図８では、紙面向かって上側を右側とし、紙面向かって下側を左側とする。

【0078】

前述した通り、アプリ１８１が起動されると、提示制御部１９３は、タッチ・センシティブ・デバイス１３１の操作面（ディスプレイの１４１の表示画面）に図面検索画面を表示させる。図７に示すように、図面検索画面は、例えば、入力フォーム画面と図面表示画面とを有している。本実施形態では、図面検索画面において、入力フォーム画面が左側に配置され、図面表示画面が右側に配置されている。なお、この配置は任意に変更可能である。

【0079】

入力フォーム画面には、例えば、利用シーンボタン１３１１と、重視項目フィールド１３１２と、絞り込みフィールド１３１３と、アップロードボタン１３１４と、開始ボタン１３１５と、フィードバックフィールド１３１６とが設けられている。

【0080】

利用シーンボタン１３１１がタップ等されると、提示制御部１９３は、例えば、利用シーンボタン１３１１の配置領域付近に不図示のドロップダウンメニューを表示させる。ドロップダウンメニューには、ユーザによる図面検索の利用場面のリストが提示される。

【0081】

重視項目フィールド１３１２には、複数種類の項目の選択肢１３１２１が表示される。項目は、例えば「寸法」、「公差」、「材料」、「工法」、「生産量」、「設備」等、第２情報の内容の一部を構成し得る指標である。また、例えば、各選択肢の画面向かって左側にチェックボックス１３１２２が設けられている。特定のチェックボックス１３１２２がタップ等されると、操作受付部１９１は、特定のチェックボックス１３１２２に対応する選択肢１３１２１の選択を受け付ける。図７に示すように、ユーザが所望する第２情報の内容に応じて、複数の選択肢１３１２１が選択されてよい。

【0082】

この選択受け付けにより、選択された項目の種類に対応する検索図面の該当情報がタッチ・センシティブ・デバイス１３１に入力される。例えば、項目「寸法」のチェックボックスがタップ等されると、「図面検索において、検索図面に図示された部品の寸法が検索基準となる」との情報が、検索図面の該当情報として端末装置１０に入力される。選択された項目の種類全てについて検索図面の該当情報がタッチ・センシティブ・デバイス１３１に入力されると、操作受付部１９１は、タッチ・センシティブ・デバイス１３１に入力されたすべての該当情報を送受信部１９２へ送信する。

【0083】

送受信部１９２は、例えば、操作受付部１９１から受信した全ての該当情報に基づいて、検索テキスト情報及び第２プロンプトを生成する。送受信部１９２は、例えば、検索テキスト情報と第２プロンプトとを、「この検索図面に図示された部品と同じ製造設備で似たような加工方法を採用している部品の図面を探しています。該当する図面があるか検索してもらえますか？」のように１つのテキスト情報として纏めて生成してもよい。送受信部１９２は、検索テキスト情報及び第２プロンプトをサーバ２０へ送信する。なお、操作受付部１９１が、送受信部１９２の代わりに検索テキスト情報及び第２プロンプトを生成してもよい。

【0084】

提示制御部１９３は、例えば、ドロップダウンメニューのリストの中から選択された利用場面の種類に応じて、重視項目フィールド１３１２に表示される項目の種類及び数を変更させる。これにより、ユーザが所望する図面検索の利用場面に応じて検索テキスト情報を適切に生成することができる。

【0085】

絞り込みフィールド１３１３には、絞り込み項目ボタン１３１３１と、絞り込み項目１３１３２と、テキストボックス１３１３３とが設けられている。絞り込み項目ボタン１３１３１がタップ等されると、提示制御部１９３は、例えば、絞り込み項目ボタン１３１３１の配置領域付近に不図示のドロップダウンメニューを表示させる。ドロップダウンメニューには、重視項目フィールド１３１２に表示されている複数種類の項目のリストが提示される。ユーザがドロップダウンメニューのリストの中から特定の種類の項目を選択すると、操作受付部１９１がその選択を受け付け、受け付けた旨の情報を提示制御部１９３へ送信する。提示制御部１９３は、絞り込み項目１３１３２の表示を特定の種類の項目に切り替える。図７の例では、絞り込み項目１３１３２の表示が項目「公差」に切り替わっている。

【0086】

テキストボックス１３１３３は、上限値が入力されるテキストボックス及び下限値が入力されるテキストボックスで構成されている。テキストボックス１３１３３に上限値及び下限値が入力されると、送受信部１９２は、絞り込み項目１３１３２に表示された項目の種類が下限値から上限値までの数値範囲内となるように、検索条件を絞り込んだ検索テキスト情報を生成する。これにより、ユーザが所望する検索条件を盛り込んだ検索テキスト情報を生成することができる。

【0087】

図７の例では、送受信部１９２が検索テキスト情報及び第２プロンプトを生成するが、この場合に限定されない。例えば、重視項目フィールド１３１２及び絞り込みフィールド１３１３に代えて、テキストボックスが入力フォーム画面に設けられていてもよい。この場合、ユーザがテキストボックスに検索テキスト情報及び第２プロンプトを入力し、操作受付部１９１が検索テキスト情報及び第２プロンプトの入力を受け付ける。送受信部１９２は、操作受付部１９１から受信した検索テキスト情報及び第２プロンプトをサーバ２０へ送信する。テキストボックスは、検索テキスト情報の入力用のテキストボックスと、第２プロンプトの入力用のテキストボックスとに分かれていてもよい。

【0088】

アップロードボタン１３１４がタップ等されると、提示制御部１９３は、例えば、アップロードボタン１３１４の配置領域付近に不図示のドロップダウンメニューを表示させる。ドロップダウンメニューには、検索画像データのリストが提示される。本実施形態では、このリストに提示される検索画像データは、記憶部２０２に記憶されている図面の画像データ、つまり図面情報２０２１となる。なお、ドロップダウンメニューのリストに提示される検索画像データは、例えば、ユーザが端末装置１０に記憶した１又は複数の図面の画像データであってもよい。この場合、当該１又は複数の画像データのみがリストに提示されてもよいし、当該１又は複数の画像データ及び複数の図面情報２０２１の両方がリストに提示されてもよい。

【0089】

ユーザがドロップダウンメニューのリストの中から特定の検索画像データを選択すると、操作受付部１９１は、その選択を受け付ける。送受信部１９２は、特定の検索画像データの選択を受け付けた旨の受付情報をサーバ２０へ送信する。

【0090】

ここで、送受信部１９２は、検索テキスト情報、第２プロンプト及び受付情報を一括してサーバ２０へ送信するが、検索テキスト情報、第２プロンプト、受付情報、又はこれらのうちの２つの組み合わせを順次サーバ２０へ送信してもよい。サーバ２０は、端末装置１０から送信された検索テキスト情報、第２プロンプト及び受付情報を受信制御モジュール２０３１が受信することにより、ユーザによる第２情報の入力を受け付ける。

【0091】

開始ボタン１３１５がタップ等されると、操作受付部１９１は、入力フォーム画面を初期画面から入力可能な画面に切り替える旨の指示として受け付け、当該指示を表す指示情報を提示制御部１９３へ送信する。指示情報を受信した提示制御部１９３は、入力フォーム画面は、初期画面から入力可能な画面に切り替える。具体的には、例えば、初期状態の入力フォーム画面には、重視項目フィールド１３１２の各項目及び絞り込みフィールド１３１３の絞り込み項目に何も表示されていない（以上、不図示）。一方、例えば、初期状態の入力フォーム画面において、利用シーンボタン１３１１のドロップダウンメニューのリストから利用場面が選択された後に開始ボタン１３１５がタップ等されると、入力フォーム画面が図７に示す状態に切り替わる。

【0092】

フィードバックフィールド１３１６には、検索情報が表示される。図７は、第２情報が入力された時点、つまり図面検索が行われる前の操作面を例示しているため、フィードバックフィールド１３１６には何も表示されていない。なお、フィードバックフィールド１３１６は図面検索画面に設けられていなくてもよく、例えば、検索情報の表示専用のフィードバック画面が、図面検索画面の別画面として操作面に表示されてもよい。

【0093】

図面表示画面には、例えば、検索図面表示フィールド１３１７と、類似図面表示フィールド１３１８とが設けられている。検索図面表示フィールド１３１７には、第２情報としての検索画像データ（図中の「検索図面１」）が表示される。提示制御モジュール２０３５は、操作受付部１９１から特定の検索画像データの選択を受け付けた旨の受付情報を受信すると、記憶部２０２から特定の検索画像データ（特定の図面情報２０２１）を読み出して検索図面表示フィールド１３１７に表示させる。

【0094】

図７は、第２情報が入力された時点、つまり図面検索が行われる前の操作面を例示しているため、類似図面表示フィールド１３１８には何も表示されていない。なお、図７に示す図面検索画面の画面構成及び表示内容はあくまで一例であり、様々な画面構成及び表示内容を採用することができる。

【0095】

Ｓ１４において、サーバ２０は、受け付けた第２情報に基づいて、検索データベース２０２４から類似情報を検索する（提示ステップ）。具体的には、例えば、受信制御モジュール２０３１は、端末装置１０から送信された検索画像データ、検索テキスト情報及び第２プロンプトを受信して、記憶部２０２に一旦記憶する。なお、検索画像データ、検索テキスト情報及び第２プロンプトは、生成ＡＩシステム３０の不図示の記憶部に一旦記憶されてもよい。

【0096】

指示情報を受信した受信制御モジュール２０３１は、記憶部２０２から検索画像データ、検索テキスト情報及び第２プロンプトを読み出して送信制御モジュール２０３２へ送信する。送信制御モジュール２０３２は、受信した検索画像データ、検索テキスト情報及び第２プロンプトを生成ＡＩシステム３０へ送信する。

【0097】

生成ＡＩシステム３０は、受信した検索画像データ、検索テキスト情報及び第２プロンプトを第２マルチモーダル生成ＡＩモデルに入力して、当該第２マルチモーダル生成ＡＩモデルから統合テキスト情報を出力させる。統合テキスト情報は、検索図面に関するテキスト情報であり、検索テキスト情報の内容と検索画像データの内容とを統合したテキスト情報である。生成ＡＩシステム３０は、第２マルチモーダル生成ＡＩモデルから出力された統合テキスト情報をサーバ２０へ送信する。

【0098】

受信制御モジュール２０３１は、生成ＡＩシステム３０から送信された統合テキスト情報を受信して、検索モジュール２０３４へ送信する。統合テキスト情報を受信した検索モジュール２０３４は、検索データベース２０２４から第１情報を部品の種類毎に読み出し、統合テキスト情報と対比する。

【0099】

検索モジュール２０３４は、第１情報と統合テキスト情報との類比判断を、例えばコサイン類似度の手法を用いて行う。コサイン類似度は、ベクトル空間内で２つのベクトルの間の類似度を計算するための一手法である。コサイン類似度の値は、－１から１までの範囲内の値をとる。コサイン類似度の値が１に近いほど２つのベクトルが類似しており、０に近いほど類似性が低くなる。また、コサイン類似度の値が－１に近いほど２つのベクトルが対立している。コサイン類似度はベクトルの向きや大きさに依存するため、類比判断にあたり、ベクトルのスケールによらず当該ベクトルの方向のみに注目することができる。従って、ベクトル化された２つのテキスト情報の類比判断を容易に行うことができる。なお、検索モジュール２０３４は、コサイン類似度以外の手法を用いて第１情報と統合テキスト情報との類比判断を行ってもよい。

【0100】

具体的には、例えば、検索モジュール２０３４は、受信制御モジュール２０３１から受信した統合テキスト情報をベクトル化する。検索モジュール２０３４は、既にベクトル化された第１情報と、ベクトル化した統合テキスト情報とのコサイン類似度を、コサイン類似度の一般式を用いて算出する。検索モジュール２０３４は、例えば、算出したコサイン類似度の値が基準値（任意に設定可）以上であれば、第１情報と統合テキスト情報とが類似していると判断する。

【0101】

Ｓ１５において、サーバ２０は、第２生成ＡＩモデルから検索情報を出力させる（提示ステップ）。具体的には、例えば、検索モジュール２０３４は、検索データベース２０２４から統合テキスト情報と類似する特定の第１情報を検索できた場合、当該特定の第１情報を第２情報（検索画像データ及び検索テキスト情報）と類似すると見做して類似情報とする。検索モジュール２０３４は、検索した類似情報を送信制御モジュール２０３２へ送信する。送信制御モジュール２０３２は、受信した類似情報を生成ＡＩシステム３０へ送信する。生成ＡＩシステム３０は、受信した類似情報を第２マルチモーダル生成ＡＩモデルに入力し、当該第２マルチモーダル生成ＡＩモデルから検索情報を出力させる。

【0102】

また例えば、検索モジュール２０３４は、検索データベース２０２４から統合テキスト情報と類似する特定の第１情報を検索できなかった場合、検索できなかった旨の検索結果を表す検索不可情報を生成する。検索モジュール２０３４は、検索不可情報を送信制御モジュール２０３２へ送信する。送信制御モジュール２０３２は、受信した検索不可情報を生成ＡＩシステム３０へ送信する。生成ＡＩシステム３０は、受信した検索不可情報を第２マルチモーダル生成ＡＩモデルに入力し、当該第２マルチモーダル生成ＡＩモデルから検索情報を出力させる。これらの一連の処理により、サーバ２０は、第２生成ＡＩモデルから検索情報を出力させる。

【0103】

Ｓ１６において、サーバ２０は、検索情報をユーザに提示する（提示ステップ）。具体的には、例えば、生成ＡＩシステム３０は、第２生成ＡＩモデル（第２マルチモーダル生成ＡＩモデル）から出力させた検索情報をサーバ２０へ送信する。受信制御モジュール２０３１は、受信した検索情報を提示制御モジュール２０３５へ送信する。提示制御モジュール２０３５は、受信した検索情報を端末装置１０へ送信することにより、受信した検索情報をディスプレイ１４１の表示画面（タッチ・センシティブ・デバイス１３１の操作面）に表示させる。これらの一連の処理により、サーバ２０は、ユーザに検索情報を提示する。

【0104】

以下、図８を参照して、ユーザへの検索情報の提示例について説明する。図８は、ユーザに検索情報を提示するときにおける、ディスプレイ１４１の表示画面の例を示す模式図である。ディスプレイ１４１の表示画面はタッチ・センシティブ・デバイス１３１の操作面でもあるため、提示制御モジュール２０３５が検索情報を端末装置１０へ送信すると、図面検索画面は、図７に示す状態から例えば図８に示す状態に遷移する。つまり、図７に示す状態の入力フォーム画面のフィードバックフィールド１３１６に、検索情報が表示されることとなる。また、図７に示す状態の図面表示画面の類似図面表示フィールド１３１８にも、検索情報が表示されることとなる。

【0105】

検索情報は、検索結果に関する情報であればどのような内容及び形式の情報でもよい。図８の例では、フィードバックフィールド１３１６に、「上記条件で、類似図面Ａ～Ｄが見つかりました。」とのテキスト形式の検索情報が表示されている。また、図８の例では、フィードバックフィールド１３１６に、検索情報として「公差を緩めると、ＡＡ及びＢＢの図面が類似図面に該当します。項目「設備」のチェックを外すと、ＣＣ及びＤＤの図面が類似図面に該当します。」とのテキスト形式のアドバイス情報が表示されている。アドバイス情報は、検索図面及び第２情報の各内容に応じて、検索図面に類似する類似図面（類似情報を含んだ図面）の検索を容易にするために変更等するのが好ましい第２情報の内容を提示する情報である。ユーザに提示される検索情報にアドバイス情報が含まれていることで、ユーザは、類似図面の検索が容易になる。

【0106】

更に、提示制御モジュール２０３５は、検索情報として、検索データベース２０２４に格納された類似図面の画像データの参照情報（パス）を類似図面表示フィールド１３１８に表示させる。例えば、ユーザが類似図面表示フィールド１３１８に表示された参照情報をタップ等すると、提示制御モジュール２０３５は、図８に示すような類似図面の画像データ（図中の「類似図面Ａ」から「類似図面Ｄ」）を類似図面表示フィールド１３１８に表示させる。

【0107】

〔４ 画面例〕
タッチ・センシティブ・デバイス１３１の操作面に表示される第２情報の入力画面、及びディスプレイ１４１の表示画面に表示される検索情報の提示画面は、図７及び図８の各例以外にも種々の画面構成が想定される。入力装置１３及び出力装置１４が本実施形態のようなタッチパネルの場合、例えば、図９に示すチャットベースの入力／提示画面が想定される。図９は、ユーザに検索情報を提示したときにおける、ディスプレイ１４１の表示画面の他の例を示す模式図である。
図９に示す入力／提示画面は、例えば、入力データであるテキスト情報（第２情報）の内容に応じて第２生成ＡＩモデル（第２マルチモーダル生成ＡＩモデル）からアドバイス情報を含む検索情報が出力され、ユーザに提示されることにより、テキスト情報の入力のみで図面検索することができる。

【0108】

具体的には、例えば、図９に示す入力／提示画面には、テキスト入力フィールド１４１１と、画像表示フィールド１４１２と、検索情報表示フィールド１４１３と、セレクトボックス１４１４とが表示される。

【0109】

テキスト入力フィールド１４１１には、第２情報としてのテキスト情報が入力される。図９の例では、「株式会社ＸＸさんにお願いした、ソレノイドバルブの図面くれませんか？・・・材料はプラスチックを使っているものが望ましいです。」とのテキスト情報がテキスト入力フィールド１４１１に入力されている。

【0110】

端末装置１０は、操作受付部１９１が受け付けたテキスト情報をサーバ２０へ送信する。サーバ２０は、受信制御モジュール２０３１が受信したテキスト情報を、例えば生成ＡＩシステム３０へ送信する。生成ＡＩシステム３０は、例えば、受信したテキスト情報を第２マルチモーダル生成ＡＩモデルに入力し、当該第２マルチモーダル生成ＡＩモデルからアドバイス情報を含む検索情報を出力させる。生成ＡＩシステム３０は、第２マルチモーダル生成ＡＩモデルから出力させた検索情報をサーバ２０へ送信する。サーバ２０は、受信制御モジュール２０３１が受信した操作情報を提示制御モジュール２０３５へ送信する。提示制御モジュール２０３５は、端末装置１０へ検索情報を送信し、検索情報表示フィールド１４１３に検索情報を表示させる。

【0111】

ここで、類似図面が１種類以上検索できた場合、提示制御モジュール２０３５は、例えば、検索データベース２０２４に格納された類似図面の画像データの参照情報（パス）を画像表示フィールド１４１２に表示させる。例えば、ユーザが画像表示フィールド１４１２に表示された参照情報をタップ等すると、提示制御モジュール２０３５は、図９に示すような類似図面の画像データを画像表示フィールド１４１２に表示させる。

【0112】

なお、システム１の検索対象が検索見積書の場合、図９の例において、検索データベース２０２４に格納された類似見積書（類似情報を含んだ見積書）の画像データの参照情報（パス）を画像表示フィールド１４１２に表示させてもよい。また例えば、ユーザが画像表示フィールド１４１２に表示された参照情報をタップ等することにより、提示制御モジュール２０３５は、類似見積書の画像データを画像表示フィールド１４１２に表示させてもよい。更には、システム１の検索対象が検索見積書及び検索見積書の両方の場合であれば、提示制御モジュール２０３５は、類似図面の画像データ及び類似見積書の画像データを画像表示フィールド１４１２に表示させてもよい。

【0113】

以上のように、類似図面の画像データ及び類似見積書の画像データの少なくとも一方がユーザに提示されることで、サーバ２０により検索された類似図面等がユーザの所望する図面等と一致しているか否かを、ユーザが容易に判断できる。

【0114】

図９の例では、テキスト入力フィールド１４１１に入力されたテキスト情報の内容に応じて２種類の類似図面の参照情報が画像表示フィールド１４１２に表示され、これらの参照情報のタップ等により２種類の類似図面の画像データが画像表示フィールド１４１２に表示されている。また、図９の例では、テキスト入力フィールド１４１１に入力されたテキスト情報に対するテキストチャットとして、「指示された条件に近い図面は１０点ありました。・・・より絞り込むためには、図面受領日時と設備を下記項目から指定してください。」との検索情報が検索情報表示フィールド１４１３に表示されている。

【0115】

図９の例のように、検索情報の中に、特定の検索条件（第２情報に含まれる特定の内容）を絞り込んだ方が好ましい旨の情報が含まれている場合、提示制御モジュール２０３５は、例えば、当該特定の検索条件を絞り込むための選択肢が設けられたセレクトボックス１４１４を表示させる。つまり、セレクトボックス１４１４は、図９に示す入力／提示画面に必ず表示されるものではなく、検索情報表示フィールド１４１３の表示内容によっては表示されない場合がある。図９の例では、検索情報表示フィールド１４１３における図面受領日時及び設備を絞り込んだ方がよい旨の表示内容に基づいて、図面受領日時及び設備を絞り込むための選択肢が設けられたセレクトボックス１４１４が表示されている。

【0116】

また、図９の例では、セレクトボックス１４１４の特定の選択肢をユーザが選択したことに対するチャットテキストとして、新たな参照情報（及び参照情報のタップ等による類似図面の画像データ）が画像表示フィールド１４１２に、「選択していただいた項目から上記の図面が類似図面の候補として出てきました。・・・」との検索情報が検索情報表示フィールド１４１３に、それぞれ表示されている。

【0117】

このように、図９の例では、テキスト入力フィールド１４１１に入力されたテキスト情報の内容に応じて、提示制御モジュール２０３５が、検索情報、及び検索条件を絞り込むためのＵＩ要素を臨機応変且つ動的に表示させる。これにより、ユーザは少ないＵＩ操作で所望の類似図面を効率的に検索することができる。

【0118】

〔５ 小括〕
以上のように、本実施形態では、データベース構築モジュール２０３３は、図面情報２０２１及び見積情報２０２２を第１生成ＡＩモデルに入力して得られた第１情報を第１情報格納用のデータベースに格納して、検索データベース２０２４を構築する。検索モジュール２０３４は、検索データベース２０２４を用いて類似情報を検索し、第２生成ＡＩモデルから検索情報を出力させる。提示制御モジュール２０３５は、検索情報をディスプレイ１４１の表示画面に表示させることにより、ユーザに検索情報を提示する。これにより、見積情報２０２２を加味して図面検索ができることから、図面情報２０２１を用いた図面検索において、多様なユースケースに柔軟に対応することができる。

【0119】

また、本実施形態では、操作受付部１９１は、タッチ・センシティブ・デバイス１３１の操作面に表示された入力フォーム画面上の複数の項目のそれぞれに検索図面の該当情報が入力されることにより、第２情報の入力を受け付ける。これにより、ユーザが第２情報の全ての内容を入力する必要が無くなるため、図面検索におけるユーザの利便性が向上する。

【0120】

また、本実施形態では、生成ＡＩシステム３０は、図面情報２０２１としての画像データを第１マルチモーダル生成ＡＩモデルに入力し、且つ、見積情報２０２２としてのテキスト情報を大規模言語モデルに入力することで、第１情報を取得する。生成ＡＩシステム３０は、検索画像データ及び検索テキスト情報を第２マルチモーダル生成ＡＩモデルに入力することで、検索情報を取得する。これにより、第１情報及び検索情報が、画像データ及びテキスト情報という異なる形式の情報の関連性を考慮した確度のより高い情報となる。よって、図面検索の精度が向上する。

【0121】

〔６ 変形例〕
＜６．１ 第１変形例＞
本実施形態では、システム１が、図面検索サービス、見積書検索サービス、又はこれら２つの組み合わせに係る検索サービスを提供するためのシステムであるものとして説明した。しかしながら、システム１は、これらの検索サービスに加えて、例えば見積査定資料の検索サービスをも提供するものであってもよい。

【0122】

見積査定資料は、見積書の内容が適切であるか否かをユーザが所属する企業内で査定するのに用いられる資料であり、例えば、稟議書、見積比較資料等が挙げられる。稟議書は、検索見積書の見積対象の部品について、ユーザが所属する企業内で発注の承認／決裁を得るための資料である。見積比較資料は、見積書を他の見積書と比較したときの比較結果に関する資料であり、例えば、類似部品見積比較資料、相見積比較資料、同品番過去見積比較資料、同サプライヤー過去見積比較資料等が挙げられる。

【0123】

類似部品見積比較資料は、検索見積書の見積対象の部品と類似する部品についての見積書を、検索見積書と比較したときの比較結果に関する資料である。相見積比較資料は、検索見積書の相見積の対象である見積書を、検索見積書と比較したときの比較結果に関する資料である。見積同品番過去見積比較資料は、検索見積書の見積対象の部品と同品番の部品についての見積書を、検索見積書と比較したときの比較結果に関する資料である。同サプライヤー過去見積比較資料は、検索見積書の見積対象の部品のサプライヤーと同じサプライヤーから提出された見積書を、検索見積書と比較したときの比較結果に関する資料である。

【0124】

システム１が見積査定資料の検索サービスを提供する場合、例えば、サーバ２０は、図面情報２０２１及び見積情報２０２２に加えて見積査定資料に関する情報を記憶部２０２に記憶していてもよい。送信制御モジュール２０３２は、記憶部２０２から図面情報２０２１、見積情報２０２２及び見積査定資料に関する情報を読み出して生成ＡＩシステム３０へ送信してもよい。生成ＡＩシステム３０は、受信したこれら３種類の情報を第１プロンプトと共に第１生成ＡＩモデルに入力して、当該第１生成ＡＩモデルから第１情報を出力させてもよい。

【0125】

これにより、第１生成ＡＩモデルから見積査定資料に関する情報を加味した第１情報が出力されるため、検索データベース２０２４に格納される第１情報の確度が高くなる。よって、検索情報の確度も高くなり、ユーザが類似見積査定資料（類似情報を含んだ見積査定資料）等を精度高く検索することができる。なお、システム１が例えば見積査定資料の検索サービスを提供しない場合、つまり、システム１が本実施形態に係る検索サービス（図面検索サービス、見積書検索サービス、又はこれら２つの組み合わせに係る検索サービス）のみを提供する場合でも、見積査定資料に関する情報を第１生成ＡＩモデルへの入力データとして用いてもよい。

【0126】

また、システム１が見積査定資料の検索サービスを提供する場合、提示制御モジュール２０３５は、検索情報として、例えば類似見積査定資料（類似情報を含んだ見積査定資料）に関するテキスト情報をユーザに提示してもよい。この場合、提示制御モジュール２０３５は、類似見積査定資料の画像データを検索情報と共に提示してもよい。この画像データをユーザに提示することで、サーバ２０により検索された類似見積査定資料がユーザの所望する見積査定資料と一致しているか否かを、ユーザが容易に判断できる。

【0127】

本実施形態及び第１変形例において、取引通信情報を第１生成ＡＩモデルへの入力データに加えてもよい。取引通信情報は、図面情報２０２１の基となる図面、見積情報２０２２の基となる見積書、見積査定資料に関する情報の基となる見積査定資料、又はこれらの少なくとも２つの組み合わせに関する通信情報である。具体的には、例えば、取引通信情報は、ユーザとサプライヤーとの間で無線通信（又は有線通信）によりやり取りされる取引情報であり、記憶部２０２に記憶されている。

【0128】

取引通信情報は、図面自体及び見積書自体には現れていない、当該図面及び当該見積書に関する詳細な情報を含んでいる。従って、第１生成ＡＩモデルへの入力データに取引通信情報を加えることで、第１生成ＡＩモデルから取引通信情報を加味した第１情報が出力されるため、検索データベース２０２４に格納される第１情報の確度が高くなる。よって、検索情報の確度も高くなり、ユーザが類似図面等を精度高く検索することができる。

【0129】

なお、取引通信情報は、見積情報２０２２の基となる見積書に記載された見積額の決定に至るまでのやり取りに関する情報を含んでいてもよい。この情報を含んだ取引通信情報を第１生成ＡＩモデルへの入力データに加えることで、検索データベース２０２４に格納される第１情報の確度が更に高くなる。ひいては、検索情報の確度も更に高くなり、ユーザが類似図面等をより精度高く検索することができる。

【0130】

＜６．２ 第２変形例＞
本実施形態では、第１マルチモーダル生成ＡＩモデルから出力された第１テキスト情報と、大規模言語モデルから出力された第２テキスト情報とで第１情報を構成した。しかしながら、生成ＡＩシステム３０は、第１テキスト情報及び第２テキスト情報を、第１マルチモーダル生成ＡＩモデル及び第２マルチモーダル生成ＡＩモデルの何れとも異なる第３マルチモーダル生成ＡＩモデルへ更に入力して、当該第３マルチモーダル生成ＡＩモデルから第１情報を出力させてもよい。第３マルチモーダル生成ＡＩモデルの種類に特段の限定はなく、どのような種類のマルチモーダル生成ＡＩモデルを第３マルチモーダル生成ＡＩモデルとして用いてもよい。

【0131】

第３マルチモーダル生成ＡＩモデルから出力される第１情報は、第３テキスト情報である。第３テキスト情報は、過去にサーバ２０へアップロードされた図面に図示された部品に関するテキスト情報である。第３テキスト情報は、第１テキスト情報及び第２テキスト情報と全部が一致してもよいし、全部が異なってもよい。或いは、第３テキスト情報は、第１テキスト情報及び第２テキスト情報の少なくとも一方と一部が一致してもよい。

【0132】

具体的には、例えば、生成ＡＩシステム３０は、第１生成ＡＩモデル（第１マルチモーダル生成ＡＩモデル及び大規模言語モデル）及び第２生成ＡＩモデル（第２マルチモーダル生成ＡＩモデル）に加えて、第３マルチモーダル生成ＡＩモデルを有していてもよい。送信制御モジュール２０３２は、記憶部２０２から図面情報２０２１としての図面の画像データを読み出し、当該画像データに関する説明文と共に生成ＡＩシステム３０へ送信してもよい。説明文については、例えば、操作受付部１９１が入力を受け付けた説明文のテキスト情報を受信制御モジュール２０３１が受信し、送信制御モジュール２０３２が生成ＡＩシステム３０へ送信してもよい。また例えば、説明文のテキスト情報が、図面情報２０２１としての図面の画像データと対応付けられて、記憶部２０２に予め記憶されていてもよい。

【0133】

生成ＡＩシステム３０は、第１マルチモーダル生成ＡＩモデルから出力させた第１テキスト情報、及び大規模言語モデルから出力させた第２テキスト情報を、図面情報２０２１としての図面の画像データ、説明文及び第１プロンプトと共に第３マルチモーダル生成ＡＩモデルに入力し、当該第３マルチモーダル生成ＡＩモデルから第３テキスト情報を出力させてもよい。検索モジュール２０３４は、第３テキスト情報と統合テキスト情報との類比判断を、本実施形態と同様にコサイン類似度の手法を用いて行ってもよい。

【0134】

これにより、説明文を介して図面の画像データと第１テキスト情報及び第２テキスト情報とをより適切に関連させた第３テキスト情報を、第１情報として検索データベース２０２４に格納することができる。よって、検索情報の確度が高くなり、ユーザが類似図面等を精度高く検索することができる。なお、第２変形例において、説明文を第３マルチモーダル生成ＡＩモデルに入力することは必須ではない。

【0135】

＜６．３ 第３変形例＞
本実施形態では、第２マルチモーダル生成ＡＩモデルは、ファインチューニング（Fine Tuning）されていなかった。しかしながら、例えば、生成ＡＩシステム３０は、ユーザに提示した検索情報に基づいて第２マルチモーダル生成ＡＩモデルをファインチューニングしてもよい。ここで、ファインチューニングは、事前に訓練されたＡＩモデルを特定のタスクやデータセットに適応させるために、ＡＩモデルのパラメータを調整するプロセスである。プロセスファインチューニングのタイミングは任意であり、月次で行われてもよいし、日次で行われてもよい。

【0136】

例えば、生成ＡＩシステム３０は、ファインチューニングのタイミングになったことを検知することにより、不図示の記憶部から複数のチューニング用データセットを読み出し、複数のチューニング用データセットを用いて第２マルチモーダル生成ＡＩモデルをファインチューニングしてもよい。チューニング用データセットは、例えば、過去検索情報と過去評価情報とのデータセットであり、記憶部２０２に記憶されていてもよい。過去検索情報は、例えば、提示制御モジュール２０３５が過去にディスプレイ１４１の表示画面（タッチ・センシティブ・デバイス１３１の操作面）に表示させた検索情報である。過去評価情報は、例えば、過去検索情報に対するユーザ等の評価に関する情報であり、過去検索情報と対応付けられている。過去評価情報は、例えば、入力装置１３から入力され、生成ＡＩシステム３０へ送信されてもよい。なお、複数のチューニング用データセットは、記憶部２０２に記憶されていてもよい。この場合、送信制御モジュール２０３２が、記憶部２０２から複数のチューニング用データセットを読み出して生成ＡＩシステム３０へ送信する。

【0137】

生成ＡＩシステム３０による第２マルチモーダル生成ＡＩモデルのファインチューニングは、具体的には次のように行われてもよい。即ち、生成ＡＩシステム３０は、第２マルチモーダル生成ＡＩモデルの一部の層を固定し、他の層を解凍して学習可能にする（モデルの調整）。次に、生成ＡＩシステム３０は、学習率を設定／調整した上で、複数のチューニング用データセットを用いてファインチューニングを実行する。次に、生成ＡＩシステム３０は、ファインチューニング後の第２マルチモーダル生成ＡＩモデルを評価する。評価手法としては、例えば、再現率、適合率、又はＦ１スコア等が採用される。ファインチューニング後の第２マルチモーダル生成ＡＩモデルがパフォーマンスを十分に発揮しないとの評価結果の場合、生成ＡＩシステム３０は、再度モデルの調整を行ってファインチューニングを実行する。ファインチューニング後の第２マルチモーダル生成ＡＩモデルがパフォーマンスを十分に発揮するとの評価結果の場合、生成ＡＩシステム３０は、当該第２マルチモーダル生成ＡＩモデルをデプロイする。

【0138】

これにより、図面検索、見積検索等の検索サービスに最適化された第２マルチモーダル生成ＡＩモデルを構築することができ、検索情報の確度が高くなる。よって、ユーザが類似図面等を精度高く検索することができる。なお、第２生成ＡＩモデルが、例えば、第２マルチモーダル生成ＡＩモデルではなく大規模言語モデル又はニューラルネットワークモデル（学習済み機械学習モデル）である場合、これらの何れかのモデルをファインチューニングしてもよい。

【0139】

〔７ コンピュータの基本ハードウェア構成〕
図１０は、コンピュータ９０の基本的なハードウェア構成を示すブロック図である。コンピュータ９０は、プロセッサ９０１、主記憶装置９０２、補助記憶装置９０３、通信ＩＦ９９１（インタフェース、Interface）を少なくとも備える。これらは通信バス９２１により相互に電気的に接続される。

【0140】

プロセッサ９０１とは、プログラムに記述された命令セットを実行するためのハードウェアである。プロセッサ９０１は、演算装置、レジスタ、周辺回路等から構成される。

【0141】

主記憶装置９０２とは、プログラム、及びプログラム等で処理されるデータ等を一時的に記憶するためのメモリである。例えば、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性のメモリである。

【0142】

補助記憶装置９０３とは、データ及びプログラムを保存するためのストレージである。例えば、フラッシュメモリ、ＨＤＤ（Hard Disc Drive）、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等である。

【0143】

通信ＩＦ９９１とは、有線又は無線の通信規格を用いて、他のコンピュータとネットワークを介して通信するための信号を入出力するためのインタフェースである。

【0144】

ネットワークは、インターネット、ＬＡＮ、無線基地局等によって構築される各種移動通信システム等で構成される。例えば、ネットワークには、３Ｇ、４Ｇ、５Ｇ移動通信システム、ＬＴＥ（Long Term Evolution）、所定のアクセスポイントによってインターネットに接続可能な無線ネットワーク（例えばWi-Fi（登録商標））等が含まれる。無線で接続する場合、通信プロトコルとして例えば、Ｚ－Ｗａｖｅ（登録商標）、ＺｉｇＢｅｅ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等が含まれる。有線で接続する場合は、ネットワークには、ＵＳＢ（Universal Serial Bus）ケーブル等により直接接続するものも含む。

【0145】

なお、各ハードウェア構成の全部又は一部を複数のコンピュータ９０に分散して設け、ネットワークを介して相互に接続することによりコンピュータ９０を仮想的に実現することができる。このように、コンピュータ９０は、単一の筐体、ケースに収納されたコンピュータ９０だけでなく、仮想化されたコンピュータシステムも含む概念である。

【0146】

〔８ コンピュータの基本機能構成〕
コンピュータ９０の基本ハードウェア構成（図１０）により実現されるコンピュータの機能構成を説明する。コンピュータは、制御部、記憶部、通信部の機能ユニットを少なくとも備える。

【0147】

なお、コンピュータ９０が備える機能ユニットは、それぞれの機能ユニットの全部又は一部を、ネットワークで相互に接続された複数のコンピュータ９０に分散して設けても実現することができる。コンピュータ９０は、単一のコンピュータ９０だけでなく、仮想化されたコンピュータシステムも含む概念である。

【0148】

制御部は、プロセッサ９０１が補助記憶装置９０３に記憶された各種プログラムを読み出して主記憶装置９０２に展開し、当該プログラムに従って処理を実行することにより実現される。制御部は、プログラムの種類に応じて様々な情報処理を行う機能ユニットを実現することができる。これにより、コンピュータは情報処理を行う情報処理装置として実現される。

【0149】

記憶部は、主記憶装置９０２、補助記憶装置９０３により実現される。記憶部は、データ、各種プログラム、各種データベースを記憶する。また、プロセッサ９０１は、プログラムに従って記憶部に対応する記憶領域を主記憶装置９０２又は補助記憶装置９０３に確保することができる。また、制御部は、各種プログラムに従ってプロセッサ９０１に、記憶部に記憶されたデータの追加、更新、削除処理を実行させることができる。

【0150】

データベースは、リレーショナルデータベースを指し、行と列によって構造的に規定された表形式のテーブル、マスタと呼ばれるデータ集合を、互いに関連づけて管理するためのものである。データベースでは、表をテーブル、マスタ、表の列をカラム、表の行をレコードと呼ぶ。リレーショナルデータベースでは、テーブル、マスタ同士の関係を設定し、関連づけることができる。

【0151】

通常、各テーブル、各マスタにはレコードを一意に特定するための主キーとなるカラムが設定されるが、カラムへの主キーの設定は必須ではない。制御部は、各種プログラムに従ってプロセッサ９０１に、記憶部に記憶された特定のテーブル、マスタにレコードを追加、削除、更新を実行させることができる。

【0152】

また、記憶部に、データ、各種プログラム、各種データベースを記憶させることにより、本開示に係る情報処理装置、情報処理システムが製造されたものとして捉えることができる。

【0153】

なお、本開示におけるデータベース、マスタは、情報が構造的に規定された任意のデータ構造体（リスト、辞書、連想配列、オブジェクトなど）を含み得る。データ構造体には、データと、任意のプログラミング言語により記述された関数、クラス、メソッドなどを組み合わせることにより、データ構造体と見なし得るデータも含むものとする。

【0154】

通信部は、通信ＩＦ９９１により実現される。通信部は、ネットワークを介して他のコンピュータ９０と通信を行う機能を実現する。通信部は、他のコンピュータ９０から送信された情報を受信し、制御部へ入力することができる。制御部は、各種プログラムに従ってプロセッサ９０１に、受信した情報に対する情報処理を実行させることができる。また、通信部は、制御部から出力された情報を他のコンピュータ９０へ送信することができる。

【0155】

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、本発明は、実施形態の機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をコンピュータに提供し、そのコンピュータが備えるプロセッサが記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ハードディスク、ＳＳＤ、光ディスク、光磁気ディスク、ＣＤ－Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどが用いられる。

【0156】

また、本実施形態に記載の機能を実現するプログラムコードは、例えば、アセンブラ、Ｃ／Ｃ＋＋、ｐｅｒｌ、Ｓｈｅｌｌ、ＰＨＰ、Ｊａｖａ（登録商標）等の広範囲のプログラム又はスクリプト言語で実装できる。

【0157】

更に、実施形態の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することによって、それをコンピュータのハードディスクやメモリ等の記憶手段又はＣＤ－ＲＷ、ＣＤ－Ｒ等の記憶媒体に格納し、コンピュータが備えるプロセッサが当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしてもよい。

【0158】

本明細書中に記載されている構成要素により実現される機能は、当該記載された機能を実現するようにプログラムされた、汎用プロセッサ、特定用途プロセッサ、集積回路、ASICs (Application Specific Integrated Circuits)、CPU (a Central Processing Unit)、従来型の回路、及び／又はそれらの組合せを含む、circuitry又はprocessing circuitryにおいて実装されてもよい。プロセッサは、トランジスタやその他の回路を含み、circuitry又はprocessing circuitryとみなされる。プロセッサは、メモリに格納されたプログラムを実行する、programmed processorであってもよい。

【0159】

本明細書において、circuitry、ユニット、手段は、記載された機能を実現するようにプログラムされたハードウェア、又は実行するハードウェアである。当該ハードウェアは、本明細書に開示されているあらゆるハードウェア、又は、当該記載された機能を実現するようにプログラムされた、又は、実行するものとして知られているあらゆるハードウェアであってもよい。

【0160】

当該ハードウェアがcircuitryのタイプであるとみなされるプロセッサである場合、当該circuitry、手段、又はユニットは、ハードウェアと、当該ハードウェア及び又はプロセッサを構成するために用いられるソフトウェアの組合せである。

【0161】

以上、本開示のいくつかの実施形態を説明したが、これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものとする。

【0162】

〔９ 付記〕
前記の実施形態及び変形例で説明した事項を以下に付記する。

【0163】

＜付記１＞
プロセッサと、メモリとを備えるコンピュータに実行させるためのプログラムであって、プログラムは、プロセッサに、図面に関する図面情報と、前記図面に図示された図示対象物の見積書に関する見積情報と、前記図示対象物に関する第１情報の出力を指示する第１プロンプトとを第１生成ＡＩモデルに入力し、前記第１生成ＡＩモデルから前記第１情報を出力させる出力ステップと、出力させた複数の前記第１情報をデータベースに格納して、検索データベースを構築する構築ステップと、検索対象に関する第２情報の入力を受け付ける入力ステップと、受け付けた前記第２情報に基づいて、検索データベースから前記第２情報に類似する前記第１情報を類似情報として検索し、検索結果に関する検索情報を提示する提示ステップとを実行させるプログラム。

【0164】

＜付記２＞
出力ステップにおいて、図面、見積書、見積書を他の見積書と比較したときの比較結果に関する資料、又はこれらの少なくとも２つの組み合わせに関する通信情報を第１生成ＡＩモデルに入力する（付記１）に記載のプログラム。

【0165】

＜付記３＞
通信情報は、見積書に記載された見積額の決定に至るまでのやり取りに関する情報を含む（付記２）に記載のプログラム。

【0166】

＜付記４＞
入力ステップにおいて、所定の入力フォームに設けられた複数種類の項目のそれぞれに検索対象の該当情報が入力されることにより、第２情報の入力を受け付ける（付記１）乃至（付記３）の何れかに記載のプログラム。

【0167】

＜付記５＞
提示ステップにおいて、類似情報を含んだ類似図面の画像データを提示する（付記１）乃至（付記４）の何れかに記載のプログラム。

【0168】

＜付記６＞
提示ステップにおいて、類似情報を含んだ類似見積書の画像データを提示する（付記１）乃至（付記４）の何れかに記載のプログラム。

【0169】

＜付記７＞
提示ステップにおいて、類似情報を含んだ類似見積書を他の見積書と比較したときの比較結果に関する資料の画像データを提示する（付記１）乃至（付記４）の何れかに記載のプログラム。

【0170】

＜付記８＞
提示ステップにおいて、前記第２情報及び前記検索情報の出力を指示する第２プロンプトを、前記第１生成ＡＩモデルと異なる第２生成ＡＩモデルに入力し、当該第２生成ＡＩモデルから出力された検索情報を提示する（付記１）乃至（付記７）の何れかに記載のプログラム。

【0171】

＜付記９＞
検索情報は、検索結果を説明する説明文を有する（付記８）に記載のプログラム。

【0172】

＜付記１０＞
出力ステップにおいて、第１生成ＡＩモデルは、第１マルチモーダル生成ＡＩモデルと、大規模言語モデルとを含み、図面情報としての図面の画像データを、第１プロンプトと共に第１マルチモーダル生成ＡＩモデルに入力し、当該第１マルチモーダル生成ＡＩモデルから第１情報として図示対象物に関する第１テキスト情報を出力させ、見積情報としての見積書に関するテキスト情報を、第１プロンプトと共に大規模言語モデルに入力し、当該大規模言語モデルから第１情報として図示対象物に関する第２テキスト情報を出力させ、入力ステップにおいて、検索対象の画像データ及び検索対象に関するテキスト情報の入力を、第２情報の入力として受け付け、提示ステップにおいて、受け付けた検索対象の画像データ、受け付けた検索対象に関するテキスト情報、及び検索情報の出力を指示する第２プロンプトを、第１マルチモーダル生成ＡＩモデルと異なる第２マルチモーダル生成ＡＩモデルに入力し、当該第２マルチモーダル生成ＡＩモデルから出力された検索情報を提示する（付記１）に記載のプログラム。

【0173】

＜付記１１＞
出力ステップにおいて、第１テキスト情報、第２テキスト情報、図面の画像データ、図面の画像データに関する説明文及び第１プロンプトを、第１マルチモーダル生成ＡＩモデル及び第２マルチモーダル生成ＡＩモデルの何れとも異なる第３マルチモーダル生成ＡＩモデルに入力し、当該第３マルチモーダル生成ＡＩモデルから第１情報として図示対象物に関する第３テキスト情報を出力させる（付記１０）に記載のプログラム。

【0174】

＜付記１２＞
提示した検索情報に基づいて、第２マルチモーダル生成ＡＩモデルをファインチューニングする調整ステップをプロセッサに実行させる（付記１０）又は（付記１１）に記載のプログラム。

【0175】

＜付記１３＞
プロセッサと、メモリとを備えるコンピュータに実行される方法であって、プロセッサが、（付記１）から（付記１２）の何れかに係る発明において実行される全てのステップを実行する方法。

【0176】

＜付記１４＞
制御部と、記憶部とを備える情報処理装置であって、制御部が、（付記１）から（付記１２）の何れかに係る発明において実行される全てのステップを実行する情報処理装置。

【0177】

＜付記１５＞
（付記１）から（付記１２）の何れかに係る発明において実行される全てのステップを実行する手段を備えるシステム。

【符号の説明】

【0178】

１…システム
１０…端末装置
１２０…通信部
１３…入力装置
１４…出力装置
１５…メモリ
１６…ストレージ
１９…プロセッサ
２０…サーバ
２２…通信ＩＦ
２３…入出力ＩＦ
２５…メモリ
２６…ストレージ
２９…プロセッサ
３０…生成ＡＩシステム

【要約】

【課題】図面に関する情報を用いたデータ検索において、多様なユースケースに柔軟に対応する。
【解決手段】プロセッサと、メモリとを備えるコンピュータに実行させるためのプログラムである。プログラムは、プロセッサに、図面に関する図面情報と、図面に図示された図示対象物の見積書に関する見積情報と、図示対象物に関する第１情報の出力を指示する第１プロンプトとを生成ＡＩモデルに入力し、生成ＡＩモデルから第１情報を出力させる出力ステップと、出力させた複数の第１情報をデータベースに格納して、検索データベースを構築する構築ステップと、検索対象に関する第２情報の入力を受け付ける入力ステップと、受け付けた第２情報に基づいて、検索データベースから第２情報に類似する第１情報を類似情報として検索し、検索結果に関する検索情報を提示する提示ステップとを実行させる。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】