知財求人 - 知財ポータルサイト「IP Force」
▶ 株式会社大林組の特許一覧 ▶ 株式会社Ｌｉｇｈｔｂｌｕｅ Ｔｅｃｈｎｏｌｏｇｙの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024119255
(43)【公開日】2024-09-03
(54)【発明の名称】学習データ生成装置、及び学習データ生成方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20240827BHJP
G06N 20/00 20190101ALI20240827BHJP
G01N 21/88 20060101ALN20240827BHJP
【ＦＩ】
G06T7/00 350B
G06N20/00
G06T7/00 U
G01N21/88 J
【審査請求】未請求
【請求項の数】12
【出願形態】ＯＬ
(21)【出願番号】P 2023026024
(22)【出願日】2023-02-22
(71)【出願人】
【識別番号】000000549
【氏名又は名称】株式会社大林組
(71)【出願人】
【識別番号】519137888
【氏名又は名称】株式会社Ｌｉｇｈｔｂｌｕｅ
(74)【代理人】
【識別番号】110000176
【氏名又は名称】弁理士法人一色国際特許事務所
(72)【発明者】
【氏名】野島 省吾
(72)【発明者】
【氏名】林 かほり
(72)【発明者】
【氏名】松本 憲典
(72)【発明者】
【氏名】佐藤 あい
【テーマコード（参考）】
2G051
5L096
【Ｆターム（参考）】
2G051AA90
2G051AB02
2G051AB03
2G051CA04
2G051EA12
2G051EA14
5L096BA03
5L096BA18
5L096CA02
5L096CA22
5L096KA04
(57)【要約】
【課題】事象の発生原因を特定する機械学習モデルの学習に用いる学習データを効率よく生成する。
【解決手段】事象の発生原因の候補の夫々の該当確率と選択肢の夫々の重みとに基づき、選択肢の夫々が選択された場合における発生原因の候補の夫々の該当確率をベイズの定理により事後確率として求め、質問データから質問を順次選択してユーザに提示し、質問の夫々について選択肢の選択をユーザから受け付け、質問の夫々に対する回答を受け付ける度に、受け付けた選択肢について求めた事後確率により発生原因の候補の夫々の該当確率を更新し、該当確率を更新する度に、発生原因の候補を夫々の該当確率の降順に提示し直し、提示した発生原因の候補の中から、画像データに写っている事象の発生原因の指定をユーザから受け付け、画像データとユーザが指定した発生原因とを対応づけた情報を学習データとして生成する。
【選択図】図３
【解決手段】事象の発生原因の候補の夫々の該当確率と選択肢の夫々の重みとに基づき、選択肢の夫々が選択された場合における発生原因の候補の夫々の該当確率をベイズの定理により事後確率として求め、質問データから質問を順次選択してユーザに提示し、質問の夫々について選択肢の選択をユーザから受け付け、質問の夫々に対する回答を受け付ける度に、受け付けた選択肢について求めた事後確率により発生原因の候補の夫々の該当確率を更新し、該当確率を更新する度に、発生原因の候補を夫々の該当確率の降順に提示し直し、提示した発生原因の候補の中から、画像データに写っている事象の発生原因の指定をユーザから受け付け、画像データとユーザが指定した発生原因とを対応づけた情報を学習データとして生成する。
【選択図】図３
【特許請求の範囲】
【請求項1】
プロセッサ及び記憶装置を有する情報処理装置を用いて構成され、
事象が生じている対象物を撮影した画像である撮影画像の画像データを入力することにより前記事象の発生原因を示す情報を出力する機械学習モデルの学習に用いる学習データを生成する学習データ生成装置であって、
学習データの生成に用いる撮影画像の画像データと、
前記撮影画像に写っている事象の発生原因の特定に際してユーザに提示する複数の質問を含む質問データと、
前記事象についての複数の発生原因の候補と、
前記撮影画像に写っている事象の複数の発生原因の候補の夫々に該当する確率である該当確率と、
前記質問の夫々についての回答の選択肢と、
前記選択肢の夫々について、夫々が選択された場合に前記複数の発生原因の候補の夫々の前記該当確率に与える影響の大きさを示す値である重みを示す情報である選択肢毎重み管理情報と、
を記憶し、
前記発生原因の候補の夫々の前記該当確率と前記選択肢の夫々の前記重みとに基づき、前記選択肢の夫々が選択された場合における前記発生原因の候補の夫々の前記該当確率をベイズの定理により事後確率として求め、
前記質問データから前記質問を順次選択してユーザに提示し、前記質問の夫々について前記選択肢の選択をユーザから受け付け、
前記質問の夫々に対する回答を受け付ける度に、受け付けた前記選択肢について求めた前記事後確率により前記発生原因の候補の夫々の前記該当確率を更新し、
前記該当確率を更新する度に、前記発生原因の候補を夫々の前記該当確率の降順に提示し直し、
提示した前記発生原因の候補の中から、前記画像データに写っている事象の発生原因の指定をユーザから受け付け、
前記画像データとユーザが指定した前記発生原因とを対応づけた情報を前記学習データとして生成する、
学習データ生成装置。
事象が生じている対象物を撮影した画像である撮影画像の画像データを入力することにより前記事象の発生原因を示す情報を出力する機械学習モデルの学習に用いる学習データを生成する学習データ生成装置であって、
学習データの生成に用いる撮影画像の画像データと、
前記撮影画像に写っている事象の発生原因の特定に際してユーザに提示する複数の質問を含む質問データと、
前記事象についての複数の発生原因の候補と、
前記撮影画像に写っている事象の複数の発生原因の候補の夫々に該当する確率である該当確率と、
前記質問の夫々についての回答の選択肢と、
前記選択肢の夫々について、夫々が選択された場合に前記複数の発生原因の候補の夫々の前記該当確率に与える影響の大きさを示す値である重みを示す情報である選択肢毎重み管理情報と、
を記憶し、
前記発生原因の候補の夫々の前記該当確率と前記選択肢の夫々の前記重みとに基づき、前記選択肢の夫々が選択された場合における前記発生原因の候補の夫々の前記該当確率をベイズの定理により事後確率として求め、
前記質問データから前記質問を順次選択してユーザに提示し、前記質問の夫々について前記選択肢の選択をユーザから受け付け、
前記質問の夫々に対する回答を受け付ける度に、受け付けた前記選択肢について求めた前記事後確率により前記発生原因の候補の夫々の前記該当確率を更新し、
前記該当確率を更新する度に、前記発生原因の候補を夫々の前記該当確率の降順に提示し直し、
提示した前記発生原因の候補の中から、前記画像データに写っている事象の発生原因の指定をユーザから受け付け、
前記画像データとユーザが指定した前記発生原因とを対応づけた情報を前記学習データとして生成する、
学習データ生成装置。
【請求項2】
請求項１に記載の学習データ生成装置であって、
前記質問データから前記質問を順次選択してユーザに提示し、前記質問の夫々について前記選択肢の選択をユーザから受け付けていく過程において、前記質問データに含まれている前記質問のうち未選択の前記質問の夫々について、夫々を選択してユーザから回答を受け付けることにより得られる情報量の期待値を求め、前記期待値が最小の質問を次に提示する質問として選択する、
学習データ生成装置。
前記質問データから前記質問を順次選択してユーザに提示し、前記質問の夫々について前記選択肢の選択をユーザから受け付けていく過程において、前記質問データに含まれている前記質問のうち未選択の前記質問の夫々について、夫々を選択してユーザから回答を受け付けることにより得られる情報量の期待値を求め、前記期待値が最小の質問を次に提示する質問として選択する、
学習データ生成装置。
【請求項3】
請求項２に記載の学習データ生成装置であって、
前記情報量の期待値を、前記選択肢の夫々が選択された場合における前記発生原因の候補の夫々の前記該当確率に基づき求める、
学習データ生成装置。
前記情報量の期待値を、前記選択肢の夫々が選択された場合における前記発生原因の候補の夫々の前記該当確率に基づき求める、
学習データ生成装置。
【請求項4】
請求項３に記載の学習データ生成装置であって、
前記選択肢の夫々が選択された場合における前記発生原因の候補の夫々の前記該当確率に基づき、前記未選択の質問の夫々の前記選択肢の平均情報量を求め、
前記未選択の質問の夫々の前記選択肢の前記平均情報量の最小値又は平均値を求め、
前記未選択の質問のうち、前記最小値が最小の質問、又は前記平均値が最小の質問を次に提示する質問として選択する、
学習データ生成装置。
前記選択肢の夫々が選択された場合における前記発生原因の候補の夫々の前記該当確率に基づき、前記未選択の質問の夫々の前記選択肢の平均情報量を求め、
前記未選択の質問の夫々の前記選択肢の前記平均情報量の最小値又は平均値を求め、
前記未選択の質問のうち、前記最小値が最小の質問、又は前記平均値が最小の質問を次に提示する質問として選択する、
学習データ生成装置。
【請求項5】
請求項１に記載の学習データ生成装置であって、
複数の前記撮影画像の画像データの夫々について提示した前記質問の夫々について、ユーザが選択した前記選択肢を記憶し、
同じ前記質問に対してユーザが選択した前記選択肢の傾向が類似する前記撮影画像の組合せを示す情報を提示する、
学習データ生成装置。
複数の前記撮影画像の画像データの夫々について提示した前記質問の夫々について、ユーザが選択した前記選択肢を記憶し、
同じ前記質問に対してユーザが選択した前記選択肢の傾向が類似する前記撮影画像の組合せを示す情報を提示する、
学習データ生成装置。
【請求項6】
請求項１に記載の学習データ生成装置であって、
前記撮影画像について提示した前記発生原因の候補の中からユーザが指定した前記発生原因と、
前記撮影画像に写っている事象の発生原因について前記ユーザ以外の他の主体により特定された前記発生原因と、
を記憶し、
前記ユーザから受け付けた前記発生原因と前記他の主体により特定された前記発生原因とを比較可能な状態で提示する、
学習データ生成装置。
前記撮影画像について提示した前記発生原因の候補の中からユーザが指定した前記発生原因と、
前記撮影画像に写っている事象の発生原因について前記ユーザ以外の他の主体により特定された前記発生原因と、
を記憶し、
前記ユーザから受け付けた前記発生原因と前記他の主体により特定された前記発生原因とを比較可能な状態で提示する、
学習データ生成装置。
【請求項7】
請求項１に記載の学習データ生成装置であって、
前記質問の夫々についてユーザが選択した前記選択肢の履歴を記憶し、
前記選択肢の夫々が選択された回数を示す情報を提示する、
学習データ生成装置。
前記質問の夫々についてユーザが選択した前記選択肢の履歴を記憶し、
前記選択肢の夫々が選択された回数を示す情報を提示する、
学習データ生成装置。
【請求項8】
請求項１に記載の学習データ生成装置であって、
前記撮影画像の夫々を、夫々に写っている事象の発生原因を指定したユーザと対応づけて記憶し、
前記ユーザの指定を受け付け、
指定された前記ユーザに対応づけられている前記撮影画像の一覧を提示する、
学習データ生成装置。
前記撮影画像の夫々を、夫々に写っている事象の発生原因を指定したユーザと対応づけて記憶し、
前記ユーザの指定を受け付け、
指定された前記ユーザに対応づけられている前記撮影画像の一覧を提示する、
学習データ生成装置。
【請求項9】
請求項１に記載の学習データ生成装置であって、
前記撮影画像の夫々を、前記発生原因の候補の中からユーザが指定した前記発生原因と対応づけて記憶し、
前記発生原因の指定を受け付け、
指定された前記発生原因に対応づけられている前記撮影画像の一覧を提示する、
学習データ生成装置。
前記撮影画像の夫々を、前記発生原因の候補の中からユーザが指定した前記発生原因と対応づけて記憶し、
前記発生原因の指定を受け付け、
指定された前記発生原因に対応づけられている前記撮影画像の一覧を提示する、
学習データ生成装置。
【請求項10】
請求項１に記載の学習データ生成装置であって、
前記選択肢毎重み管理情報を、表計算ソフトウェアが取り扱い可能な表形式のデータとして管理し、前記データの編集環境を提供する、
学習データ生成装置。
前記選択肢毎重み管理情報を、表計算ソフトウェアが取り扱い可能な表形式のデータとして管理し、前記データの編集環境を提供する、
学習データ生成装置。
【請求項11】
請求項１乃至１０のいずれか一項に記載の学習データ生成装置であって、
前記対象物は、コンクリート構造物であり、
前記事象は、前記コンクリート構造物に生じたひび割れである、
学習データ生成装置。
前記対象物は、コンクリート構造物であり、
前記事象は、前記コンクリート構造物に生じたひび割れである、
学習データ生成装置。
【請求項12】
プロセッサ及び記憶装置を有する情報処理装置を用いて構成され、事象が生じている対象物を撮影した画像である撮影画像の画像データを入力することにより前記事象の発生原因を示す情報を出力する機械学習モデルの学習に用いる学習データを生成する学習データ生成装置が、
学習データの生成に用いる撮影画像の画像データと、
前記撮影画像に写っている事象の発生原因の特定に際してユーザに提示する複数の質問を含む質問データと、
前記事象についての複数の発生原因の候補と、
前記撮影画像に写っている事象の複数の発生原因の候補の夫々に該当する確率である該当確率と、
前記質問の夫々についての回答の選択肢と、
前記選択肢の夫々について、夫々が選択された場合に前記複数の発生原因の候補の夫々の前記該当確率に与える影響の大きさを示す値である重みを示す情報である選択肢毎重み管理情報と、
を記憶するステップ、
前記発生原因の候補の夫々の前記該当確率と前記選択肢の夫々の前記重みとに基づき、前記選択肢の夫々が選択された場合における前記発生原因の候補の夫々の前記該当確率をベイズの定理により事後確率として求めるステップ、
前記質問データから前記質問を順次選択してユーザに提示し、前記質問の夫々について前記選択肢の選択をユーザから受け付けるステップ、
前記質問の夫々に対する回答を受け付ける度に、受け付けた前記選択肢について求めた前記事後確率により前記発生原因の候補の夫々の前記該当確率を更新するステップ、
前記該当確率を更新する度に、前記発生原因の候補を夫々の前記該当確率の降順に提示し直すステップ、
提示した前記発生原因の候補の中から、前記画像データに写っている事象の発生原因の指定をユーザから受け付けるステップ、
前記画像データとユーザが指定した前記発生原因とを対応づけた情報を前記学習データとして生成するステップ、
を実行する、学習データ生成方法。
学習データの生成に用いる撮影画像の画像データと、
前記撮影画像に写っている事象の発生原因の特定に際してユーザに提示する複数の質問を含む質問データと、
前記事象についての複数の発生原因の候補と、
前記撮影画像に写っている事象の複数の発生原因の候補の夫々に該当する確率である該当確率と、
前記質問の夫々についての回答の選択肢と、
前記選択肢の夫々について、夫々が選択された場合に前記複数の発生原因の候補の夫々の前記該当確率に与える影響の大きさを示す値である重みを示す情報である選択肢毎重み管理情報と、
を記憶するステップ、
前記発生原因の候補の夫々の前記該当確率と前記選択肢の夫々の前記重みとに基づき、前記選択肢の夫々が選択された場合における前記発生原因の候補の夫々の前記該当確率をベイズの定理により事後確率として求めるステップ、
前記質問データから前記質問を順次選択してユーザに提示し、前記質問の夫々について前記選択肢の選択をユーザから受け付けるステップ、
前記質問の夫々に対する回答を受け付ける度に、受け付けた前記選択肢について求めた前記事後確率により前記発生原因の候補の夫々の前記該当確率を更新するステップ、
前記該当確率を更新する度に、前記発生原因の候補を夫々の前記該当確率の降順に提示し直すステップ、
提示した前記発生原因の候補の中から、前記画像データに写っている事象の発生原因の指定をユーザから受け付けるステップ、
前記画像データとユーザが指定した前記発生原因とを対応づけた情報を前記学習データとして生成するステップ、
を実行する、学習データ生成方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、学習データ生成装置、及び学習データ生成方法に関し、とくに事象の発生原因の診断に用いる機械学習モデルの学習に用いる学習データを生成する技術に関する。
【背景技術】
【0002】
近年、構造物の表面等を撮影した画像を機械学習モデルに入力してコンクリートの劣化の診断やひび割れの検出を行う仕組みの開発や研究が行われている。
【0003】
例えば、特許文献１には、コンクリートの劣化の診断又は予測をすることができる予測モデルの作成方法において、学習用サンプルとしてコンクリート試験体を作製し、試験体の表面の初期画像を取得し、表面ひずみが顕在化した試験体の表面の表面ひずみ画像を取得し、デジタル画像相関法を用いて、初期画像及び表面ひずみ画像から、試験体表面のひずみ分布のデータを作成し、ひずみ分布のデータを含む学習用入力データとコンクリートの劣化に関するデータを含む学習用出力データの組合せである学習データを用いた機械学習により、コンクリートの劣化を予測するための予測モデルを作成することが記載されている。
【0004】
また、例えば、特許文献２には、コンクリート表面におけるひび割れの特徴をコンピュータに学習させた学習情報に基づき、入力画像からひび割れと想定される想定ひび割れを抽出するように構成されたひび割れ検出装置について記載されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２０２１－０１８２３３号公報
【特許文献2】特開２０２２－１６８４３６号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
橋梁、ダム、高層建築物等のコンクリート構造物のひび割れが検出された場合に適切な措置や対策を講じるためには、ひび割れの発生原因を正しく特定することが重要である。現状ではひび割れが検出された場合、技術者が現場に赴き目視により所定の点検項目を確認していくことにより発生原因の特定を行っており、多大な労力と時間を要している。
【0007】
ひび割れのように対象物に生じた事象の発生原因を効率よく高い精度で行う仕組みとして、事象が生じている対象物を撮影した画像（以下、「撮影画像」と称する。）に基づき事象の発生原因を特定する機械学習モデルを用いることが考えられる。但しそのような機械学習モデルの性能を実用的なレベルとするためには、機械学習モデルの性能の向上に有効に寄与する質の良い学習データを大量に用意する必要がある。また、コンクリート構造物に生じるひび割れのように事象の態様（種類、バリエーション）が多岐に亘る場合には、態様毎に膨大な数の学習データを用意しなければならない。
【0008】
上記の特許文献１に記載された技術は、コンクリートの劣化の診断もしくは予測することを目的とするものであり、事象の発生原因を特定する機械学習モデルの学習データの生成を効率よく行う観点に基づく構成については触れていない。また、特許文献２に記載の技術は、入力画像からひび割れと想定される想定ひび割れを抽出することを目的とするものに過ぎず、学習データの生成を効率よく行う観点に基づく仕組みは開示されていない。
【0009】
本発明はこのような背景に鑑みてなされたものであり、事象の発生原因を特定する機械学習モデルの学習に用いる学習データを効率よく生成することが可能な、学習データ生成装置、及び学習データ生成方法を提供することを目的とする。
【課題を解決するための手段】
【0010】
上記目的を達成するための本発明の一つは、プロセッサ及び記憶装置を有する情報処理装置を用いて構成され、事象が生じている対象物を撮影した画像である撮影画像の画像データを入力することにより前記事象の発生原因を示す情報を出力する機械学習モデルの学習に用いる学習データを生成する学習データ生成装置であって、学習データの生成に用いる撮影画像の画像データと、前記撮影画像に写っている事象の発生原因の特定に際してユーザに提示する複数の質問を含む質問データと、前記事象についての複数の発生原因の候補と、前記撮影画像に写っている事象の複数の発生原因の候補の夫々に該当する確率である該当確率と、前記質問の夫々についての回答の選択肢と、前記選択肢の夫々について、夫々が選択された場合に前記複数の発生原因の候補の夫々の前記該当確率に与える影響の大きさを示す値である重みを示す情報である選択肢毎重み管理情報と、を記憶し、前記発生原因の候補の夫々の前記該当確率と前記選択肢の夫々の前記重みとに基づき、前記選択肢の夫々が選択された場合における前記発生原因の候補の夫々の前記該当確率をベイズの定理により事後確率として求め、前記質問データから前記質問を順次選択してユーザに提示し、前記質問の夫々について前記選択肢の選択をユーザから受け付け、前記質問の夫々に対する回答を受け付ける度に、受け付けた前記選択肢について求めた前記事後確率により前記発生原因の候補の夫々の前記該当確率を更新し、前記該当確率を更新する度に、前記発生原因の候補を夫々の前記該当確率の降順に提示し直し、提示した前記発生原因の候補の中から、前記画像データに写っている事象の発生原因の指定をユーザから受け付け、前記画像データとユーザが指定した前記発生原因とを対応づけた情報を前記学習データとして生成することを特徴とする。
【0011】
その他、本願が開示する課題、及びその解決方法は、発明を実施するための形態の欄、及び図面により明らかにされる。
【発明の効果】
【0012】
本発明によれば、事象の発生原因を特定する機械学習モデルの学習に用いる学習データを効率よく生成することができる。
【図面の簡単な説明】
【0013】
【図1】診断システムの概略的な構成を示す図である。
【図2】診断機能利用画面の一例である。
【図3】学習データ生成装置が備える主な機能を示す図である。
【図4A】画像データ情報の一例である。
【図4B】質問データの一例である。
【図4C】選択肢毎重み管理情報の一例である。
【図4D】画像毎回答結果情報の一例である。
【図4E】画像毎発生原因登録情報の一例である。
【図4F】学習データ情報の一例である。
【図4G】ユーザ／管理者情報の一例である。
【図5】撮影画像登録受付画面の一例である。
【図6A】質問提示／回答受付画面の一例である。
【図6B】質問提示／回答受付画面の一例である。
【図6C】ユーザが凡例／投稿画像又は他ユーザ登録画像を表示させている様子を示す図である。
【図6D】画像毎発生原因登録画面の一例である。
【図7A】登録者別撮影画像提示画面の一例である。
【図7B】発生原因別撮影画像提示画面の一例である。
【図7C】回答類似撮影画像提示画面の一例である。
【図7D】診断主体毎診断結果提示画面の一例である。
【図7E】回答傾向情報提示画面の一例である。
【図8A】質問データ管理画面の一例である。
【図8B】質問／選択肢アップロード画面の一例である。
【図8C】ユーザ／管理者情報管理画面の一例である。
【図9】質問提示／回答受付処理を説明するフローチャートである。
【図10A】発生原因候補毎の該当確率の初期値、質問データ、及び選択肢毎重み管理情報の一例を示す図である。
【図10B】発生原因候補毎の該当確率の初期値を求めた結果を示す図である。
【図10C】各選択肢の発生原因候補毎の重みの調整毎の値を示す図である。
【図10D】各質問の各選択肢が選択された場合における各発生原因候補の該当確率をベイズの定理の事後確率として求めた結果を示す図である。
【図10E】各選択肢が選択された場合の平均情報量を求めた結果を示す図である。
【図10F】各質問について回答が得られた場合の平均情報量の最小値と平均値を算出した結果を示す図である。
【図10G】情報量の期待値が最小（平均情報量の最小値又は平均値が最小）の質問を次の質問として選択した結果を示す図である。
【図10H】選択した質問に対してユーザが選択した選択肢を示す図である。
【図10I】選択した質問に対してユーザが選択肢を選択した後の発生原因候補毎の該当確率を示す図である。
【図10K】各質問の各選択肢が選択された場合における各発生原因候補の該当確率をベイズの定理の事後確率として求めた結果を示す図である。
【図10L】各選択肢が選択された場合の平均情報量を求めた結果を示す図である。
【図10M】各質問について回答が得られた場合の平均情報量の最小値と平均値を算出した結果を示す図である。
【図10N】情報量の期待値が最小（平均情報量の最小値又は平均値が最小）の質問を次の質問として選択した結果を示す図である。
【図10O】選択した質問に対してユーザが選択した選択肢を示す図である。
【図11】診断システムの構成に用いる情報処理装置（コンピュータ）の一例である。
【発明を実施するための形態】
【0014】
以下、図面を参照しつつ本発明の実施形態について説明する。尚、以下の記載及び図面は、本発明を説明するための例示に過ぎず、説明の明確化のため、適宜、省略及び簡略化がなされている。以下の説明において、符号の前に付した「Ｓ」の文字は処理ステップの意味である。
【0015】
図１に、本発明の一実施形態にかかる情報処理システムであるひび割れ発生原因診断システム（以下、「診断システム１」と称する。）の概略的な構成を示している。同図に示すうように、診断システム１は、ひび割れ発生原因診断装置（以下、「診断装置３」と称する。）、学習データ生成装置１００、診断モデル学習装置６、ユーザ装置２、及び管理装置４を含む。各装置はいずれも情報処理装置（コンピュータ）を用いて構成されており、互いに双方向通信が可能な状態で接続されている。各装置の数（台数）は必ずしも限定されない。通信ネットワーク５は、無線方式又は有線方式の通信基盤（Communication Infrastructure）であり、例えば、ＬＡＮ(Local Area Network)、ＷＡＮ（Wide Area Network）、インターネット、公衆用通信網、専用線等である。尚、学習データ生成装置１００、診断モデル学習装置６、一つ以上のユーザ装置２、及び管理装置４のうち少なくとも２つ以上は、共通の情報処理装置を基盤として実現されていてもよい。
【0016】
ユーザ装置２は、主として診断システム１が提供する機能を利用する者（以下、「ユーザ」と称する。）によって操作される。一方、管理装置４は、主として診断システム１の管理者によって操作される。
【0017】
診断装置３、学習データ生成装置１００、及び診断モデル学習装置６は、ユーザ装置２や管理装置４を介して行われるユーザや管理者との対話処理により各種情報の取得や各種情報の提供を行う。上記の対話処理を行うためのユーザインタフェース（情報を記載した画面の生成や提示、ユーザや管理者からの情報の取得等を行う機能や環境）は、ユーザ装置２や管理装置４が提供してもよいし、診断装置３、学習データ生成装置１００、診断モデル学習装置６のうちの少なくともいずれかが通信ネットワーク５を介して提供してもよい。
【0018】
診断装置３は、ユーザから、撮影装置（例えば、スマートフォンやタブレット、デジタルスチールカメラ）によりコンクリート構造物に生じているひび割れを撮影した画像（以下、「撮影画像」と称する。）のデータ（以下、「画像データ」と称する。）の登録（入力）を受け付ける。診断装置３は、受け付けた撮影画像の画像データを機械学習モデル（以下、「診断モデル３１」と称する。）に入力し、診断モデル３１が出力する情報（撮影画像に写っているひび割れの発生原因の候補（以下、「発生原因候補」とも称する。）や発生原因候補の夫々に該当する確率（以下、「該当確率」と称する。）等を示す情報を診断結果としてユーザ装置２に提供（送信）する。
【0019】
図２は、ユーザが診断装置３の機能を利用する際に診断装置３がユーザに提示する画面（以下、「診断機能利用画面２００」と称する。）の一例である。例示する診断機能利用画面２００は、画像入力欄２１１、画像表示欄２１２、アップロード指示ボタン２１３、及び診断結果表示欄２１４を有する。
【0020】
ユーザが、診断の対象となる撮影画像を画像入力欄２１１に指定する操作を行うとともに、アップロード指示ボタン２１３を操作すると、ユーザ装置２は、入力された撮影画像を画像表示欄２１２に表示し、撮影画像の画像データを診断装置３に送信する。診断装置３は、画像データを受信すると、受信した画像データを診断モデル３１に入力し、診断モデル３１が出力する診断結果をユーザ装置２に送信する。ユーザ装置２は、診断結果を受信すると、受信した診断結果を同図の診断結果表示欄２１４に表示する。
【0021】
図１に戻り、学習データ生成装置１００は、診断モデル３１の学習に用いる学習データ（教師データ）の生成に用いる撮影画像（以下、「対象画像」と称する。）について、ユーザと対話処理を行うことにより対象画像に写っているひび割れの発生原因を特定し、画像データに特定した発生原因をラベルとして対応づけることにより学習データを生成する。学習データ生成装置１００は、生成した学習データを診断モデル学習装置６に送信する。ユーザは、例えば、現場でひび割れに関する作業（発見、補修、修繕等）を行っている技術者である。このように知識や経験を有する現場の技術者が対象画像に写っているひび割れの発生原因を特定する（ラベル付けを行う）ことにより良質の学習データを生成することができる。また、技術者は、自身の業務を遂行しつつ、学習データの生成に貢献できる。また、学習データの生成に現場の個々の技術者が貢献することで、例えば、大規模な組織においては学習データの作成にかかる作業負荷が分散され、大量の学習データを効率よく生成することができる。
【0022】
同図に示す診断モデル学習装置６は、学習データ生成装置１００から受信した学習データを用いて診断モデル３１の学習を行う。
【0023】
同図に示す管理装置４は、診断システム１が備える各種機能の設定や診断システム１において管理される各種情報（データ）の設定、ユーザや管理者の管理（登録、編集、削除、権限設定等）を行う。
【0024】
＜学習データ生成装置＞
図３に、学習データ生成装置１００が備える主な機能を示している。同図に示すように、学習データ生成装置１００は、記憶部１１０、画像登録受付管理部１２５、画像毎発生原因登録部１３０、学習データ生成送信部１４０、支援情報提供部１５０、及び情報管理部１６０の各機能を備える。
図３に、学習データ生成装置１００が備える主な機能を示している。同図に示すように、学習データ生成装置１００は、記憶部１１０、画像登録受付管理部１２５、画像毎発生原因登録部１３０、学習データ生成送信部１４０、支援情報提供部１５０、及び情報管理部１６０の各機能を備える。
【0025】
上記機能のうち、記憶部１１０は、画像データ情報１１１、質問データ情報１１２、選択肢毎重み管理情報１１３、画像毎回答結果情報１１４、画像毎発生原因登録情報１１５、学習データ情報１１６、及びユーザ／管理者情報１１７の各情報（データ）を記憶する。
【0026】
上記情報のうち、画像データ情報１１１は、ユーザや管理者が登録した多数の画像データを含む。画像データ情報１１１は、学習データの生成に用いる撮影画像の画像データの他、サンプルやテストに用いる画像データ、画像データのデータ管理上の整合性を保つためのダミーの画像データ等を含む。
【0027】
図４Ａに、画像データ情報１１１の一例を示す。画像データ情報１１１の一つのレコードは一つの撮影画像に対応している。例示する画像データ情報１１１は、符号１１１１で示す画像データ（本例では画像データの所在としている。）と、符号１１１２で示す、当該画像データを登録したユーザの識別子（以下、「ユーザＩＤ」と称する。）又は管理者の識別子（以下、「管理者ＩＤ」と称する。）とを対応づけた情報（以下、「ユーザ／管理者ＩＤ」と称する。）を含む。
【0028】
図３に戻り、質問データ情報１１２は、学習データを生成する際の対話処理でユーザに提示する一つ以上の質問の内容である一つ以上の質問データを含む。質問データ情報１１２は、例えば、版（バージョン）が異なる複数の質問データを含んでいてもよい。個々の質問データは、例えば、ファイルシステムにより独立したファイルとして管理される。尚、診断システム１は、コンクリートのひび割れ以外の事象の発生原因の特定にも広く適用することが可能であり、質問データ情報１１２は、他の事象の診断に用いる質問データを含んでいてもよい。
【0029】
図４Ｂに、質問データ情報１１２として管理される質問データの一例を示す。例示する質問データ１１２０は、質問毎に付与される識別子（以下、「質問ＩＤ」と称する。）である質問ＩＤ１１２１と、質問の内容である質問内容１１２２とを対応づけた一つ以上のレコードを含む。学習データ生成装置１００は、質問データ１１２０から質問を順次選択してユーザに提示する。
【0030】
図３に戻り、選択肢毎重み管理情報１１３は、質問データの各質問について予め用意された回答の選択肢の内容を含む。また、選択肢毎重み管理情報１１３は、各選択肢の夫々が選択された場合に発生原因候補の夫々の該当確率に与える影響の大きさ得を示す値（以下、「重み」と称する。）を含む。また、選択肢毎重み管理情報１１３は、各質問の回答難易度（本例では数値が大きい程、回答が難しいことを示す。）を示す情報を含む。
【0031】
図４Ｃに、選択肢毎重み管理情報１１３の一例を示す。例示する選択肢毎重み管理情報１１３は、選択肢の識別子（以下、「選択肢ＩＤ」と称する。）である選択肢ＩＤ１１３１、選択肢の内容１１３２、回答難易度１１３３、及び質問ＩＤ１１３４の組合せ毎に、発生原因候補１１３５の夫々について設定された重み１１３６を対応づけた内容を含む。
【0032】
図３に戻り、画像毎回答結果情報１１４は、撮影画像毎に、ユーザに提示した各質問についてユーザから受け付けた回答（ユーザが選択した選択肢）を示す情報（以下、「画像毎回答結果」と称する。）を含む。
【0033】
図４Ｄに、画像毎回答結果情報１１４の一例を示す。画像毎回答結果情報１１４の一つのレコードは一つの画像毎回答結果に対応している。画像毎回答結果情報１１４は、撮影画像ＩＤ１１４１、発生原因候補１１４２、質問ＩＤ１１４３、及び選択肢ＩＤ１１４４の各項目を対応づけて構成される一つ以上のレコードを含む。
【0034】
上記項目のうち、撮影画像ＩＤ１１４１には、撮影画像の識別子（以下、「撮影画像ＩＤ」と称する。）が格納される。発生原因候補１１４２には、当該撮影画像について推定されるひび割れの発生原因を示す情報が該当確率の最も高い順に格納される。質問ＩＤ１１４３には、当該撮影画像について学習データ生成装置１００が対話処理でユーザに提示した質問の質問ＩＤが質問を提示した順に格納される。選択肢ＩＤ１１４４には、提示された質問の夫々についてユーザが選択した選択肢の選択肢ＩＤが、質問が提示された順に格納される。
【0035】
図３に戻り、画像毎発生原因登録情報１１５には、撮影画像についてユーザ又は管理者が登録した発生原因（以下、「画像毎発生原因」と称する。）が管理される。
【0036】
図４Ｅに、画像毎発生原因登録情報１１５の一例を示す。例示する画像毎発生原因登録情報１１５の一つのレコードは一つの画像毎発生原因に対応している。例示する画像毎発生原因登録情報１１５は、符号１１５１で示す画像データ（本例では画像データの所在としている。）と、符号１１５２で示す、当該画像データの撮影画像について登録されたひび割れの発生原因と、符号１１５３で示す、当該発生原因の登録を行ったユーザのユーザＩＤと、を対応づけた情報を含む。
【0037】
図３に戻り、学習データ情報１１６は、学習データ生成装置１００が生成した一つ以上の学習データを含む。
【0038】
図４Ｆに、学習データ情報１１６の一例を示す。例示する学習データ情報１１６の一つのレコードは一つの学習データに対応している。同図に示すように、学習データは、符号１１６１で示す撮影画像（本例では画像データの所在としている。）と、符号１１６２で示す、当該撮影画像について登録された発生原因とを対応づけた情報を含む。
【0039】
図３に戻り、ユーザ／管理者情報１１７は、ユーザや管理者に関する情報を含む。
【0040】
図４Ｇに、ユーザ／管理者情報１１７の一例を示す。例示するユーザ／管理者情報１１７の一つのレコードは１人のユーザ又は管理者に対応している。例示するユーザ／管理者情報１１７は、ユーザ／管理者ＩＤ１１７１、登録／更新日時１１７２、権限１１７３、ステータス１１７４等の各項目を有する複数のレコードを有する。
【0041】
上記項目のうち、ユーザ／管理者ＩＤ１１７１には、ユーザＩＤ又は管理者ＩＤが格納される。登録／更新日時１１７２には、当該レコードが登録又は直近に更新された日時を示す情報が格納される。権限１１７３には、当該ユーザ又は当該管理者に付与されている権限を示す情報が格納される。ステータス１１７４には、当該ユーザ又は当該管理者が現在、診断システム１を利用中（ログイン中）であるか否かを示す情報が格納される。
【0042】
図３に戻り、同図に示す画像登録受付管理部１２５は、ユーザ装置２や管理装置４を介して撮影画像の登録を受け付け、受け付けた撮影画像の画像データを記憶部１１０に画像データ情報１１１の要素として管理する。
【0043】
図５に、画像登録受付管理部１２５が、撮影画像の登録を受け付ける際にユーザに提示する画面（以下、「撮影画像登録受付画面５００」と称する。）の一例を示す。例示する撮影画像登録受付画面５００は、画像入力欄５１１、登録画像表示欄５１２、アップロード指示ボタン５１３、及び試用ボタン５１４を有する。
【0044】
ユーザが画像入力欄５１１に撮影画像を指定する操作を行いアップロード指示ボタン５１３を操作すると、ユーザ装置２は、指定された撮影画像の画像データを学習データ生成装置１００に送信し、指定された画像データを登録画像表示欄５１２に表示する。学習データ生成装置１００は、上記画像データを受信すると、受信した画像データを画像データ情報１１１の要素として登録する。
【0045】
試用ボタン５１４は、例えば、撮影画像を登録せずに前述した対話処理を試用する場合にユーザが操作する。試用ボタン５１４が選択された場合、予め画像データ情報１１１に格納されている撮影画像がサンプル画像やテスト画像が自動的に選択されて対象画像とされる。
【0046】
図３に戻り、同図に示す画像毎発生原因登録部１３０は、ユーザと対話処理を行うことにより、ユーザから対象画像に写っているひび割れの発生原因の指定を受け付ける。
【0047】
具体的には、画像毎発生原因登録部１３０は、対象画像ついて、質問データの質問を選択するとともに選択した質問の選択肢を選択肢毎重み管理情報１１３から取得する。そして、画像毎発生原因登録部１３０は、選択した質問と取得した選択肢とをユーザに提示し、受け付けた各質問の回答（選択肢の選択）を画像毎回答結果として画像毎回答結果情報１１４として管理する。
【0048】
画像毎発生原因登録部１３０は、以上の動作をユーザが対象画像に対応づける発生原因を確定し、確定した発生原因の画像毎発生原因登録情報１１５への登録操作を行うまで、質問データの質問を順次選択して繰り返す。また、画像毎発生原因登録部１３０は、画像毎回答結果の発生原因候補の中から、対象画像に対応づける発生原因の指定をユーザから受け付け、指定された発生原因を対象画像に対応づけて画像毎発生原因登録情報１１５に登録する。
【0049】
同図に示すように、画像毎発生原因登録部１３０は、質問提示部１３１、回答受付部１３２、質問選択部１３３、凡例／投稿画像提示部１３４、発生原因毎該当確率算出部１３５、発生原因候補提示部１３６、及び画像毎発生原因登録部１３７の各機能を有する。
【0050】
このうち質問提示部１３１は、対象画像について、質問データ情報１１２から選択される質問データから一つずつ質問を選択するとともに、選択した質問の選択肢を選択肢毎重み管理情報１１３から取得する。そして、質問提示部１３１は、選択した質問と取得した選択肢とをユーザに提示し、提示した質問についての回答（選択肢の選択）を受け付ける。質問提示部１３１は、例えば、ユーザが対象画像について発生原因の登録操作を行った場合に当該対象画像についての次の質問の提示を終了する。
【0051】
回答受付部１３２は、提示した質問に対する回答（選択肢の選択）をユーザから受け付け、受け付けた選択肢を、当該質問及び対象画像と対応づけて画像毎回答結果情報１１４に格納する。
【0052】
質問選択部１３３は、質問データの質問のうち現時点までに未選択の質問の中から、次にユーザに提示する質問（以下、「次の質問」と称する。）を選択する。質問選択部１３３は、例えば、上記未選択の質問のうち、ユーザから回答を受け付けることにより得られる情報量の期待値である平均情報量（情報エントロピー（シャノンエントロピー））が最小の（平均情報量の減少量の期待値が最大の）質問を次の質問として選択する。尚、上記期待値に基づき次の質問を選択するための仕組みの詳細については後述する。質問選択部１３３が、例えば、最初に必ず確認しておきたい質問（構造物のカテゴリや構造物が存在する地域等）や回答難易度が低い（ユーザが回答しやすい）質問を優先して表示するようにしてもよい。また、提示する質問の優先順位を予め管理者が設定できるようにしてもよい。また、質問の選択方法（例えば、優先順位に基づき次の質問を選択するか、上記期待値に基づき次の質問を選択するか）を管理者が設定できるようにしてもよい。
【0053】
凡例／投稿画像提示部１３４は、発生原因候補提示部１３６がユーザに提示している発生原因候補について、凡例として画像データ情報１１１に登録されている撮影画像や、当該発生原因候補を原因候補として他のユーザが登録した撮影画像をユーザに提示する。凡例／投稿画像提示部１３４は、対象画像について提示した発生原因候補の一つをユーザが指定すると、指定された発生原因候補に対応づけられている撮影画像を画像毎発生原因登録情報１１５から特定し、特定した撮影画像の画像データを画像データ情報１１１から取得してユーザに提示する。
【0054】
発生原因毎該当確率算出部１３５は、選択肢毎重み管理情報１１３と、対象画像について質問の提示を開始してから現時点までに提示した各質問に対するユーザの回答（選択肢の選択）の履歴とに基づき、当該対象画像についての発生原因候補の夫々の該当確率をベイズの定理により事後確率として求める。尚、該当確率の詳細については後述する。
【0055】
発生原因候補提示部１３６は、発生原因毎該当確率算出部１３５が求めた発生原因候補を該当確率の降順に並べてユーザに提示する。
【0056】
画像毎発生原因登録部１３７は、発生原因候補提示部１３６が提示した発生原因候補の中から対象画像に対応づける発生原因の指定をユーザから受け付け、受け付けた発生原因を対象画像に対応づけた情報を画像毎発生原因登録情報１１５として登録する。
【0057】
図３に示す学習データ生成送信部１４０は、画像毎発生原因登録情報１１５に基づき、ユーザが特定した発生原因をラベルとして対象画像に対応づけた情報を学習データとして生成し、生成した学習データを診断モデル学習装置６に送信する。
【0058】
図６Ａ及び図６Ｂは、画像毎発生原因登録部１３０が、前述した対話処理（質問の提示、回答の受け付け、対象画像に対応づける原因候補の指定の受け付け等）に際してユーザに提示する画面（以下、「質問提示／回答受付画面６００」と称する。）の一例である。尚、図６Ａに示す画面は、最初の質問を提示する際に表示され、また、図６Ｂに示す画面は、２回目以降の質問を提示する際に表示される。
【0059】
図６Ａ及び図６Ｂに示すように、例示する質問提示／回答受付画面６００は、質問データの表示欄６１１、質問ＩＤの表示欄６１２、質問数の表示欄６１３、質問提示／選択肢受付欄６１４、戻るボタン６１５、及び発生原因候補表示欄６１６を有する。
【0060】
このうち質問データの表示欄６１１には、現在選択中の質問データを示す情報（本例では質問データのファイル名としている。）が表示される。尚、管理者は、例えば、ユーザに提示する質問の抽出元とする質問データを予め学習データ生成装置１００に設定しておく。
【0061】
質問ＩＤの表示欄６１２には、現在表示中の質問の質問ＩＤが表示される。
【0062】
質問数の表示欄６１３には、対象画像について現時点までにユーザに提示した質問の総数が表示される。同図の例では、分子に上記の総数を、分母に現在選択中の質問データに格納されている質問の総数を、夫々表示している。
【0063】
質問提示／選択肢受付欄６１４には、質問と当該質問の選択肢が表示される。ユーザは、表示されている選択肢の一つを指定する操作を行うことで、現在選択中の質問に対して回答することができる。同図に示すように、ユーザは提示された質問に対して「わからない」という選択をすることも可能である。このため、ユーザは、例えば、回答することができないか、もしくは回答することが難しい質問については「わからない」を選択することで、当該質問に対する回答をスキップして次の質問に進むことができる。
【0064】
図６Ｂに示すように、戻るボタン６１５は、２つめ以降の質問をユーザに提示する際に質問提示／回答受付画面６００に表示される。ユーザは、戻るボタン６１５を操作することで一つ前の質問の画面に戻ることができる。
【0065】
同図に示す発生原因候補表示欄６１６には、発生原因毎該当確率算出部１３５が求めた一つ以上の原因候補が、発生原因候補提示部１３６により該当確率の降順に夫々の該当確率とともに表示される。同図に示すように、発生原因候補表示欄６１６には、表示している原因候補毎に凡例確認ボタン６１６１と登録ボタン６１６２が設けられている。
【0066】
このうち凡例確認ボタン６１６１をユーザが操作すると、凡例／投稿画像提示部１３４が、対応する原因候補の凡例として画像データ情報１１１に登録されている撮影画像（以下、「凡例／投稿画像」と称する。）や他のユーザが当該原因候補について登録した撮影画像（以下、「他ユーザ登録画像」と称する。）を表示する。
【0067】
図６Ｃに、ユーザが凡例確認ボタン６１６１を操作して凡例／投稿画像又は他ユーザ登録画像を表示させている様子を示す。同図に示すように、ユーザは、画像選択ボタン６１６１１を操作して、凡例／投稿画像又は他ユーザ登録画像のいずれを表示させるかを切り換えることができる。
【0068】
ユーザが、登録ボタン６１６２を操作すると、画像毎発生原因登録部１３７は、ユーザが対応する原因候補を対象画像に写っているひび割れの原因候補として登録する画面（以下、「画像毎発生原因登録画面６５０」と称する。）を表示して対象画像に対する原因候補の登録を受け付ける。
【0069】
図６Ｄに、画像毎発生原因登録画面６５０の一例を示す。同図に示すように、例示する画像毎発生原因登録画面６５０は、発生原因候補の表示欄６５１、該当確率の表示欄６５２、対象画像の表示欄６５３、登録ボタン６５４、及びキャンセルボタン６５５を有する。
【0070】
このうち発生原因候補の表示欄６５１には、質問提示／回答受付画面６００の発生原因候補表示欄６１６でユーザが操作した登録ボタン６１６２に対応する発生原因候補が表示される。該当確率の表示欄６５２には、当該発生原因候補の該当確率が表示される。括弧内の数字は、対象画像について一つ前までに提示した質問までの回答履歴に基づく該当確率である。ユーザは括弧内の数値を確認することで、現在提示されている質問に対して行った回答が該当確率に与える影響を確認することができる。対象画像の表示欄６５３には、対象画像が表示される。ユーザが登録ボタン６５４を操作すると、画像毎発生原因登録部１３７が、当該対象画像と当該発生原因候補を対応づけた情報を画像毎発生原因登録情報１１５に登録する。ユーザがキャンセルボタン６５５を操作すると質問提示／回答受付画面６００にカーソルが戻る。
【0071】
図３に戻り、同図に示す支援情報提供部１５０は、対象画像に写っているひび割れの原因候補の特定や、記憶部１１０に管理されている情報の分析を支援するための情報を管理者に提供する。
【0072】
同図に示すように、支援情報提供部１５０は、登録者別撮影画像提示部１５１、発生原因別撮影画像提示部１５２、回答類似撮影画像提示部１５３、診断主体毎特定結果提示部１５４、及び回答傾向情報提示部１５５の各機能を有する。
【0073】
上記機能のうち登録者別撮影画像提示部１５１は、画像データ情報１１１の画像データの撮影画像を、夫々の登録者別に管理者に提示する。例えば、登録者別撮影画像提示部１５１は、あるユーザ又は管理者の指定（ユーザＩＤ又は管理者ＩＤの指定）を受け付けると、受け付けたユーザＩＤ又は管理者ＩＤに対応づけられている画像データを画像データ情報１１１から取得し、取得した画像データに基づく撮影画像の一覧を記載した画面（以下、「登録者別撮影画像提示画面７１０」と称する。）を管理者に提示する。
【0074】
図７Ａに、登録者別撮影画像提示画面７１０の一例を示す。この例では、管理者がユーザＩＤが「△△社 □□様」のユーザを指定したため、登録者別撮影画像提示部１５１は、登録者別撮影画像提示画面７１０に当該ユーザが登録した撮影画像の一覧を表示している。
【0075】
図３に戻り、発生原因別撮影画像提示部１５２は、画像データ情報１１１の画像データの撮影画像を、登録されている発生原因別に管理者に提示する。発生原因別撮影画像提示部１５２は、例えば、管理者から発生原因の指定を受け付けると、受け付けた発生原因に対応づけられている撮影画像の画像データを画像データ情報１１１から取得し、取得した画像データに基づく撮影画像の一覧を記載した画面（以下、「発生原因別撮影画像提示画面７２０」と称する。）を管理者に提示する。
【0076】
図７Ｂに、発生原因別撮影画像提示画面７２０の一例を示す。この例では、管理者が発生原因「セメントの水和熱」を指定したため、発生原因別撮影画像提示部１５２は、発生原因別撮影画像提示画面７２０に当該発生原因が対応づけられている撮影画像の一覧を表示している。
【0077】
図３に戻り、回答類似撮影画像提示部１５３は、同じ質問群についてユーザから受け付けた回答の履歴が類似している撮影画像（画像データ）の組合せを画像毎回答結果情報１１４から取得し、取得した組合せを示す画面（以下、「回答類似撮影画像提示画面７３０」と称する。）を管理者に提示する。尚、上記の類似度は、例えば、回答（ユーザが選択した選択肢）が一致している質問の数とする。例えば、回答が一致する質問の数が多い程、類似度は高くなる値とし、回答類似撮影画像提示部１５３は、例えば、類似度が予め設定された閾値を超える組合せを画像毎回答結果情報１１４から取得して管理者に提示する。管理者は、提示された組合せから発生原因の異なる撮影画像の組合せを特定することができる。そのような組合せを特定した場合、例えば、管理者は、組合せの夫々の撮影画像に写っているひび割れの発生原因が正しく区別されるように質問を調整（新たな質問を追加する等）することを検討する。
【0078】
図７Ｃに、回答類似撮影画像提示画面７３０の一例を示す。この例では、回答類似撮影画像提示部１５３は、回答類似撮影画像提示画面７３０に、回答の履歴が類似している撮影画像として「撮影画像Ａ」及び「撮影画像Ｂ」の画像とともに各撮影画像の回答結果（回答の履歴）を表示している。
【0079】
図３に戻り、診断主体毎特定結果提示部１５４は、診断主体（ユーザ、診断モデル３１、及び管理者（技術部門の担当者等））の夫々が同じ撮影画像について特定した発生原因を比較可能な状態で記載した画面（以下、「診断主体毎診断結果提示画面７４０」と称する。）を管理者に提示する。尚、診断主体毎特定結果提示部１５４は、例えば、診断装置３に撮影画像の画像データを送信し、診断装置３が受信した画像データを既存の診断モデル３１に入力することにより出力される発生原因を診断モデル３１により特定された発生原因として取得する。また、診断主体毎特定結果提示部１５４は、例えば、管理者により特定された発生原因を管理装置４から取得する。
【0080】
このように、診断主体毎特定結果提示部１５４は、同じ撮影画像についての診断主体毎の診断結果（発生原因）を比較可能な状態で管理者（例えば、技術部門の担当者）に提示する。このため、例えば、管理者は、ユーザが診断を誤りやすい撮影画像を特定することができる。そのような撮影画像を特定した場合、管理者は、例えば、当該撮影画像についてユーザが正しく発生原因を診断できるような質問を追加することを検討する。
【0081】
図７Ｄに、診断主体毎診断結果提示画面７４０の一例を示す。この例では、診断主体毎特定結果提示部１５４は、診断主体毎診断結果提示画面７４０に、撮影画像とともに、診断主体（ユーザ、診断モデル３１、及び管理者（技術部門の担当者等））の夫々が同じ撮影画像について診断した発生原因を比較可能な状態で表示している。
【0082】
図３に戻り、回答傾向情報提示部１５６は、画像毎回答結果情報１１４に基づく、質問データの質問毎のユーザの回答の傾向を示す情報（以下、「回答傾向情報」と称する。）を記載した画面（以下、「回答傾向情報提示画面７５０」と称する。）生成し、生成した情報を管理者に提示する。管理者は、回答傾向情報に基づき、例えば、多くのユーザが「わからない」を選択している質問、即ち、回答しにくい可能性の高い質問を特定し、そのような質問について改善を検討する。
【0083】
図７Ｅに、回答傾向情報提示画面７５０の一例を示す。この例では、回答傾向情報提示部１５６は、回答傾向情報提示画面７５０に、「1012質問表.csv」というファイル名の質問データの質問について、ユーザに提示された回数やユーザが「わからない」と回答した回数を示す情報を表示している。
【0084】
図３に戻り、同図に示す情報管理部１６０は、管理者が、記憶部１１０が記憶している各種情報を管理するための環境を提供する。同図に示すように、情報管理部１６０は、質問データ管理部１６１、選択肢毎重み管理情報管理部１６２、及びユーザ／管理者情報管理部１６３を有する。
【0085】
このうち質問データ管理部１６１は、質問データ情報１１２に管理される質問データの編集環境（質問データの登録、編集、削除、検索等）を管理装置４を介して管理者に提供する。尚、診断システム１は、コンクリートのひび割れ以外の事象の発生原因の特定にも適用することが可能であり、質問データ管理部１６１は、事象毎に質問データを管理する環境を管理者に提供する。また、質問データ管理部１６１は、同じ事象について複数の質問データ（例えば、版（バージョン）の異なる複数の質問データ１１２）を管理するための環境を提供する。
【0086】
図８Ａに、質問データ管理部１６１が、質問データを編集するための画面（以下、「質問データ管理画面８１０」と称する。）を表示している様子を示す。同図に示すように、例示する質問データ管理画面８１０には、質問データが一覧表示されている。また、質問データ管理画面８１０には、質問データを指定して当該質問データの内容を編集する画面を表示させる編集ボタン８１１、質問データの夫々の有効／無効を指定する有効／無効ボタン８１２、及び質問データの夫々の削除を指示する削除ボタン８１３が設けられている。
【0087】
図３に戻り、選択肢毎重み管理情報管理部１６２は、選択肢毎重み管理情報１１３の編集環境（選択肢毎重み管理情報１１３の登録、編集、削除、検索等）を管理装置４を介して管理者に提供する。選択肢毎重み管理情報１１３は、例えば、表計算ソフトウェアが取り扱い可能な表形式データとして管理され、その場合、選択肢毎重み管理情報管理部１６２は、表形式データの編集環境を管理者に提供する。
【0088】
また、選択肢毎重み管理情報管理部１６２は、選択肢毎重み管理情報１１３に基づき、発生原因毎の選択肢の重みの類似度（選択肢毎重み管理情報１１３の各列の類似度）を提示する機能を有する。上記類似度が高い発生原因の組合せは、現状の質問では必ずしも区別しきれないことを意味する。管理者は、類似度の高い発生原因の組合せが存在することを確認した場合、両者が区別できるような質問を追加することを検討する。
【0089】
尚、質問データ管理部１６１や選択肢毎重み管理情報管理部１６２は、例えば、表計算ソフトウェアを用いて編集された質問データ１１２０や選択肢毎重み管理情報１１３のアップロードを受け付ける機能を有する。
【0090】
図８Ｂに、質問データ管理部１６１や選択肢毎重み管理情報管理部１６２が、表計算ソフトウェア等を用いて編集された質問データ１１２０や選択肢毎重み管理情報１１３のアップロードを受け付ける画面（以下、「質問／選択肢アップロード画面８２０」と称する。）を表示している様子を示す。
【0091】
図３に戻り、ユーザ／管理者情報管理部１６３は、管理装置４を介して、ユーザ／管理者情報１１７を編集（登録、編集、削除、検索等）する環境を管理者に提供する。
【0092】
図８Ｃに、ユーザ／管理者情報管理部１６３が、ユーザ／管理者情報１１７を管理する際に提示する画面（以下、「ユーザ／管理者情報管理画面８３０」と称する。）の一例を示す。
【0093】
＜質問提示／回答受付処理＞
図９は、図６Ａ及び図６Ｂに示す画面の表示や遷移に際して画像毎発生原因登録部１３０が行う処理（以下、「質問提示／回答受付処理Ｓ９００」と称する。）を説明するフローチャートである。以下、同図とともに質問提示／回答受付処理Ｓ９００について説明する。尚、質問提示／回答受付処理Ｓ９００の開始時点において、選択肢毎重み管理情報１１３には、予め発生原因候補毎の該当確率の初期値が設定されているものとする。上記の初期値は、例えば、管理者が管理装置４を介して予め画像毎回答結果情報１１４に格納しておく。尚、例えば、管理者が、過去に発生したひび割れの発生原因の統計的な情報（確率分布等）に基づき上記の初期値を設定しておくことで、対象画像についての発生原因の効率的かつ正確な特定に繋がる良質の質問が提示されるようになることが期待できる。
図９は、図６Ａ及び図６Ｂに示す画面の表示や遷移に際して画像毎発生原因登録部１３０が行う処理（以下、「質問提示／回答受付処理Ｓ９００」と称する。）を説明するフローチャートである。以下、同図とともに質問提示／回答受付処理Ｓ９００について説明する。尚、質問提示／回答受付処理Ｓ９００の開始時点において、選択肢毎重み管理情報１１３には、予め発生原因候補毎の該当確率の初期値が設定されているものとする。上記の初期値は、例えば、管理者が管理装置４を介して予め画像毎回答結果情報１１４に格納しておく。尚、例えば、管理者が、過去に発生したひび割れの発生原因の統計的な情報（確率分布等）に基づき上記の初期値を設定しておくことで、対象画像についての発生原因の効率的かつ正確な特定に繋がる良質の質問が提示されるようになることが期待できる。
【0094】
同図に示すように、まず、発生原因毎該当確率算出部１３５が、選択肢毎重み管理情報１１３と、対象画像について質問の提示を開始してから現時点までに提示した各質問に対するユーザの回答（選択肢の選択）の履歴とに基づき、当該対象画像についての発生原因候補の夫々の該当確率をベイズの定理により事後確率として求める（Ｓ９１１）。
【0095】
続いて、質問選択部１３３が、質問データの現時点までに未選択の各質問について、ユーザから回答を受け付けることにより得られる情報量の期待値である平均情報量（情報エントロピー（シャノンエントロピー））を求める（Ｓ９１２）。
【0096】
続いて、質問選択部１３３は、求めた情報量の期待値が最小の質問（平均情報量が最小の質問）を次の質問として選択する（Ｓ９１３）。
【0097】
続いて、質問提示部１３１が、選択した質問の選択肢を選択肢毎重み管理情報１１３から取得し、選択した質問と取得した選択肢とをユーザに提示する（Ｓ９１４）。
【0098】
尚、以上の処理は、対象画像の発生原因候補が画像毎発生原因登録情報１１５に登録されるまで、即ち、図６Ｃに示した質問提示／回答受付画面６００の発生原因候補表示欄６１６の登録ボタン６１６２を操作して対象画像に対する原因候補の登録を行うまで繰り返し行われる（Ｓ９１５）。
【0099】
【0100】
図１０Ａは、以下の説明で用いる、発生原因候補の夫々の該当確率を求めるための初期値、質問データ、及び選択肢毎の重み（選択肢毎重み管理情報１１３の内容の一部）の一例である。
【0101】
図１０Ｂは、図１０Ａに示した発生原因候補の夫々の該当確率を求めるための初期値に基づき、発生原因候補毎の該当確率の初期値（発生原因候補の夫々の該当確率（発生原因候補の確率分布）を求めた結果である。この例では、発生原因候補毎の該当確率を、図１０Ａの該当確率を求めるための初期値の総和を分母とし、同図の発生原因候補の夫々の該当確率を求めるための初期値を分子として求めた値としている。
【0102】
図１０Ｃは、各選択肢の発生原因候補毎の重みを調整（「0」除算を防ぐための調整）した後の値である。
【0103】
図１０Ｄは、図１０Ｂの発生原因候補の夫々の該当確率の初期値と、図１０Ｃの各選択肢の発生原因候補毎の重みの調整後の値とに基づき、各質問の選択肢の夫々が選択された場合における発生原因候補の夫々の該当確率をベイズの定理により事後確率として求めた結果である（図９のＳ９１１の処理に相当）。
【0104】
図１０Ｅは、選択肢の夫々が選択された場合における発生原因候補の夫々の該当確率に基づき、各選択肢が選択された場合の情報量の期待値である平均情報量（情報エントロピー（シャノンエントロピー））を求めた結果を示す図である（図９のＳ９１２の処理に相当）。
【0105】
【0106】
図１０Ｇは、図１０Ｆに基づき、情報量の期待値が最小（平均情報量の最小値が最小、又は平均情報量の平均値が最小）の質問を次の質問（現時点では最初に提示する質問）として選択した結果を示す図である（図９のＳ９１３の処理に相当）。本例では、図１０Ｆにおいて平均情報量が最小の質問ＩＤが「１」の質問を選択している。尚、平均情報量の最小値が同値である場合は、例えば、それらの中から回答難易度が最小の質問を選択する。また、回答難易度も同値である場合は、例えば、それらの中からランダムに質問を選択する。
【0107】
【0108】
【0109】
【0110】
図１０Ｋは、図１０Ｉの発生原因候補の夫々の該当確率の値と図１０Ｊの各選択肢の発生原因候補毎の重みの調整後の値とに基づき、未選択の各質問（「わからない」が選択された質問を含む。本例では質問ＩＤが「１」の質問以外の各質問）について、各質問の各選択肢が選択された場合における発生原因候補の夫々の該当確率をベイズの定理により事後確率として求めた結果を示す図である（図９のＳ９１１の処理に相当）。
【0111】
図１０Ｌは、図１０Ｋの質問の夫々の選択肢の夫々が選択された場合における発生原因候補の夫々の該当確率に基づき、各選択肢が選択された場合の情報量の期待値である平均情報量を求めた結果を示す図である（図９のＳ９１２の処理に相当）。
【0112】
【0113】
図１０Ｎは、図１０Ｍに基づき、情報量の期待値が最小（平均情報量の最小値が最小、又は平均情報量の平均値が最小）の質問を次の質問として選択した結果を示す図である（図９のＳ９１３の処理に相当）。本例では、図１０Ｍにおいて平均情報量が最小の質問ＩＤが「６」の質問を選択している。尚、平均情報量の最小値が同値の場合は、例えば、それらの中から回答難易度が最小の質問を選択する。また、回答難易度も同値の場合は、例えば、それらの中からランダムに質問を選択する。
【0114】
【0115】
【0116】
以上詳細に説明したように、本実施形態の診断システム１によれば、ユーザは、学習データ生成装置１００が順次提示する質問に回答していくことにより、学習データの生成に用いる対象画像についてラベルとして用いる情報である発生原因を精度よく特定することができる。このため、ユーザは、ひび割れ等の事象の発生原因を特定する機械学習モデルの学習に用いる学習データを効率よく生成することができる。また、質の良い学習データを効率よく生成することができることで、診断モデル３１の性能を高めることができる。
【0117】
また、本実施形態の学習データ生成装置１００は、事象の発生原因の夫々の現時点における該当確率と選択肢の夫々の重みとに基づき、選択肢の夫々が選択された場合における発生原因の候補の夫々の該当確率をベイズの定理により事後確率として求め、発生原因の候補を夫々の該当確率が大きいものを優先して提示するので、機械学習モデルの学習データを生成する際に行われる、撮影画像に写っている事象の発生原因を特定する作業を支援することができる。
【0118】
また、学習データ生成装置１００は、未選択の質問について、夫々を選択してユーザから回答を受け付けることにより得られる情報量の期待値が最小の質問を次に提示する質問として選択するので、撮影画像に写っている発生原因を効率よく特定するために有効な質問を優先してユーザに提示することができる。
【0119】
また、管理者は、選択肢毎重み管理情報１１３における各選択肢の重みを経験や知識に基づき適切に調節することで、撮影画像（画像データ）に対応づけるラベルとして適切な発生原因を優先的にユーザに提示することができ、機械学習モデルの性能向上に有効に作用する学習データを効率よく生成することができる。
【0120】
また、学習データ生成装置１００は、同じ質問に対してユーザが選択した選択肢の傾向が類似する撮影画像の組合せを示す情報を提示するので、管理者は、現状の質問データの質問では発生原因が異なる事象が写っている撮影画像を必ずしも区別できない場合があることを認識することができ、質問の調整（質問の追加等）を管理者に促すことができる。
【0121】
また、学習データ生成装置１００は、ユーザから受け付けた発生原因と他の主体（例えば、事象の発生原因の特定に熟練した者）により特定された発生原因とを比較可能な状態で提示するので、例えば、管理者は、ユーザが事象の発生原因の特定を誤りやすい撮影画像を認識することができる。また、提示された情報はユーザの教育等に役立てることができる。
【0122】
また、学習データ生成装置１００は、例えば、「わからない」が選択された回数等、選択肢の夫々が選択された回数を示す情報を提示するので、例えば、管理者に質問の調整（「わからない」が選択されにくい質問の追加等）を行う契機を与えることができる。
【0123】
また、学習データ生成装置１００は、指定されたユーザに対応づけられている撮影画像の一覧を提示するので、例えば、管理者は、ユーザの夫々がどのような撮影画像（画像データ）を登録しているかを容易に把握することができる。
【0124】
また、学習データ生成装置１００は、指定された発生原因に対応づけられている撮影画像を提示するので、例えば、管理者は、発生原因と撮影画像（画像データ）との関係を容易に把握することができ、事象の発生原因の特定に役立てることができる。
【0125】
また、学習データ生成装置１００は、選択肢毎重み管理情報１１３を、例えば、表計算ソフトウェアが取り扱い可能な表形式のデータとして管理するので、管理者は、選択肢毎重み管理情報１１３を容易に取り扱うことができる。尚、例えば、選択肢毎重み管理情報１１３を、例えば、決定木等の木構造の情報として管理した場合には、「わからない」という選択肢が選択された場合に先の質問に進むことができなくなってしまうが、このように選択肢を表形式のデータとして管理することで、「わからない」という選択肢が選択された場合でも次の質問に進む（次の質問を選択）ことができるように容易にアルゴリズムを作成することができる。
【0126】
また、本実施形態の診断システム１によれば、質問データ情報１１２や選択肢毎重み管理情報１１３を適切に編集することで、診断モデル３１の性能の向上に有効に作用する学習データが効率よく生成されるように調整（チューニング）することができる。
【0127】
また、本実施形態の診断システム１によれば、発生原因を特定しようとする事象の種類に応じた質問データ情報１１２や選択肢毎重み管理情報１１３を用意することで、コンクリート構造物のひび割れの発生原因以外の様々についての事象の発生原因の特定にも容易に拡張適用（転用）することができる。
【0128】
＜情報処理装置の例＞
図５は、診断システム1を構成する各装置（診断装置３、学習データ生成装置１００、診断モデル学習装置６、ユーザ装置２、管理装置４）の実現に用いる情報処理装置（コンピュータ）のハードウェア構成の一例である。例示する情報処理装置１０は、プロセッサ１１、主記憶装置１２、補助記憶装置１３、入力装置１４、出力装置１５、及び通信装置１６を備える。情報処理装置１０の具体例として、例えば、パーソナルコンピュータ、タブレット、スマートフォン、オフィスコンピュータ、各種サーバ装置、汎用機等がある。情報処理装置１０は、その全部又は一部が、例えば、クラウドシステムによって提供される仮想サーバのように、仮想化技術を用いて提供される仮想的な情報処理資源を用いて実現されるものであってもよい。各装置は、通信可能に接続された複数の情報処理装置１０を用いて実現してもよい。
図５は、診断システム1を構成する各装置（診断装置３、学習データ生成装置１００、診断モデル学習装置６、ユーザ装置２、管理装置４）の実現に用いる情報処理装置（コンピュータ）のハードウェア構成の一例である。例示する情報処理装置１０は、プロセッサ１１、主記憶装置１２、補助記憶装置１３、入力装置１４、出力装置１５、及び通信装置１６を備える。情報処理装置１０の具体例として、例えば、パーソナルコンピュータ、タブレット、スマートフォン、オフィスコンピュータ、各種サーバ装置、汎用機等がある。情報処理装置１０は、その全部又は一部が、例えば、クラウドシステムによって提供される仮想サーバのように、仮想化技術を用いて提供される仮想的な情報処理資源を用いて実現されるものであってもよい。各装置は、通信可能に接続された複数の情報処理装置１０を用いて実現してもよい。
【0129】
同図において、プロセッサ１１は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＡＩ（Artificial Intelligence）チップ等を用いて構成されている。
【0130】
主記憶装置１２は、プログラムやデータを記憶する装置であり、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、不揮発性メモリ（ＮＶＲＡＭ（Non Volatile RAM））等である。
【0131】
補助記憶装置１３は、例えば、ＳＳＤ（Solid State Drive）、ハードディスクドライブ、光学式記憶装置（ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）等）、ストレージシステム、ＩＣカード、ＳＤカードや光学式記録媒体等の記録媒体の読取／書込装置、クラウドサーバの記憶領域等である。補助記憶装置１３には、記録媒体の読取装置や通信装置１６を介してプログラムやデータを読み込むことができる。補助記憶装置１３に格納（記憶）されているプログラムやデータは主記憶装置１２に随時読み込まれる。
【0132】
入力装置１４は、外部からの入力を受け付けるインタフェースであり、例えば、キーボード、マウス、タッチパネル、カードリーダ、ペン入力方式のタブレット、音声入力装置等である。
【0133】
出力装置１５は、処理経過や処理結果等の各種情報を出力するインタフェースである。出力装置１５は、例えば、上記の各種情報を可視化する表示装置（ＬＣＤ（Liquid Crystal Display）、グラフィックカード等）、上記の各種情報を音声化する装置（音声出力装置（スピーカ等））、上記の各種情報を文字化する装置（印字装置等）である。尚、例えば、情報処理装置１０が通信装置１６を介して他の装置との間で情報の入力や出力を行う構成としてもよい。
【0134】
入力装置１４及び出力装置１５は、ユーザとの間で情報の受け付けや情報の提示を行うユーザインタフェースを構成する。
【0135】
通信装置１６は、通信ネットワーク５等の通信基盤を介した他の装置との間での通信（有線通信又は無線通信）を実現する装置であり、例えば、ＮＩＣ（Network Interface Card）、無線通信モジュール、ＵＳＢモジュール等を用いて構成される。
【0136】
情報処理装置１０には、例えば、オペレーティングシステム、ファイルシステム、ＤＢＭＳ（DataBase Management System）（リレーショナルデータベース、ＮｏＳＱＬ等）、ＫＶＳ（Key-Value Store）等が導入されていてもよい。
【0137】
診断システム1を構成する各装置が備える機能は、情報処理装置１０のプロセッサ１１が、主記憶装置１２に格納されているプログラムを読み出して実行することにより、もしくは、診断システム1を構成する情報処理装置のハードウェア（ＦＰＧＡ、ＡＳＩＣ、ＡＩチップ等）自体の機能によって実現される。各装置は、各種の情報（データ）を、例えば、データベースのテーブルやファイルシステムが管理するファイルとして記憶する。
【0138】
以上、実施形態について説明したが、本発明は上記の実施形態に限定されるものではなく、様々な変形例が含まれ、必ずしも説明した全ての構成を備えるものに限定されるものではない。
【符号の説明】
【0139】
１ 診断システム
２ ユーザ装置
３ 診断装置
４ 管理装置
５ 通信ネットワーク
６ 診断モデル学習装置
１００ 学習データ生成装置
１１０ 記憶部
１１１ 画像データ情報
１１２ 質問データ情報
１１３ 選択肢毎重み管理情報
１１４ 画像毎回答結果情報
１１５ 画像毎発生原因登録情報
１１６ 学習データ情報
１１７ ユーザ／管理者情報
１２５ 画像登録受付管理部
１３０ 画像毎発生原因登録部
１３１ 質問提示部
１３２ 回答受付部
１３３ 質問選択部
１３４ 凡例／投稿画像提示部
１３５ 発生原因毎該当確率算出部
１３６ 発生原因候補提示部
１３７ 画像毎発生原因登録部
１４０ 学習データ生成送信部
１５０ 支援情報提供部
１５１ 登録者別撮影画像提示部
１５２ 発生原因別撮影画像提示部
１５３ 回答類似撮影画像提示部
１５４ 診断主体毎特定結果提示部
１５５ 回答傾向情報提示部
１６０ 情報管理部
１６１ 質問データ管理部
１６２ 選択肢毎重み管理情報管理部
１６３ ユーザ／管理者情報管理部
２ ユーザ装置
３ 診断装置
４ 管理装置
５ 通信ネットワーク
６ 診断モデル学習装置
１００ 学習データ生成装置
１１０ 記憶部
１１１ 画像データ情報
１１２ 質問データ情報
１１３ 選択肢毎重み管理情報
１１４ 画像毎回答結果情報
１１５ 画像毎発生原因登録情報
１１６ 学習データ情報
１１７ ユーザ／管理者情報
１２５ 画像登録受付管理部
１３０ 画像毎発生原因登録部
１３１ 質問提示部
１３２ 回答受付部
１３３ 質問選択部
１３４ 凡例／投稿画像提示部
１３５ 発生原因毎該当確率算出部
１３６ 発生原因候補提示部
１３７ 画像毎発生原因登録部
１４０ 学習データ生成送信部
１５０ 支援情報提供部
１５１ 登録者別撮影画像提示部
１５２ 発生原因別撮影画像提示部
１５３ 回答類似撮影画像提示部
１５４ 診断主体毎特定結果提示部
１５５ 回答傾向情報提示部
１６０ 情報管理部
１６１ 質問データ管理部
１６２ 選択肢毎重み管理情報管理部
１６３ ユーザ／管理者情報管理部
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図4C】
【図4D】
【図4E】
【図4F】
【図4G】
【図5】
【図6A】
【図6B】
【図6C】
【図6D】
【図7A】
【図7B】
【図7C】
【図7D】
【図7E】
【図8A】
【図8B】
【図8C】
【図9】
【図10A】
【図10B】
【図10C】
【図10D】
【図10E】
【図10F】
【図10G】
【図10H】
【図10I】
【図10J】
【図10K】
【図10L】
【図10M】
【図10N】
【図10O】
【図11】