特開 2024-74039 情報処理プログラム、端末装置および情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024074039

(43)【公開日】2024-05-30

(54)【発明の名称】情報処理プログラム、端末装置および情報処理方法

(51)【国際特許分類】

   G06Q 30/0251 20230101AFI20240523BHJP

【ＦＩ】

G06Q30/0251

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022185088

(22)【出願日】2022-11-18

(71)【出願人】

【識別番号】500257300

【氏名又は名称】ＬＩＮＥヤフー株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】坪内 孝太

(72)【発明者】

【氏名】友成 愛

(72)【発明者】

【氏名】佐藤 潤一

(72)【発明者】

【氏名】宮崎 崇史

(72)【発明者】

【氏名】大島 みゆき

(72)【発明者】

【氏名】二宮 一浩

【テーマコード（参考）】

5L030

5L049

【Ｆターム（参考）】

5L030BB08

5L049BB08

(57)【要約】

【課題】利用者に対して適切な広告対象の広告を提供すること。
【解決手段】本願に係る情報処理プログラムは、端末装置が有するコンピュータに、端末装置を用いて撮影された画像から撮影対象を特定する特定手順と、特定手順によって特定された撮影対象と所定の関係性を有する広告対象を選択する選択手順と、指定された対象に関する広告を生成するよう学習された広告生成モデルを用いて、選択手順によって選択された広告対象に関する広告を生成する生成手順と、を実行させる。
【選択図】図２

【特許請求の範囲】

【請求項1】

端末装置が有するコンピュータに、
前記端末装置を用いて撮影された画像から撮影対象を特定する特定手順と、
前記特定手順によって特定された前記撮影対象と所定の関係性を有する広告対象を選択する選択手順と、
指定された対象に関する広告を生成するよう学習された広告生成モデルを用いて、前記選択手順によって選択された前記広告対象に関する広告を生成する生成手順と
を実行させることを特徴とする情報処理プログラム。

【請求項2】

前記選択手順は、
前記撮影対象と、所定の関係性を有する前記広告対象とのそれぞれの特徴を学習した関係性モデルを用いて、前記撮影対象から前記広告対象を選択すること
を特徴とする請求項１に記載の情報処理プログラム。

【請求項3】

前記選択手順は、
同一の利用者によって撮影された画像に写る複数の対象物のうち、いずれか一つの前記対象物が入力された場合に、他の前記対象物が出力されるように学習された前記関係性モデルを用いて、前記撮影対象から前記広告対象を選択すること
を特徴とする請求項２に記載の情報処理プログラム。

【請求項4】

前記選択手順は、
対象物と、当該対象物を購入した利用者の購入履歴との関係性を学習した前記関係性モデルを用いて、前記撮影対象から前記広告対象を選択すること
を特徴とする請求項２に記載の情報処理プログラム。

【請求項5】

前記選択手順は、
前記撮影対象と所定の関係性を有する複数の前記広告対象のうち、前記画像に写っていない対象物を前記広告対象として選択すること
を特徴とする請求項１に記載の情報処理プログラム。

【請求項6】

前記特定手順は、
室内が撮影された画像から前記撮影対象を特定し、
前記選択手順は、
前記撮影対象に基づいて、前記室内にないものを前記広告対象として選択すること
を特徴とする請求項５に記載の情報処理プログラム。

【請求項7】

前記特定手順は、
撮像時刻が異なる複数の前記画像からそれぞれ前記撮影対象を特定し、
前記選択手順は、
前記撮像時刻が異なる複数の前記画像から特定されたそれぞれの前記撮影対象に基づいて、前記広告対象を選択すること
を特徴とする請求項１に記載の情報処理プログラム。

【請求項8】

前記選択手順は、
前記撮影対象に関係する新製品を前記広告対象として選択すること
を特徴とする請求項１に記載の情報処理プログラム。

【請求項9】

端末装置を用いて撮影された画像から撮影対象を特定する特定部と、
前記特定部によって特定された前記撮影対象と所定の関係性を有する広告対象を選択する選択部と、
指定された対象に関する広告を生成するよう学習された広告生成モデルを用いて、前記選択部によって選択された前記広告対象に関する広告を生成する生成部と
を備えることを特徴とする端末装置。

【請求項10】

端末装置が有するコンピュータが実行する情報処理方法であって、
前記端末装置を用いて撮影された画像から撮影対象を特定する特定工程と、
前記特定工程によって特定された前記撮影対象と所定の関係性を有する広告対象を選択する選択工程と、
指定された対象に関する広告を生成するよう学習された広告生成モデルを用いて、前記選択工程によって選択された前記広告対象に関する広告を生成する生成工程と
を含むことを特徴とする情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理プログラム、端末装置および情報処理方法に関する。

【背景技術】

【0002】

従来、インターネットを介した広告配信が盛んに行われている。広告配信に関する技術として、サーバに蓄積された利用者のログ情報から利用者にあわせた広告を配信する技術が開示されている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－０５１３９１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来技術では、利用者に対して適切な広告を提供することが困難になるという課題がある。近年では、個人情報を保護する観点から、利用者端末からサーバへ提供される利用者のログ情報に制限が設けられつつあり、利用者に対して価値が高い広告がどのような広告かをサーバ側で解析するのは困難になる。

【0005】

本発明は、上記に鑑みてなされたものであって、利用者に対して適切な広告対象の広告を提供することができる情報処理プログラム、端末装置および情報処理方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

上述した課題を解決し、目的を達成するために、本発明に係る情報処理プログラムは、端末装置が有するコンピュータに、前記端末装置を用いて撮影された画像から撮影対象を特定する特定手順と、前記特定手順によって特定された前記撮影対象と所定の関係性を有する広告対象を選択する選択手順と、指定された対象に関する広告を生成するよう学習された広告生成モデルを用いて、前記選択手順によって選択された前記広告対象に関する広告を生成する生成手順とを実行させる。

【発明の効果】

【0007】

本発明によれば、利用者に対して適切な広告対象の広告を提供することができる。

【図面の簡単な説明】

【0008】

【図1】図１は、実施形態に係る情報処理の一例を示す図である。

【図2】図２は、実施形態に係る広告対象の選択処理の概要を示す図である。

【図3】図３は、実施形態に係る情報提供装置の構成例を示すブロック図である。

【図4】図４は、実施形態に係る広告情報データベースの一例を示す図である。

【図5】図５は、実施形態に係る統計情報データベースの一例を示す図である。

【図6】図６は、実施形態に係る利用者端末の構成例を示すブロック図である。

【図7】図７は、実施形態に係るログ情報記憶部の一例を示す図である。

【図8】図８は、実施形態に係るカメラ画像記憶部の一例を示す図である。

【図9】図９は、実施形態に係る広告情報記憶部の一例を示す図である。

【図10】図１０は、実施形態に係る情報提供装置が実行する処理手順の一例を示すフローチャートである。

【図11】図１１は、実施形態に係る利用者端末が実行する処理手順の一例を示すフローチャートである。

【図12】図１２は、実施形態に係る利用者端末の機能を実現するコンピュータの一例を示すハードウェア構成図である。

【発明を実施するための形態】

【0009】

以下に、本願に係る情報処理プログラム、端末装置および情報処理方法を実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理プログラム、端末装置および情報処理方法が限定されるものではない。また、各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。

【0010】

〔１．情報処理の概要〕
図１は、実施形態に係る情報処理の一例を示す図であり、実施形態に係る情報処理プログラムは、図１に示す利用者端末１０によって実行される。

【0011】

図１に示す広告配信システムＳは、情報提供装置１と、利用者端末１０と、複数の広告主端末１００とを備える。情報提供装置１は、複数の広告主端末１００から受け付けた広告の配信依頼に基づいて各利用者端末１０へ依頼された広告に関する広告情報を提供する。例えば、情報提供装置１は、クラウドやサーバ等によって実現される。

【0012】

また、図１に示す利用者端末１０は、利用者Ｕが保有する端末装置であり、例えば、スマートフォン等である。図１に示すように、利用者端末１０は、広告生成モデルと、広告評価モデルを有する。広告生成モデルは、指定された対象の広告を生成するよう学習が行われたモデルであり、例えば、画像生成ＡＩ等である。例えば、広告生成モデルは、入力されたテキスト情報等（例えば、コンテキスト）に応じたＡＩ画像を生成する。また、広告評価モデルは、利用者Ｕによる広告の評価を推定するように学習が行われたモデルである。

【0013】

利用者端末１０は、広告生成および広告評価に関する双方の処理を利用者端末１０内で繰り返し実行する。これにより、利用者端末１０は、利用者Ｕに対して提供する広告の最適化を図ることができる。

【0014】

例えば、広告生成モデルと、広告評価モデルは、敵対的生成ネットワーク（ＧＡＮ；Generative Adversarial Networks）によって構成される。例えば、広告評価モデルの評価結果に基づいて、広告生成モデルを修正し、広告生成モデルの生成結果に基づいて、広告評価モデルが修正される。

【0015】

例えば、広告評価モデルの評価結果がより良くなるように広告生成モデルを修正し、広告生成モデルが生成したコンテンツがより厳しい評価になるように広告評価モデルを修正する。例えば、この場合、利用者Ｕが良いと評価した広告に対し、前回よりも低いスコアが付与されるように、より利用者Ｕの好み等を強く反映した評価になるように、広告評価モデルは修正される。このように、利用者端末１０は、オンデバイス学習を行うことで利用者Ｕに対して最適化された広告の提供が可能となる。

【0016】

例えば、広告評価モデルは、広告の提供タイミングをあわせて学習するようにしてもよい。例えば、同一の広告を複数のタイミングで提供し、利用者Ｕが良いと評価したタイミングと、利用者Ｕが悪いと評価したタイミングを学習する。また、広告評価モデルは、例えば、広告生成モデルによって生成された各広告のスコアを随時算出し、算出したスコアが閾値を超えたタイミングで対応する広告を利用者へ提供するようにしてもよいし、あるいは、各広告に対して提供条件を予め設定しておき、当該提供条件を満たしたタイミングで対応する広告を提供するようにしてもよい。

【0017】

広告主端末１００は、各広告主の端末装置である。例えば、広告主は、広告主端末１００をそれぞれ操作し、情報提供装置１へ広告の配信依頼を行う（ステップＳ１）。

【0018】

ここで、配信依頼は、広告対象に関する情報、広告の素材となる素材情報、広告の傾向に関する傾向情報等を含む。素材情報は、企業名、商品名、ロゴ画像、商品画像などを含み、傾向情報は、広告のイメージや雰囲気に関する情報等を含む。また、後述するように、利用者端末１０は、カメラ画像等を用いて広告を生成することもでき、この場合の配信依頼には、広告対象と合成する画像の傾向を示す傾向情報が含まれる。

【0019】

情報提供装置１は、各広告主から取得した配信依頼に基づき、利用者端末１０に対して広告情報を提供する（ステップＳ２）。広告情報は、例えば、素材情報、広告の傾向情報などに関する情報が含まれる。利用者端末１０は、情報提供装置１から受け取った広告情報と、利用者端末１０が保有する利用者情報とに基づいて、広告生成モデルを用いて広告を生成する（ステップＳ３）。

【0020】

つづいて、利用者端末１０は、生成した広告について広告評価モデルを用いて評価する（ステップＳ４）。例えば、広告評価モデルは、利用者端末１０内に保持される各種利用者情報を用いて利用者Ｕを傾向やタイプ、広告の好み、効果の傾向などといった利用者Ｕの人物モデルを学習したモデルであり、利用者Ｕに対して訴求効果が高いと推定される広告のスコアが高くなるように学習されたモデルである。

【0021】

また、広告評価モデルは、例えば、広告提供前後の利用者情報の関係性に基づいて、利用者Ｕへ提供した広告ＡＤを評価することもできる。なお、広告評価モデルは、例えば、利用者端末１０の周囲環境に応じてスコアを更新することもできる。例えば、広告評価モデルは、周囲の気温が高い場合に、広告対象となるビールの広告に関するスコアを相対的に高い値へ更新する。

【0022】

そして、利用者端末１０は、例えば、広告に関するスコアが所定値を超えたタイミングで、利用者Ｕに対して広告ＡＤを提供する（ステップＳ５）。例えば、図１に示すように、広告ＡＤは、広告生成モデルによって生成されるＡＩ画像ＧやテキストＴおよび広告主から依頼を受けた素材画像Ｐが含まれる。なお、広告ＡＤは、画像形式の広告であってもよく、動画形式の広告であってもよい。また、広告ＡＤは、音楽が含まれるようにしてもよい。

【0023】

また、利用者端末１０は、利用者端末１０で撮影したカメラ画像を含む広告ＡＤを生成し、利用者Ｕへ提供することも可能である。この場合、各利用者端末１０にはそれぞれ異なるカメラ画像が保持されるので、各利用者端末１０ではそれぞれ異なるカメラ画像を用いて広告ＡＤを提供することができる。

【0024】

特に、カメラ画像を利用した広告ＡＤを提供する場合には、利用者Ｕの過去の体験や思い出等を絡めた広告ＡＤを提供することができるので、利用者Ｕにとってより身近な広告ＡＤを提供することができる。

【0025】

その後、利用者端末１０は、広告ＡＤ提供後に取得した利用者Ｕの行動履歴などのログ情報を用いて広告ＡＤのパフォーマンス計測を行う（ステップＳ６）。利用者端末１０は、広告ＡＤの提供前後で広告対象に対する利用者Ｕの行動の変化に応じて広告ＡＤのパフォーマンスを計測する。

【0026】

その後、利用者端末１０は、情報提供装置１が広告主に対し費用請求等に必要となる統計情報を情報提供装置１へ提供する（ステップＳ７）。例えば、統計情報は、広告ＡＤの特徴量に関する情報、パフォーマンス計測の結果など最低限の情報であり、利用者Ｕの個人を特定するようなセンシティブな情報を含まない。

【0027】

つまり、利用者端末１０は、利用者Ｕのログ情報など、センシティブな情報については情報提供装置１へ提供しない。これにより、利用者Ｕの個人情報を保護することができる。なお、広告ＡＤの特徴量は、広告ＡＤの特徴量を示す特徴ベクトルであるが、例えば、広告ＡＤの特徴を示すテキストであってもよい。

【0028】

情報提供装置１は、各利用者端末１０から取得した統計情報を集計することで、レポートを生成し（ステップＳ８）、各広告主端末１００へ生成したレポートを提供する（ステップＳ９）。

【0029】

例えば、レポートは、各広告ＡＤの特徴量の分布やその重心、各広告ＡＤのパフォーマンスに関するスコアの分布などに関する情報が含まれる。これにより、広告主は、各利用者端末１０で提供された広告ＡＤや、広告ＡＤのパフォーマンスに関する状況を把握することができる。

【0030】

次に、図２を用いて、実施形態に係る広告対象の選択処理の概要について説明する。図２は、実施形態に係る広告対象の選択処理の概要について説明する。ところで、上述の広告配信システムＳでは、様々な広告が各利用者端末１０で自動的に生成されることになる。

【0031】

この際、例えば、利用者端末１０には、利用者Ｕにとって訴求効果の高い、すなわち、利用者Ｕに望まれる広告対象を選択したうえで、当該広告対象に関する広告を生成することが望まれる。

【0032】

そこで、実施形態に係る利用者端末１０は、利用者端末１０で撮影されるカメラ画像から撮影対象を特定したうえで、当該撮影対象に応じた広告対象を選択する。具体的には、図２に示すように、利用者端末１０は、特定モデルおよび関係性モデルを用いて、広告対象を選択する。

【0033】

特定モデルは、利用者端末１０で撮影されたカメラ画像から撮影対象を特定するように学習されたモデルであり、関係性モデルは、関係性が高い対象同士の特徴を学習したモデルである。なお、各利用者端末１０は、情報提供装置１から特定モデルおよび関係性モデルをインストールすることができる。

【0034】

例えば、利用者端末１０は、特定モデルを用いて、利用者端末１０で撮影されたカメラ画像から撮影対象を特定する（ステップＳ１１）。撮影対象は、カメラ画像に写る対象物であり、１つのカメラ画像から特定する撮影対象は、１つであってもよく、２以上であってもよい。また、ここでのカメラ画像は、利用者Ｕによる操作によって撮影されたカメラ画像であってもよく、利用者端末１０がバックグランドで自動的に撮影したカメラ画像であってもよい。また、利用者端末１０は、複数のカメラ画像からそれぞれ撮影対象を特定するようにしてもよい。

【0035】

例えば、利用者端末１０は、特定モデルを用いて、室内が撮影された複数のカメラ画像から室内の間取りや、室内にある電化製品、インテリア等を特定するようにしてもよい。すなわち、利用者端末１０は、利用者Ｕの空間全体（例えば、住居）を把握するように撮影対象を特定するようにしてもよい。

【0036】

つづいて、利用者端末１０は、関係性モデルを用いて、特定した撮影対象と所定の関係性にある広告対象を選択する（ステップＳ１２）。一例として、カメラ画像から特定された撮影対象がペットであり、かつ、ペット用品がカメラ画像に写っていない場合、当該ペット用品を広告対象として選択する。

【0037】

その後、利用者端末１０は、広告生成モデルを用いて、ステップＳ１２にて選択した広告対象に関する広告を生成することになる（ステップＳ１３）。このように、利用者端末１０は、特定モデルおよび関係性モデルを用いて、広告対象を選択し、選択した広告対象の広告を生成する。

【0038】

つまり、実施形態に係る利用者端末１０では、利用者端末１０で撮影されたカメラ画像から利用者Ｕのニーズにあった広告対象を選択する。これにより、実施形態に係る利用者端末１０では、利用者に対して適切な広告を提供することができる。

【0039】

〔２．情報提供装置の構成例〕
次に、図３を用いて、実施形態に係る情報提供装置１の構成例について説明する。図２は、実施形態に係る情報提供装置１の構成例を示すブロック図である。図２に示すように、実施形態に係る情報提供装置１は、通信部２、記憶部３および制御部４を備える。

【0040】

通信部２は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部２は、４Ｇ（Generation）、５Ｇ、ＬＴＥ（Long Term Evolution）、ＷｉＦｉ（登録商標）若しくは無線ＬＡＮ（Local Area Network）等といった各種の無線通信網若しくは各種の有線通信網といったネットワークを介して、外部装置との間で情報の送受信を行う。

【0041】

記憶部３は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。また、記憶部３は、広告情報データベース３１、統計情報データベース３２、モデルデータベース３３を有する。

【0042】

広告情報データベース３１は、広告情報を記憶するデータベースである。図４は、実施形態に係る広告情報データベース３１の一例を示す図である。図４に示すように、広告情報データベース３１は、「広告主ＩＤ」、「広告対象」、「素材情報」、「傾向情報」、「ターゲット情報」などといった項目の情報を互いに対応付けて記憶する。

【0043】

「広告主ＩＤ」は、広告主を識別するための識別子である。「広告対象」は、広告の対象となる店舗、ブランド、イベント、商品またはサービスである。「素材情報」は、広告の素材に関する情報である。例えば、素材情報は、商品画像、広告主のロゴ画像やキャラクター画像、広告に起用された著名人の画像、広告に使用する楽曲などを含む。

【0044】

「傾向情報」は、広告主が指定した広告の傾向に関する情報である。例えば、傾向情報は、広告主が広告に求めるイメージや、広告主のブランドイメージなどを含む。「ターゲット情報」は、広告主が指定した広告のターゲットとなる利用者層に関する情報である。

【0045】

図３の説明に戻り、統計情報データベース３２について説明する。統計情報データベース３２は、統計情報を記憶するデータベースである。図５は、実施形態に係る統計情報データベース３２の一例を示す図である。

【0046】

図５に示すように、実施形態に係る統計情報データベース３２は、「広告対象」、「提供回数」、「ＫＰＩ（Key Performance Indicator）」、「広告特徴量」などといった項目の情報を互いに対応付けて記憶する。

【0047】

「広告対象」は、図４に示す「広告対象」と同様に、広告の対象となる商品またサービスである。「提供回数」は、対応する広告対象に関する広告が利用者端末１０で提供された回数である。

【0048】

「ＫＰＩ」は、広告ＡＤによる対応する広告対象のパフォーマンスを示す指標であり、例えば、各利用者端末１０で提供された広告ＡＤのパフォーマンスの統計値である。「広告特徴量」は、各利用者端末１０で提供された広告ＡＤの特徴量の統計値である。

【0049】

図３の説明に戻り、モデルデータベース３３について説明する。モデルデータベース３３は、各利用者端末１０へ提供する各モデルを格納するデータベースである。例えば、モデルデータベース３３は、広告生成モデル、広告評価モデル、特定モデル、関係性モデルなど、各利用者端末１０で広告を生成する際に必要となるモデルを格納する。

【0050】

また、モデルデータベース３３は、広告主から依頼された配信依頼の依頼内容からＫＰＩや、各利用者端末１０で生成される広告を推定する推定モデルを格納する。例えば、推定モデルは、仮想的に設定した複数のペルソナを用いて、配信依頼の依頼内容に基づいてＫＰＩを推定するシミュレーションモデルである。また、推定モデルは、依頼内容と、実際に利用者端末１０で提供された広告ＡＤの特徴量の関係性を学習したモデルであってもよい。この場合、推定モデルは、依頼内容から各利用者端末１０で提供される広告ＡＤを推定するシミュレーションモデルとなる。

【0051】

次に、制御部４について説明する。制御部４は、例えば、コントローラ（controller）であり、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、情報提供装置１内部の記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。

【0052】

図３に示すように、制御部４は、受付部４１と、取得部４２と、学習部４３と、生成部４４と、提供部４５とを有する。

【0053】

受付部４１は、広告主端末１００から広告に関する配信依頼を受け付ける。例えば、受付部４１は、広告主端末１００から広告に関する配信依頼に関する情報を広告情報データベース３１に登録する。

【0054】

取得部４２は、各利用者端末１０から広告ＡＤに関する統計情報を取得し、統計情報データベース３２に登録する。統計情報は、広告ＡＤの広告対象に関する情報、広告対象毎の提供回数に関する情報、各広告ＡＤの特徴に関する情報、各広告の効果に関する情報等を含む。

【0055】

学習部４３は、利用者端末１０に提供する各モデルの学習を行う。例えば、学習部４３、特定モデル、関係性モデル、広告生成モデル、広告評価モデルについて学習を行う。例えば、学習部４３は、撮影対象がラベル付けされたカメラ画像を正解データとして学習を行うことで、特定モデルの学習を行う。

【0056】

また、学習部４３は、関係性が高い対象同士の特徴を学習した関係性モデルの学習を行う。例えば、関係性モデルは、同一の利用者Ｕによって撮影された２つの対象のうち、いずれか一方を示す情報が入力されると、他方の情報を出力するように学習されたモデルである。

【0057】

一例として、学習部４３は、関係性モデルに対して野球のグローブを入力すると、野球のボールが出力されることになり、ボールを入力すると、グローブが出力されるように関係性モデルの学習を行うことになる。

【0058】

なお、関係性モデルは、例えば、対象物と、当該対象物を購入した利用者の購入履歴との関係性を学習したモデルであってもよい。例えば、関係性モデルは、対象物と、利用者Ｕが対象物を購入後した商品、あるいは、対象物と同時に購入した商品との関係性を学習したモデルであってもよい。つまり、この場合、関係性モデルに対して対象物に関する情報を入力すると、利用者が購入する可能性の高い商品に関する情報が出力されることになる。

【0059】

また、例えば、関係性モデルは、入力される対象物と出力する対象物とが同一種別であってもよく、異なる種別であってもよい。例えば、入力される対象物と出力する対象物が同一種別である場合の例として、対象物と関係する新製品に関する情報を出力し、入力される対象物と出力する対象物と異なる種別である場合の例として、観光地に対して当該観光地の名産品等を出力する。

【0060】

また、関係性モデルは、複数の対象物に関する情報を入力した際に、１または複数の対象物に関する情報を出力するモデルであってもよい。一例として、関係性モデルは、バットとボールに関する情報が入力された場合に、グローブやスパイクに関する情報を出力するように学習されたモデルであってもよい。また、例えば、関係性モデルは、室内に特化して学習されたモデルであってもよい。この場合、例えば、関係性モデルは、室内にある家具、家電、インテリア等に関する情報が入力されると、その部屋に足りないものが出力されるモデルであってもよい。

【0061】

生成部４４は、各広告主から依頼された広告依頼に対して、各利用者端末１０で生成される広告ＡＤを生成する。例えば、生成部４４は、広告生成モデルに対し、広告依頼によって指定される広告素材および利用者情報を入力することで、広告ＡＤを生成する。この際、生成部４４は、利用者情報に関する各種パラメータを適宜変更したうえで、広告ＡＤを利用者属性ごとの広告ＡＤを生成する。

【0062】

生成部４４によって生成された広告ＡＤは、提供部４５を介して、広告主端末１００へ提供される。これにより、広告主は、どのような広告ＡＤが各利用者端末１０で提供されるかを予め把握することが可能となる。

【0063】

また、生成部４４は、広告主に対して広告ＡＤの提供結果に関するレポート等を生成する。例えば、生成部４４は、統計情報データベース３２に格納された各種統計情報に基づいて、各広告主宛のレポートを生成する。

【0064】

例えば、生成部４４は、広告主毎に広告ＡＤの提供回数、ＫＰＩ、広告特徴量などに関する情報を含むレポートを生成する。生成部４４によって生成されたレポートは、提供部４５を介して対応する広告主端末１００へ提供される。

【0065】

提供部４５は、各利用者端末１０や広告主端末１００に対し各種情報を提供する。例えば、提供部４５は、利用者端末１０に対して各モデルを提供し、その後、広告主による依頼に応じて広告情報を提供する。この際、提供部４５は、すべての利用者端末１０に対し共通の広告情報を提供するようにしてもよく、利用者端末１０それぞれで異なる広告情報を提供するようにしてもよい。例えば、広告対象が酒類である場合、提供部４５は、成人を超えた利用者Ｕの利用者端末１０に対し対応する広告情報を提供する。なお、広告対象の取捨選択については、利用者端末１０側で行うようにしてもよい。

【0066】

また、提供部４５は、広告主端末１００に対して生成部４４によって生成された各種情報を提供する。例えば、提供部４５は、広告主による配信依頼時においては、利用者属性毎の広告ＡＤに関する情報を提供する。

【0067】

また、提供部４５は、利用者端末１０によって広告ＡＤの提供後においては、生成部４４によって生成されたレポートを広告主端末１００に対して提供する。これにより、広告主は、事後的に広告ＡＤの効果や、広告ＡＤを把握することができる。

【0068】

〔３．利用者端末の構成例〕
次に、図６を用いて、利用者端末１０の構成例について説明する。図６は、実施形態に係る利用者端末１０の構成例を示すブロック図である。図６に示すように、実施形態に係る利用者端末１０は、通信部１１０、記憶部１２０、制御部１３０を備える。また、利用者端末１０は、表示部１１１、操作部１１２、カメラ１１３、スピーカ１１４、センサ群１１５を有する。

【0069】

通信部１１０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部１１０は、４Ｇ（Generation）、５Ｇ、ＬＴＥ（Long Term Evolution）、ＷｉＦｉ（登録商標）若しくは無線ＬＡＮ（Local Area Network）等といった各種の無線通信網若しくは各種の有線通信網といったネットワークを介して、外部装置との間で情報の送受信を行う。

【0070】

表示部１１１は、制御部１３０から入力される画像あるいは映像を表示する。操作部１１２は、利用者Ｕから各種操作を受け付ける。表示部１１１および操作部１１２は、例えば、タッチパネルディスプレイによって実現される。

【0071】

カメラ１１３は、利用者端末１０に搭載されたカメラである。なお、カメラ１１３は、例えば、画面の外側を撮影するアウトカメラおよび画面の内側を撮影するインカメラが含まれる。

【0072】

スピーカ１１４は、制御部１３０から入力される音声を出力する。センサ群１１５は、利用者端末１０に搭載された各種センサを含む。例えば、センサ群には、照度センサ、気圧センサ、温度センサ、歩数センサ、Ｇセンサ、集音センサ、Ｌｉｄａｒ等が含まれる。なお、利用者端末１０は、例えば、利用者Ｕが装着するウェラブルデバイスに搭載されたセンサと連携（ペアリング）し、利用者Ｕの心拍、体温、ストレス、睡眠状況などに関する各種情報を取得するようにしてもよい。

【0073】

記憶部１２０は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。また、記憶部１２０は、ログ情報記憶部１２１、カメラ画像記憶部１２２、素材情報記憶部１２３、特定モデル記憶部１２４、関係性モデル記憶部１２５、広告生成モデル記憶部１２６、広告情報記憶部１２７および広告評価モデル記憶部１２８を有する。

【0074】

ログ情報記憶部１２１は、利用者Ｕの行動履歴等に関する各種ログ情報を記憶する。図７は、実施形態に係るログ情報記憶部１２１の一例を示す図である。図７に示すように、ログ情報記憶部１２１は、「日時」、「ログ情報」、「位置情報」、「環境情報」などといった項目の情報を互いに対応付けて記憶する。

【0075】

「日時」は、利用者Ｕがログ情報に対応する行動を行った日時である。「ログ情報」は、利用者Ｕの行動履歴である。ここでログ情報は、例えば、利用者Ｕによる利用者端末１０の操作履歴や閲覧履歴等を含む。また、ログ情報は、例えば、利用者Ｕによる行動履歴であってもよい。利用者端末１０は、カメラ１１３からカメラ画像を取得し、当該カメラ画像を解析することで利用者Ｕの行動履歴を推定することができる。また、ログ情報は、利用者端末１０を用いたキャッシュレス決済（例えばＱＲコード（登録商標）決済）などの決済アプリの決済履歴を含むようにしてもよい。

【0076】

「位置情報」は、利用者Ｕが対応する行動を行った場所に関する情報である。「環境情報」は、利用者Ｕが対応する行動を行った際の周辺環境に関する情報である。例えば、環境情報は、気温、湿度、照度、気圧などといった情報、周囲で流れる音声（音楽や会話の内容）、家電製品（例えば、クーラーなどの空調機器）の動作状況に関する情報等を含む。なお、家電製品の動作状況に関する情報は、例えば、家電製品と連携するスマートスピーカから取得することができる。

【0077】

また、利用者端末１０は、カメラ１１３で周囲を撮影することで、環境情報を推定するようにしてもよい。例えば、利用者端末１０は、利用者Ｕの姿勢、衣服、持ち物、周囲の人物、周囲の物等を推定し、環境情報に含めるようにしてもよい。

【0078】

図６の説明に戻り、カメラ画像記憶部１２２について説明する。カメラ画像記憶部１２２は、カメラ１１３によって撮影されたカメラ画像を記憶する。図８は、実施形態に係るカメラ画像記憶部１２２の一例を示す図である。

【0079】

図８に示すように、カメラ画像記憶部１２２は、「画像ＩＤ」、「撮影日時」、「撮影場所」、「画像情報」、「被写体情報」、「撮影環境」などといった項目の情報を互いに対応付けて記憶する。

【0080】

「画像ＩＤ」は、各カメラ画像を識別するための識別子である。「撮影日時」および「撮影場所」は、対応するカメラＩＤによって識別されるカメラ画像の撮影日時および撮影場所である。

【0081】

「画像情報」は、対応するカメラＩＤによって識別されるカメラ画像の画像情報である。「被写体情報」は、対応するカメラＩＤによって識別されるカメラ画像に写る被写体に関する情報である。なお、被写体情報は、撮影対象の一例に対応する。

【0082】

「撮影環境」は、対応するカメラＩＤによって識別されるカメラ画像が撮影された際の環境に関する情報である。例えば、「環境情報」は、カメラ画像を撮影時の周辺環境に関する情報であり、気温、湿度、照度、気圧などといった情報、周囲で流れる音声（音楽や会話の内容）などに関する情報等を含む。

【0083】

図６の説明に戻り、素材情報記憶部１２３について説明する。素材情報記憶部１２３は、素材情報を記憶する。例えば、素材情報は、利用者端末１０で広告ＡＤを生成する際に素材となる情報であり、各広告対象の商品画像、広告主のロゴ画像やキャラクター画像、広告に起用された著名人の画像、広告に使用する楽曲などを含む。

【0084】

特定モデル記憶部１２４は、特定モデルを記憶する。特定モデルは、利用者端末１０で撮影されたカメラ画像から撮影対象を特定するためのモデルである。

【0085】

関係性モデル記憶部１２５は、関係性モデルを記憶する。関係性モデルは、撮影対象と、所定の関係性を有する広告対象とのそれぞれの特徴を学習したモデルである。例えば、関係性モデルは、同一の利用者によって撮影された画像に写る複数の対象物のうち、いずれか一つの対象物が入力された場合に、他の対象物が出力されるように学習されたモデル、対象物と、当該対象物を購入した利用者の購入履歴との関係性を学習したモデルである。

【0086】

広告生成モデル記憶部１２６は、広告生成モデルを記憶する。広告生成モデルは、利用者端末１０が保持する利用者情報と、指定された対象の広告を生成するよう学習が行われたモデルである。なお、ここでの利用者情報は、例えば、ログ情報記憶部１２１に記憶されたログ情報に対応する。

【0087】

広告情報記憶部１２７は、広告情報を記憶する。広告情報は、広告生成モデルによって生成された広告に関する情報や、対応する広告の評価に関する情報を含む。図９は、実施形態に係る広告情報記憶部１２７の一例を示す図である。

【0088】

図９に示すように、広告情報記憶部１２７は、「広告ＩＤ」、「広告対象」、「広告種別」、「広告情報」、「特徴量」、「提供条件」、「評価情報」などといった項目の情報を互いに対応付けて記憶する。

【0089】

「広告ＩＤ」は、各広告ＡＤを識別するための識別子である。「広告対象」は、対応する広告ＩＤによって識別される広告ＡＤの広告対象である。「広告種別」は、対応する広告ＩＤによって識別される広告ＡＤの種別である。例えば、「広告種別」は、バナー広告、テキスト広告、検索連動広告などを含む。

【0090】

「広告情報」は、対応する広告ＩＤによって識別される広告ＡＤの広告情報（データ本体）である。「特徴量」は、対応する広告ＩＤによって識別される広告ＡＤの特徴量であり、例えば、特徴量に応じたベクトルや広告ＡＤの特徴を示すテキストである。

【0091】

「提供条件」は、対応する広告ＩＤによって識別される広告ＡＤを利用者Ｕへ提供する条件である。「評価情報」は、対応する広告ＩＤによって識別される広告ＡＤに対する評価情報である。例えば、評価情報として、例えば、ＫＰＩなどの各種指標が用いられる。

【0092】

図６の説明に戻り、広告評価モデル記憶部１２８について説明する。広告評価モデル記憶部１２８は、広告評価モデルを記憶する。広告評価モデルは、広告生成モデルによって生成された広告ＡＤを評価するモデルである。

【0093】

次に、制御部１３０について説明する。制御部１３０は、例えば、コントローラ（controller）であり、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、利用者端末１０内部の記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。

【0094】

図６に示すように、制御部１３０は、受付部１３１と、特定部１３２と、選択部１３３と、処理部１３４と、提供部１３５とを有する。

【0095】

受付部１３１は、情報提供装置１から通信部１１０を介して各モデルに関する情報を取得する。各モデルは、特定モデル、関係性モデル、広告生成モデル、広告評価モデルを含む。

【0096】

また、受付部１３１は、情報提供装置１から通信部１１０を介して各広告情報を取得する。広告情報は、例えば、広告に使用する素材、広告のイメージ、広告を生成する際の生成条件（あるいは制約や禁止事項など）などに関する情報が含まれる。

【0097】

特定部１３２は、カメラ１１３によって撮影されるカメラ画像から撮影対象を特定する。例えば、特定部１３２は、カメラ画像を特定モデルに入力することで、カメラ画像に写る撮影対象を特定する。

【0098】

なお、特定部１３２は、たとえば、複数のカメラ画像から利用者Ｕの室内の状況を特定するようにしてもよい。例えば、室内の状況は、室内の家具、家電、インテリア、洋服、アクセサリー、書籍、ペット等を含む。なお、この場合、特定部１３２は、室内の状況を示すマップによって室内の状況を記憶するように、複数のカメラ画像から各対象物を特定するようにしてもよい。

【0099】

また、特定部１３２は、例えば、撮影時刻が異なるカメラ画像から対象物の遷移を特定するようにしてもよい。一例として、例えば、特定部１３２は、利用者が家具等の買換え、部屋のレイアウトの変更、衣類の衣替え等を過去のカメラ画像で特定した撮影対象から特定するようにしてもよい。

【0100】

選択部１３３は、特定部１３２によって特定された撮影対象と所定の関係性を有する広告対象を選択する。例えば、選択部１３３は、特定部１３２によって特定された撮影対象に関する情報を関係性モデルに入力することで、当該撮影対象と所定の関係性を有する広告対象を選択する。

【0101】

この際、選択部１３３は、関係性モデルの出力結果および素材情報記憶部１２３に登録された広告対象に基づいて広告対象を選択する。例えば、選択部１３３は、特定部１３２が撮影対象の特定を行ったカメラ画像に写っていない対象物を広告対象として選択する。この場合、選択部１３３は、利用者が持っていないものを広告対象として選択することになる。

【0102】

また、選択部１３３は、例えば、特定部１３２によって特定された室内の状況に基づいて、広告対象を選択するようにしてもよい。この場合、例えば、選択部１３３は、室内に足りないものを広告対象として選択する。また、選択部１３３は、撮影対象に関する新製品を広告対象として選択するようにしてもよい。

【0103】

処理部１３４は、広告生成モデルおよび広告評価モデルに関する各種処理を実行する。上述のように、広告生成モデルと、広告評価モデルは、敵対的生成ネットワーク（ＧＡＮ；Generative Adversarial Networks）によって構成される。

【0104】

この際、処理部１３４は、広告生成モデルを用いて、選択部１３３によって選択された広告対象の広告ＡＤが生成する。また、広告生成モデルは、ＡＩ画像を生成したうえで、広告ＡＤを生成するが、カメラ画像を用いた広告ＡＤを生成することも可能である。

【0105】

また、処理部１３４は、広告ＡＤ提供後のログ情報に基づいて、広告ＡＤのパフォーマンスを評価する。例えば、広告ＡＤのパフォーマンスは、ＫＰＩなどの各種指標に基づいて行われる。

【0106】

提供部１３５は、広告生成モデルによって生成された広告ＡＤを利用者Ｕに対して提供する。統計情報は、利用者Ｕへ提供した広告ＡＤの特徴量に関する情報、パフォーマンス計測の結果など最低限の情報であり、利用者Ｕの個人を特定するようなセンシティブな情報を含まない。

【0107】

つまり、提供部１３５は、利用者Ｕへ提供した広告ＡＤに関する最低限の情報のみを統計情報として情報提供装置１へ提供することで、利用者Ｕの個人情報の保護を図ることができる。

【0108】

〔４．処理フロー〕
次に、図１０を用いて、実施形態に係る情報提供装置１が実行する処理手順について説明する。図１０は、実施形態に係る情報提供装置１が実行する処理手順の一例を示すフローチャートである。

【0109】

図１０に示すように、まず、情報提供装置１は、広告主端末１００から広告に関する配信依頼を受け付ける（ステップＳ１０１）。つづいて、情報提供装置１は、各利用者端末１０へ広告情報を提供する（ステップＳ１０２）。

【0110】

つづいて、情報提供装置１は、利用者端末１０から広告ＡＤに関する統計情報を収集し（ステップＳ１０３）、収集した統計情報に基づいて各広告主宛のレポートを生成する（ステップＳ１０４）。

【0111】

そして、情報提供装置１は、各広告主宛に生成したレポートを対応する広告主端末１００に対して提供し（ステップＳ１０５）、処理を終了する。

【0112】

次に、図１１を用いて、利用者端末１０が実行する処理手順について説明する。図１１は、実施形態に係る利用者端末１０が実行する処理手順の一例を示すフローチャートである。

【0113】

図１１に示すように、利用者端末１０は、カメラ１１３によって撮影されたカメラ画像を取得する（ステップＳ２０１）。つづいて、利用者端末１０は、カメラ画像から撮影対象を特定する（ステップＳ２０２）。

【0114】

つづいて、利用者端末１０は、特定した撮影対象に基づいて、広告対象を選択し（ステップＳ２０３）、当該広告対象に関する広告ＡＤを生成する（ステップＳ２０４）。つづいて、利用者端末１０は、生成した広告ＡＤを利用者Ｕに対して提供（表示）する（ステップＳ２０５）。そして、利用者端末１０は、その後のログ情報に基づいて広告ＡＤを評価して（ステップＳ２０６）、処理を終了する。

【0115】

〔５．変形例〕
上述した実施形態では、利用者端末１０で、利用者Ｕへ提供する広告ＡＤを生成する場合について説明したがこれに限定されるものではない。例えば、利用者端末１０は、本願発明の手法を用いて、動画などの各種コンテンツを生成するようにしてもよい。

【0116】

〔６．効果〕
上述した実施形態に係る情報処理プログラムは、端末装置が有するコンピュータに、端末装置を用いて撮影された画像から撮影対象を特定する特定手順と、特定手順によって特定された撮影対象と所定の関係性を有する広告対象を選択する選択手順と、指定された対象に関する広告を生成するよう学習された広告生成モデルを用いて、選択手順によって選択された広告対象に関する広告を生成する生成手順とを実行させる。

【0117】

また、選択手順は、撮影対象と、所定の関係性を有する広告対象とのそれぞれの特徴を学習した関係性モデルを用いて、撮影対象から広告対象を選択する。また、選択手順は、同一の利用者によって撮影された画像に写る複数の対象物のうち、いずれか一つの対象物が入力された場合に、他の対象物が出力されるように学習された関係性モデルを用いて、撮影対象から広告対象を選択する。

【0118】

また、選択手順は、対象物と、当該対象物を購入した利用者の購入履歴との関係性を学習した関係性モデルを用いて、撮影対象から広告対象を選択する。また、選択手順は、撮影対象と所定の関係性を有する複数の前記広告対象のうち、画像に写っていない対象物を広告対象として選択する。

【0119】

また、特定手順は、室内が撮影された画像から撮影対象を特定し、選択手順は、撮影対象に基づいて、室内にないものを広告対象として選択する。また、特定手順は、撮像時刻が異なる複数の画像からそれぞれ撮影対象を特定し、選択手順は、撮像時刻が異なる複数の画像から特定されたそれぞれの撮影対象に基づいて、広告対象を選択する。また、選択手順は、撮影対象に関係する新製品を広告対象として選択する。

【0120】

上述した各処理のいずれかもしくは組合せにより、本願に係る情報処理プログラムは、利用者に対して適切な広告を提供することができる。

【0121】

〔７．ハードウェア構成〕
また、上述してきた実施形態に係る情報提供装置１や利用者端末１０は、例えば図１２に示すような構成のコンピュータ１０００によって実現される。図１２は、実施形態に係る利用者端末１０の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を有する。

【0122】

ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。

【0123】

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス１５００は、ネットワーク（通信ネットワーク）Ｎを介して他の機器からデータを受信してＣＰＵ１１００へ送り、ＣＰＵ１１００が生成したデータをネットワークＮを介して他の機器へ送信する。

【0124】

ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置（図１２では、出力装置および入力装置を総称して「入出力装置」と記載する）を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、生成したデータを入出力インターフェイス１６００を介して出力装置へ出力する。

【0125】

メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラムまたはデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

【0126】

例えば、コンピュータ１０００が実施形態に係る利用者端末１０として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部１３０の機能を実現する。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを記録媒体１８００から読み取って実行するが、他の例として、他の装置からネットワークＮを介してこれらのプログラムを取得してもよい。

【0127】

以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

【0128】

〔８．その他〕
また、上記実施形態及び変形例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

【0129】

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

【0130】

また、上述してきた実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

【0131】

また、上述してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、取得部は、取得手段や取得回路に読み替えることができる。

【符号の説明】

【0132】

１ 情報提供装置
１０ 利用者端末
３１ 広告情報データベース
３２ 統計情報データベース
３３ モデルデータベース
４１ 受付部
４２ 取得部
４３ 学習部
４４ 生成部
４５ 提供部
１２１ ログ情報記憶部
１２２ カメラ画像記憶部
１２３ 素材情報記憶部
１２４ 特定モデル記憶部
１２５ 関係性モデル記憶部
１２６ 広告生成モデル記憶部
１２７ 広告情報記憶部
１２８ 広告評価モデル記憶部
１３０ 制御部
１３１ 受付部
１３２ 特定部
１３３ 選択部
１３４ 処理部
１３５ 提供部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】