特開 2024-132374 情報処理装置、情報処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024132374

(43)【公開日】2024-10-01

(54)【発明の名称】情報処理装置、情報処理方法、及びプログラム

(51)【国際特許分類】

   G06T 7/10 20170101AFI20240920BHJP

   G06T 7/70 20170101ALI20240920BHJP

   G06T 7/00 20170101ALI20240920BHJP

   G06T 7/60 20170101ALI20240920BHJP

【ＦＩ】

G06T7/10

G06T7/70 B

G06T7/00 650A

G06T7/00 640

G06T7/60 200J

G06T7/00 350B

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2023043112

(22)【出願日】2023-03-17

(71)【出願人】

【識別番号】500257300

【氏名又は名称】ＬＩＮＥヤフー株式会社

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100154852

【弁理士】

【氏名又は名称】酒井 太一

(74)【代理人】

【識別番号】100181124

【弁理士】

【氏名又は名称】沖田 壮男

(74)【代理人】

【識別番号】100194087

【弁理士】

【氏名又は名称】渡辺 伸一

(72)【発明者】

【氏名】土井 賢治

(72)【発明者】

【氏名】田中 智大

(72)【発明者】

【氏名】大塚 雄也

(72)【発明者】

【氏名】落合 真也

(72)【発明者】

【氏名】二宮 一浩

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA18

5L096CA01

5L096DA01

5L096EA07

5L096FA05

5L096FA67

5L096FA69

5L096HA11

(57)【要約】      （修正有）

【課題】画像上において対象物の領域を精度よくセグメンテーションすることで、アノテーションを効果的に行うことができる情報処理装置、情報処理方法、及びプログラムを提供することである。
【解決手段】情報処理装置１００（情報提供装置）は、上空から地表面が撮像された画像上において対象物の領域を検出する領域検出部と、対象物の領域の向きを推定する向き推定部と、推定した向きに基づいて、対象部の領域を整形する画像処理部と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

上空から地表面が撮像された画像上において対象物の領域を検出する検出部と、
前記領域の向きを推定する推定部と、
前記向きに基づいて、前記領域を整形する画像処理部と、
を備える情報処理装置。

【請求項2】

前記対象物は、横断歩道であり、
前記検出部は、前記画像上において前記横断歩道の領域を検出し、
前記推定部は、歩行者が前記横断歩道を横断する方向である第１方向と、前記横断歩道として道路上に描かれた白線の長手方向である第２方向とを推定し、
前記画像処理部は、前記第１方向及び前記第２方向に基づいて、前記横断歩道の領域を整形する、
請求項１に記載の情報処理装置。

【請求項3】

前記横断歩道の領域は、４辺からなる四角形状の領域であり、
前記画像処理部は、前記４辺のうち第１の対辺の組みが前記第１方向と平行になり、かつ前記４辺のうち第２の対辺の組みが前記第２方向と平行になるように前記四角形状の領域を整形する、
請求項２に記載の情報処理装置。

【請求項4】

前記検出部は、第１機械学習モデルを用いて、前記画像上において前記対象物の領域を検出し、
前記第１機械学習モデルは、あるトレーニング対象画像に対して、前記トレーニング対象画像上において検出されるべき正解の前記対象物の領域が対応付けられた第１トレーニングデータセットに基づいて学習された機械学習モデルである、
請求項１又は２に記載の情報処理装置。

【請求項5】

前記推定部は、第２機械学習モデルを用いて、検出された前記領域が前記画像から切り出された画像であるクロップド画像上において前記領域の向きを推定し、
前記第２機械学習モデルは、あるトレーニング対象画像から前記対象物の領域が切り出された画像であるトレーニング対象のクロップド画像に対して、前記トレーニング対象のクロップド画像上において推定されるべき正解の前記対象物の領域の向きが対応付けられた第２トレーニングデータセットに基づいて学習された機械学習モデルである、
請求項１又は２に記載の情報処理装置。

【請求項6】

ユーザの端末装置と通信する通信部と、
整形された前記対象物の領域がアノテーションとして付与された前記画像を前記通信部を介して前記端末装置に送信する通信制御部と、を更に備える、
請求項１又は２に記載の情報処理装置。

【請求項7】

コンピュータを用いた情報処理方法であって、
上空から地表面が撮像された画像上において対象物の領域を検出すること、
前記領域の向きを推定すること、
前記向きに基づいて、前記領域を整形すること、
を含む情報処理方法。

【請求項8】

コンピュータに実行させるためのプログラムであって、
上空から地表面が撮像された画像上において対象物の領域を検出すること、
前記領域の向きを推定すること、
前記向きに基づいて、前記領域を整形すること、
を含むプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法、及びプログラムに関する。

【背景技術】

【0002】

機械学習により、画像上において所望の対象物を検出するというアノテーションに関する技術が知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９－４６０９４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら従来の技術では、対象物の領域のセグメンテーションの精度が不十分であり、その結果、検出された対象物をアノテーションとして画像に付与するのが効果的でない場合があった。

【0005】

本発明は、このような事情が考慮されたものであり、画像上において対象物の領域を精度よくセグメンテーションすることで、アノテーションを効果的に行うことができる情報処理装置、情報処理方法、及びプログラムを提供することを目的の一つとする。

【課題を解決するための手段】

【0006】

本発明の一態様は、上空から地表面が撮像された画像上において対象物の領域を検出する検出部と、前記領域の向きを推定する推定部と、前記向きに基づいて、前記領域を整形する画像処理部と、を備える情報処理装置である。

【発明の効果】

【0007】

本発明の一態様によれば、画像上において対象物の領域を精度よくセグメンテーションすることで、アノテーションを効果的に行うことができる。

【図面の簡単な説明】

【0008】

【図1】実施形態に係る情報処理装置１００の構成の一例を表す図である。

【図2】実施形態に係る処理部１１０の一連の処理の流れを示すフローチャートである。

【図3】第１機械学習モデルＭＤＬ１を用いて横断歩道の領域を検出する方法を説明するための図である。

【図4】第２機械学習モデルＭＤＬ２を用いて各種向きを推定する方法を説明するための図である。

【図5】横断歩道の領域を整形する方法を説明するための図である。

【図6】アノテーションが付与された衛星画像の一例を表す図である。

【図7】実施形態の情報処理装置１００のハードウェア構成の一例を示す図である。

【発明を実施するための形態】

【0009】

以下、図面を参照し、本発明の情報処理装置、情報処理方法、及びプログラムの実施形態について説明する。

【0010】

［概要］
本実施形態の一態様の情報処理装置は、上空から地表面が撮像された画像上において対象物の領域を検出するとともに、対象物の領域の向きを推定する。

【0011】

上空から地表面が撮像された画像は、例えば、衛星画像（衛星写真）、航空画像（航空写真）、空中画像（空中写真）などである。

【0012】

画像上において検出される対象物は、ユーザに提供されるサービスやアプリ―ションの種類に応じて任意に決定することができる。例えば、ユーザに対して衛星画像や航空画像などを地図データとして提供する場合、それら画像上に写るあらゆるものが対象物となり得る。より具体的には、地図データを用いてユーザを目的地までナビゲーションする場合、目的地までの経路上に存在する横断歩道や信号機、スクールゾーン、踏切などの交通規制設置物が対象物として選択されてよい。以下、一例として対象物が「横断歩道」であるものとして説明する。

【0013】

なお、衛星画像や航空画像などの地図データが土砂くずれや河川氾濫といった自然災害の防災に利用される場合、それら災害を引き起こし得るもの（例えば森林を伐採して設置された太陽光パネルなど）が対象物として選択されてもよい。

【0014】

情報処理装置は、画像上において対象物（例えば横断歩道）の領域を検出し、かつ対象物の領域の向きを推定すると、推定された向きに基づいて対象物の領域を整形する。このように、対象物（例えば横断歩道）の領域を整形することでセグメンテーションの精度が向上する。この結果、横断歩道などの対象物を衛星画像などにアノテーションとして付与する際に、そのアノテーションを効果的に行うことができる。

【0015】

［情報処理装置］
図１は、実施形態に係る情報処理装置１００の構成の一例を表す図である。例えば、情報処理装置１００は、ユーザの端末装置と情報の送受信を行うウェブサーバやアプリケーションサーバである。

【0016】

ユーザの端末装置は、スマートフォンやパーソナルコンピュータ、タブレット端末などの通信機能と表示機能を有するコンピュータ装置である。具体的には、端末装置は、ネットワークＮＷを介してコンテンツ提供装置５０などの外部装置を通信するための通信インタフェースと、ディスプレイと、ＧＮＳＳ（Global Navigation Satellite System）受信機とを備える。ネットワークＮＷは、インターネットやＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、セルラー網などを含む。

【0017】

通信インタフェースは、例えば、ＮＩＣ（Network Interface Card）等のネットワークカード、無線通信モジュールを含む。ディスプレイは、例えば、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro Luminescence）ディスプレイ等を含む。これらディスプレイには、ユーザからの各種の入力操作を受け付けるためのＧＵＩ（Graphical User Interface）が表示される。ＧＮＳＳ受信機は、端末装置の位置を測位する。

【0018】

更に、端末装置は、ＣＰＵ（Central Processing Unit）などのプロセッサを備えており、そのＣＰＵがＵＡ（User Agent）を実行することで、各種コンテンツがディスプレイに表示される。

【0019】

情報処理装置１００は、ユーザの端末装置上においてウェブブラウザ又はアプリケーションがＵＡとして起動され、そのＵＡからリクエストが送信されると、そのリクエストに対するレスポンスとして、各種コンテンツを端末装置に提供する。コンテンツには、例えば、横断歩道などの対象物がアノテーションとして付与された衛星画像などが含まれる。

【0020】

図示のように情報処理装置１００は、通信部１０２と、処理部１１０と、記憶部１３０とを備える。

【0021】

通信部１０２は、例えば、ネットワークＮＷに接続するためのネットワークカード等の通信インターフェースである。

【0022】

処理部１１０は、取得部１１２と、領域検出部１１４と、向き推定部１１６と、画像処理部１１８と、通信制御部１２０と、学習部１２２とを備える。これらの構成要素は、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。処理部１１０の構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。

【0023】

記憶部１３０は、例えば、ＨＤＤ（Hard Disc Drive）、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などの記憶装置により実現される。記憶部１３０には、プロセッサによって実行されるファームウェアやアプリケーションプログラムなどが格納される。プログラムは、予め記憶部１３０に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることで記憶部１３０にインストールされてもよい。

【0024】

また記憶部１３０には、衛星画像や航空画像を含む地図データ１３２や、トレーニングデータセット１３４が記憶されている。地図データ１３２には、衛星画像や航空画像といった上空から地表面を撮像した各種画像が含まれる。トレーニングデータセット１３４は、後述の機械学習モデルを学習するために用意されたデータセット（入力データと正解の出力データの組み）である。

【0025】

［情報処理装置の処理フロー］
以下、フローチャートに即して処理部１１０の処理内容についてフローチャートを用いて説明する。図２は、実施形態に係る処理部１１０の一連の処理の流れを示すフローチャートである。本フローチャートの処理は、例えば、所定の周期で繰り返し実行されてよい。

【0026】

まず、取得部１１２は、衛星画像ＩＭＧ１を取得する（ステップＳ１００）。例えば、記憶部１３０に地図データ１３２として衛星画像ＩＭＧ１が記憶されている場合、取得部１１２は、記憶部１３０から衛星画像ＩＭＧ１を読み出して取得してよい。また、取得部１１２は、通信部１０２を介して外部サーバ（例えばデータソースサーバ）から衛星画像ＩＭＧ１を取得してもよい。また、例えば、情報処理装置１００のドライブ装置に、衛星画像ＩＭＧ１が格納された非一過性の記憶媒体（例えばフレッシュメモリ等）が接続された場合、取得部１１２は、記憶媒体から衛星画像ＩＭＧ１を読み出してもよい。上述したように取得部１１２は、衛星画像の代わりに航空画像や空中画像を取得してもよい。以下、一例として取得対象の画像が衛星画像ＩＭＧ１であるものとして説明する。

【0027】

次に、領域検出部１１４は、取得部１１２によって取得された衛星画像ＩＭＧ１（航空画像や空中画像でもよい）上において、対象物の一例である横断歩道の領域を検出する（ステップＳ１０２）。

【0028】

例えば、領域検出部１１４は、セグメンテーションモデルの一つである第１機械学習モデルＭＤＬ１を用いて、衛星画像ＩＭＧ１上において横断歩道の領域を検出する（セグメンテーションを行う）。

【0029】

第１機械学習モデルＭＤＬ１は、例えば、例えば、ＣＮＮ（Convolutional Neural Network(s)）等のニューラルネットワークを用いて実装されたセグメンテーションモデルであってよい。

【0030】

第１機械学習モデルＭＤＬ１は、あるトレーニング対象の衛星画像に対して、トレーニング対象の衛星画像上において検出されるべき正解の対象物（例えば横断歩道）の領域が対応付けられた第１トレーニングデータセットに基づいて学習される。対象物を横断歩道とした場合、その領域は４頂点をもつ四角形の領域となる。

【0031】

図３は、第１機械学習モデルＭＤＬ１を用いて横断歩道の領域を検出する方法を説明するための図である。領域検出部１１４は、取得部１１２によって取得された衛星画像ＩＭＧ１を、第１機械学習モデルＭＤＬ１に入力する。上述したように、第１機械学習モデルＭＤＬ１は、第１トレーニングデータセットに基づき学習されている。そのため、第１機械学習モデルＭＤＬ１は、衛星画像ＩＭＧ１が入力されたことを受けて、横断歩行の領域として、その領域の位置やサイズを出力する。更に、第１機械学習モデルＭＤＬ１は、領域の位置やサイズの尤もらしさ、つまりどの程度信頼できるのかを表すスコア（以下、信頼スコアという）を出力してよい。

【0032】

フローチャートの説明に戻る。次に、画像処理部１１８は、衛星画像ＩＭＧ１から横断歩行の領域をクロッピングし（切り出し）、そのクロッピングした衛星画像ＩＭＧ１の一部領域をクロップド画像ＩＭＧ２として生成する（ステップＳ１０４）。

【0033】

第１機械学習モデルＭＤＬ１を用いて横断歩道の領域を検出した場合、その横断歩道の領域は四角形の領域として検出されやすいが、一方で５頂点をもつ五角形の領域や、それ以上の頂点をもつ多角形の領域として検出される場合がある。

【0034】

横断歩道の領域が５頂点以上の多角形の領域として検出された場合、画像処理部１１８は、以下の条件をもとに、多角形である横断歩道の領域を４頂点をもつ四角形（或いは５頂点をもつ五角形）に近似してよい。
（１）最初に４頂点をもつ四角形のポリゴンで横断歩道の領域を近似する。
（２）近似した四角形のポリゴンの面積と、元の横断歩道の領域の面積との差が、元の横断歩道の領域の面積の２５％未満、又は１ピクセルの面積を１とした場合に、元の横断歩道の領域の面積が１２８未満であれば、近似せずに元の横断歩道の領域をそのまま採用する。
（３）次に５頂点をもつ五角形のポリゴンで、四角形のポリゴンに近似した横断歩道の領域を更に近似する。

【0035】

次に、画像処理部１１８は、クロップド画像ＩＭＧ２のアスペクト比が許容範囲内であるか否かを判定する（ステップＳ１０６）。例えば、後述の第２機械学習モデルＭＤＬ２に対して入力するクロップド画像ＩＭＧ２が正方形であるものと想定されている場合（学習時に正方形の画像を含む第２トレーニングデータセットを用いている場合）、アスペクト比の許容範囲は、例えば、正方形のアスペクト比１：１と同じか、又は正方形のアスペクト比に数％の誤差を許容したものであってよい。

【0036】

クロップド画像ＩＭＧ２のアスペクト比が許容範囲外である場合（つまりクロップド画像ＩＭＧ２が正方形でない場合）、画像処理部１１８は、アスペクト比が許容範囲内となるように、クロップド画像ＩＭＧ２をパディングする（ステップＳ１０８）。

【0037】

例えば、画像処理部１１８は、パディングとして、クロップド画像ＩＭＧ２を表す行列に対して、そのクロップド画像ＩＭＧ２の上下左右のいずれか一つ又は全部に任意の画素値（例えば道路面と同色の画素値）を加えることで、クロップド画像ＩＭＧ２の形状を正方形に近づける。

【0038】

一方、クロップド画像ＩＭＧ２のアスペクト比が許容範囲内である場合（つまりクロップド画像ＩＭＧ２が正方形である場合）、画像処理部１１８は、Ｓ１１８の処理であるパディングを省略する。

【0039】

一般的に、横断歩道の形状は道路やその周辺の交通事情に応じて決められており、横断歩道の形状が極端に縦長であったり、横長であったりする場合がある。このように様々な形状の横断歩道のクロップド画像ＩＭＧ２が、後述の第２機械学習モデルＭＤＬ２に入力されることになると、第２機械学習モデルＭＤＬ２によって推定される各向き（詳細は後述する）が、学習時に想定された向きから乖離しやすい。例えば、学習時に想定された向きが０度、９０度、１８０度である場合、それら角度以外が第２機械学習モデルＭＤＬ２によって推定されやすい。

【0040】

これに対して、後述の第２機械学習モデルＭＤＬ２に対して入力するクロップド画像ＩＭＧ２のアスペクト比をパディングによって調整することで、後述の第２機械学習モデルＭＤＬ２の出力結果の精度を向上させることができる。例えば、アスペクト比を統一した上でクロップド画像ＩＭＧ２を第２機械学習モデルＭＤＬ２へと入力することで、第２機械学習モデルＭＤＬ２が学習時に想定された向き（０度、９０度、１８０度）を出力しやすくなる。

【0041】

なお、第２機械学習モデルＭＤＬ２に対して入力するクロップド画像ＩＭＧ２が正方形ではなく長方形であると想定されている場合（学習時に長方形の画像を含む第２トレーニングデータセットを用いている場合）、Ｓ１０６の判定処理で比較されるアスペクト比の許容範囲は、正方形ではなく長方形のアスペクト比に応じて決められてよい。

【0042】

次に、向き推定部１１６は、クロップド画像ＩＭＧ２に含まれる横断歩道の向きＶ１と、横断歩道として道路上に描かれた白線の向きＶ２とを推定する（ステップＳ１１０）。

【0043】

横断歩道の向きＶ１は、歩行者が横断歩道を横断する方向であり、白線の長手方向（白線が延在する方向）と交差する方向である。白線の向きＶ２は、白線の長手方向（白線が延在する方向）である。横断歩道の向きＶ１は「第１方向」の一例であり、白線の向きＶ２は「第２方向」の一例である。

【0044】

例えば、向き推定部１１６は、ＣＮＮ（Convolutional Neural Network(s)）等のニューラルネットワークを用いて実装された第２機械学習モデルＭＤＬ２を用いて、クロップド画像ＩＭＧ２上において横断歩道の向きＶ１及び白線の向きＶ２を推定する。

【0045】

第２機械学習モデルＭＤＬ２は、あるトレーニング対象のクロップド画像上において推定されるべき正解の対象物の領域の向きとして横断歩道の向きＶ１及び白線の向きＶ２が対応付けられた第２トレーニングデータセットに基づいて学習される。トレーニング対象のクロップド画像は、トレーニング対象の衛星画像から横断歩道の領域が切り出された画像であり、例えば、上述したように正方形の画像である。

【0046】

図４は、第２機械学習モデルＭＤＬ２を用いて各種向きを推定する方法を説明するための図である。向き推定部１１６は、画像処理部１１８によって生成されたクロップド画像ＩＭＧ２を、第２機械学習モデルＭＤＬ２に入力する。上述したように、第２機械学習モデルＭＤＬ２は、第２トレーニングデータセットに基づき学習されている。そのため、第２機械学習モデルＭＤＬ２は、クロップド画像ＩＭＧ２が入力されたことを受けて、対象物の領域の向きとして、横断歩道の向きＶ１及び白線の向きＶ２を出力する。

【0047】

次に、画像処理部１１８は、向き推定部１１６によって推定された横断歩道の向きＶ１及び白線の向きＶ２に基づいて、領域検出部１１４によって検出された横断歩道の領域を整形する（ステップＳ１１２）。

【0048】

図５は、横断歩道の領域を整形する方法を説明するための図である。図中の（ａ）は、クロップド画像ＩＭＧ２を表しており、そのクロップド画像ＩＭＧ２上のＲは、領域検出部１１４によって検出された横断歩道の領域を表している。クロップド画像ＩＭＧ２は便宜上長方形となっているが実際には正方形であってよい。またクロップド画像ＩＭＧ２が長方形であっても上述のようにパディングによって正方形に変換されてよい。

【0049】

図中の（ｂ）は、（ａ）のクロップド画像ＩＭＧ２上において横断歩道の向きＶ１及び白線の向きＶ２が推定されていることを表している。図示のように、検出された横断歩道の領域Ｒは、実際の横断歩道の領域を完全にはマスクしない場合がある。これはセグメンテーションモデルが第１機械学習モデルＭＤＬ１を用いたモデルベースであることに起因する。従って、画像処理部１１８は、横断歩道の向きＶ１及び白線の向きＶ２に基づいて、実際の横断歩道の領域を完全にマスクするように、第１機械学習モデルＭＤＬ１を用いて検出された横断歩道の領域Ｒを整形する。

【0050】

（ｃ）に示すように、まず画像処理部１１８は、横断歩道の領域Ｒとして検出された四角形の４辺のうち、互いに対向する辺同士、つまり対辺を一組にして２つの組に分ける。具体的には、画像処理部１１８は、横断歩道の領域Ｒとして検出された四角形の４辺を、横断歩道の向きＶ１の角度に近い（Ｖ１との角度差が小さくより平行な）２辺と、白線の向きＶ２の角度に近い（Ｖ２との角度差が小さくより平行な）２辺とに分類する。横断歩道の向きＶ１の角度に近い（Ｖ１との角度差が小さくより平行な）２辺は「第１の対辺」の一例であり、白線の向きＶ２の角度に近い（Ｖ２との角度差が小さくより平行な）２辺は「第２の対辺」の一例である。

【0051】

（ｄ）に示すように、次に画像処理部１１８は、横断歩道の向きＶ１の角度に近い（Ｖ１との角度差が小さくより平行な）２辺を、横断歩道の向きＶ１に近づくように回転させる。同様に、画像処理部１１８は、白線の向きＶ２の角度に近い（Ｖ２との角度差が小さくより平行な）２辺を、白線の向きＶ２に近づくように回転させる。この際、画像処理部１１８は、各辺の中点周りにそれら辺を回転させてよい。

【0052】

（ｅ）に示すように、画像処理部１１８は、角度が修正された４辺によって閉じた領域（つまり整形された領域）を、新たな横断歩道の領域Ｒ＃とする。この際、画像処理部１１８は、新たな横断歩道の領域Ｒ＃の面積が、整形前の横断歩道の領域Ｒの面積の５０％以下となった場合、新たな横断歩道の領域Ｒ＃を採用せずに、整形前の横断歩道の領域Ｒを採用する。また画像処理部１１８は、新たな横断歩道の領域Ｒ＃と、整形前の横断歩道の領域Ｒとの重複する部分が、整形前の横断歩道の領域Ｒの面積の５０％以下となった場合であっても、新たな横断歩道の領域Ｒ＃を採用せずに、整形前の横断歩道の領域Ｒを採用してよい。

【0053】

このような一連の処理によって横断歩道の領域Ｒが整形され、本フローチャートの処理が終了する。通信制御部１２０は、ユーザの端末装置から送信された地図データのリクエストが通信部１０２によって受信されると、そのリクエストに対するレスポンスとして、整形後の横断歩道の領域Ｒ＃（面積の条件を満たさない場合には整形前の横断歩道の領域Ｒ）がアノテーションとして付与された衛星画像を、通信部１０２を介してユーザの端末装置に送信してよい。

【0054】

図６は、アノテーションが付与された衛星画像の一例を表す図である。図中のＡＮは、アノテーションを表しており、そのアノテーションは、衛星画像上の横断歩道に、整形後の横断歩道の領域Ｒ＃を重畳表示している。このようなアノテーションＡＮの表示によって、ユーザは、横断歩道などの対象物の位置や形状をよりリアルに認識することができ、ナビゲーションなどのサービスを違和感なく（不自然に感じることなく）利用することができる。

【0055】

［機械学習モデルのトレーニング］
以下、上述した第１機械学習モデルＭＤＬ１と第２機械学習モデルＭＤＬ２の学習方法（トレーニング方法）について説明する。学習部１２２は、上述した第１トレーニングデータセットを用いて第１機械学習モデルＭＤＬ１を学習し、上述した第２トレーニングデータセットを用いて第２機械学習モデルＭＤＬ２を学習する。学習部１２２は、第２機械学習モデルＭＤＬ２を学習する際に、損失関数を以下のようにする。上述した「向き」は「角度」と同義で扱ってよい。第２機械学習モデルＭＤＬ２によってＶ１及びＶ２の角度として出力される数値は０～１の範囲であり、この数値範囲０～１は、角度範囲０度～１８０度に対応している。

【0056】

（ｉ）第２機械学習モデルＭＤＬ２によって出力された角度（以下、推定角度という）と、第２トレーニングデータセットに含まれる正解の角度とが９０度（０．５）以上異なっており、
（ｉｉ）推定角度と正解の角度の両方が、１８度（０．１）未満、又は１６２度（０．９）以上のどちらかに該当していれば、
（ｉｉｉ）正解の角度を推定角度に近づけるように（０度又は１８０度に近づけるように）修正してからＢＣＥＬｏｓｓ（Binary Cross Entropy Loss）によって損失関数の最適化を行う。

【0057】

クロップド画像ＩＭＧ２を入力したことに応じて第２機械学習モデルＭＤＬ２によって出力される（推定される）Ｖ１及びＶ２の角度が、ほぼ０度又はほぼ１８０度となる場合、正解の角度と推定角度とが真逆の向きとなる場合がある。例えば、正解の角度が１７９．８度程度（第２機械学習モデルＭＤＬ２の出力値に換算すると０．９９９程度）となっている場合に、推定角度がほぼ０度（第２機械学習モデルＭＤＬ２の出力値に換算すると０．０００１程度）になっていまう場合がある。

【0058】

ほぼ１８０度とほぼ０度は実際にはほとんど同一の角度であるが、第２機械学習モデルＭＤＬ２の出力値である推定角度が、ほぼ０（例えば０．０００１程度）か、ほぼ１（例えば０．９９９程度）と異なる値であっても、正解と見做した方がよい。

【0059】

従って、上記の（ｉ）～（ｉｉｉ）の例外条件を含む損失関数に基づいて第２機械学習モデルＭＤＬ２を学習する。これによって、第２機械学習モデルＭＤＬ２の学習効率やその精度を向上させることができる。

【0060】

以上説明した実施形態によれば、情報処理装置１００は、衛星画像（衛星写真）、航空画像（航空写真）、空中画像（空中写真）といった上空から地表面が撮像された画像上において対象物（例えば横断歩道）の領域を検出するとともに、対象物の領域の向きを推定する。情報処理装置１００は、推定された向きに基づいて対象物の領域を整形する。このように、対象物（例えば横断歩道）の領域を整形することでセグメンテーションの精度が向上する。この結果、横断歩道などの対象物を衛星画像などにアノテーションとして付与する際に、そのアノテーションを効果的に行うことができる。

【0061】

＜ハードウェア構成＞
上述した実施形態の情報処理装置１００は、例えば、図７に示すようなハードウェア構成により実現される。図７は、実施形態の情報処理装置１００のハードウェア構成の一例を示す図である。

【0062】

情報処理装置１００は、ＮＩＣ１００－１、ＣＰＵ１００－２、ＲＡＭ１００－３、ＲＯＭ１００－４、フラッシュメモリやＨＤＤなどの二次記憶装置１００－５、およびドライブ装置１００－６が、内部バスあるいは専用通信線によって相互に接続された構成となっている。ドライブ装置１００－６には、光ディスクなどの可搬型記憶媒体が装着される。二次記憶装置１００－５、またはドライブ装置１００－６に装着された可搬型記憶媒体に格納されたプログラムがＤＭＡコントローラ（不図示）などによってＲＡＭ１００－３に展開され、ＣＰＵ１００－２によって実行されることで処理部１１０が実現される。ＣＰＵ１００－２が参照するプログラムは、ネットワークＮＷを介して他の装置からダウンロードされてもよい。

【0063】

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

【符号の説明】

【0064】

１００…情報処理装置、１０２…通信部、１１０…処理部、１１２…取得部、１１４…領域検出部、１１６…向き推定部、１１８…画像処理部、１２０…通信制御部、１２２…学習部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】