特許 7578316 画像処理装置、画像処理方法及び画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-10-28

(45)【発行日】2024-11-06

(54)【発明の名称】画像処理装置、画像処理方法及び画像処理プログラム

(51)【国際特許分類】

   G06T 7/70 20170101AFI20241029BHJP

   G06Q 50/16 20240101ALI20241029BHJP

【ＦＩ】

G06T7/70 Z

G06Q50/16

【請求項の数】 7

(21)【出願番号】P 2023167859

(22)【出願日】2023-09-28

【審査請求日】2023-09-28

(73)【特許権者】

【識別番号】519187997

【氏名又は名称】アットホームラボ株式会社

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(72)【発明者】

【氏名】門 洋一

【審査官】豊田 好一

(56)【参考文献】

【文献】特開２０１０－１５２５９９（ＪＰ，Ａ）

【文献】特開２０２１－０３９７６０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／７０

Ｇ０６Ｑ ５０／１６

(57)【特許請求の範囲】

【請求項1】

画像から方位記号を抽出し、
前記方位記号に基づいて前記画像における２つ以上の位置を求め、
前記２つ以上の位置に基づいて、前記画像における方角を推定する、
方角処理部を備え、
前記２つ以上の位置は、前記方位記号に基づいて幾何学的に求められる位置を２つ以上含む、
画像処理装置。

【請求項2】

前記２つ以上の位置は、前記方位記号に基づいて幾何学的に求められる位置として、前記方位記号についての中心の位置を含み、
前記２つ以上の位置は、前記方位記号に基づいて幾何学的に求められる位置として、北の方角に関する位置を含む、
請求項１に記載の画像処理装置。

【請求項3】

前記北の方角に関する位置は、前記方位記号を含む凸多角形の重心の位置、前記中心の位置からの前記方位記号の最遠点の位置、及び、前記中心の位置からの前記方位記号の最遠交点の位置のうちの少なくとも１つを含む、
請求項２に記載の画像処理装置。

【請求項4】

前記方角処理部は、前記２つ以上の位置を用いた幾何学的な計算に基づいて、前記画像における方角を推定する、請求項１に記載の画像処理装置。

【請求項5】

前記画像における方角に基づいて、前記画像に含まれる物件における方角を推定する物件処理部をさらに備える、請求項１に記載の画像処理装置。

【請求項6】

画像から方位記号を抽出することと、
前記方位記号に基づいて前記画像における２つ以上の位置を求めることと、
前記２つ以上の位置に基づいて、前記画像における方角を推定することと、
を備え、
前記２つ以上の位置は、前記方位記号に基づいて幾何学的に求められる位置を２つ以上含む、
画像処理方法。

【請求項7】

請求項１から請求項５のうちの何れか一項に記載の画像処理装置が備える各部の処理をコンピュータに実行させることが可能な画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像データを処理する画像処理装置、画像処理方法及び画像処理プログラムに関する。

【背景技術】

【0002】

ユーザが入力した検索条件に基づいて物件を検索するサービスが存在する。例えば、検索条件は、地域又は最寄り駅等の場所、賃料、専有面積及び２ＬＤＫ等の物件の領域構成を示す間取りタイプ等の属性についての条件を含む。このようなサービスは、各物件に設定された各属性を表すタグに基づいて検索条件に合致する１つ以上の物件を検索し、検索条件に合致する１つ以上の物件をユーザに提示する。

【0003】

ユーザは、上述のような属性以外に、種々の属性に基づいて、好みの物件を絞り込むことがある。例えば、ユーザは、物件における方角に基づいて、好みの物件を絞り込むことがある。物件における方角は、屋外と繋がる窓等のメインの窓が配置された方角であったり、玄関が配置された方角であったり、物件の各要素が配置された方角である。

【0004】

物件における方角は、不動産会社の手作業による入力に基づいて設定されている。不動産会社は、方位記号及び間取り図を見比べて物件における方角を判断して入力するが、入力漏れが起きたり、判断ミスが起きたりする。そのため、方位記号を含む画像における方角を自動で推定する技術が求められている。

【0005】

特許文献１には、方位マークのパターンと各パターンが指し示す方位をメモリに記録することで、画像に含まれる方位マークから画像の方位を判断することが開示されている。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２０１３－１０４８５４号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、特許文献１に開示された技術は、画像に含まれる方位マークをメモリに記録された複数の方位マークのパターンと比較することで、画像の方位を判断している。そのため、画像の方位の判断精度上げるためには、多くの方位マークのパターンをメモリに記録させなければならない。方位マークのパターンの数は、方位マークのパターンの指し示す方位を細かくするにつれて増える。方位マークの形状には多くのバリエーションがあるので、方位マークのパターンの数は、バリエーションの数に応じて増える。さらに、画像に含まれる方位マークを多くの方位マークのパターンと比較することは、計算処理量が多くなる等の処理負荷がかかる。

【0008】

そこで、本発明の目的は、方位記号を含む画像における方角を容易に推定することが可能な技術を提供しようとするものである。

【課題を解決するための手段】

【0009】

実施形態に係る画像処理装置は、画像から方位記号を抽出し、前記方位記号に基づいて前記画像における２つ以上の位置を求め、前記２つ以上の位置に基づいて、前記画像における方角を推定する、方角処理部を備える。

【発明の効果】

【0010】

実施形態によれば、方位記号を含む画像における方角を容易に推定することが可能な技術を提供することができる。

【図面の簡単な説明】

【0011】

【図1】図１は、実施形態に係るサーバの構成例を示すブロック図である。

【図2】図２は、実施形態に係る画像の一例を示す図である。

【図3】図３は、実施形態に係るサーバによる画像データの処理の一例を示すフローチャートである。

【図4】図４は、実施形態に係るサーバによる画像における方角の推定処理の一例を示すフローチャートである。

【図5】図５は、実施形態に係る方位記号の画像の一例を示す図である。

【図6】図６は、実施形態に係る方角を示す文字の位置の一例を示す図である。

【図7】図７は、実施形態に係る方位記号の画像の一例を示す図である。

【図8】図８は、実施形態に係る方位記号の画像の一例を示す図である。

【図9】図９は、実施形態に係る方位記号の画像の一例を示す図である。

【図10】図１０は、実施形態に係る方位記号の画像の一例を示す図である。

【図11】図１１は、実施形態に係る方位記号の画像の一例を示す図である。

【図12】図１２は、実施形態に係る方位記号の画像の一例を示す図である。

【図13】図１３は、実施形態に係る方位記号の画像の一例を示す図である。

【図14】図１４は、実施形態に係る方位記号の画像の一例を示す図である。

【図15】図１５は、実施形態に係る方位記号の画像の一例を示す図である。

【図16】図１６は、実施形態に係るサーバによる物件における方角の推定処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0012】

［実施形態］
以下、いくつかの実施形態について図面を用いて説明する。なお、以下の実施形態の説明に用いる各図面は、各部の縮尺を適宜変更している場合がある。また、以下の実施形態の説明に用いる各図面は、説明のため、構成を省略して示している場合がある。

【0013】

（構成例）
図１は、サーバ１の構成例を示すブロック図である。
サーバ１は、画像データを処理する電子機器である。サーバ１は、画像データを処理する画像処理装置の一例である。ここでは、画像データは、物件の画像及び方位記号の画像を含む画像を表すデータであるものとする。画像データで表される画像は、ｘ軸とｙ軸の座標系で表される画像である。ｘ軸に沿った方向は、左右方向又は横方向ともいう。ｙ軸に沿った方向は、上下方向又は縦方向ともいう。

【0014】

物件は、マンション、アパート及び戸建等の種々の建物における賃貸用の物件を含んでもよいし、売買用の物件を含んでもよい。例えば、物件の画像は、物件の間取り図の画像である。物件の間取り図は、平面図であり得る。物件の間取り図は、物件の複数の要素を含む図である。例えば、物件の画像は、物件を囲う矩形の４辺が上下左右を向く画像である。

【0015】

物件の複数の要素は、１つ以上の領域を含むことができる。領域は、物件の屋内の領域を含んでもよいし、物件の屋外の領域を含んでもよい。屋内の領域は、風呂、トイレ、洗面室、押入、クローゼット、廊下、玄関及び部屋等の屋内において広さを有する要素である。部屋は、洋室、和室及びＬＤＫ（リビング・ダイニング・キッチン）等の人の滞在する領域である。部屋は、ＬＤＫに代えて、ＤＫ（ダイニング・キッチン）でもよいし、ＬＫ（リビング・キッチン）でもよい。洋室は、サービスルームを含んでもよい。屋外の領域は、バルコニー、ベランダ及び庭等の屋外において広さを有する要素である。

【0016】

物件の複数の要素は、１つ以上の扉を含むことができる。扉は、物件の玄関に設けられている外扉を含む。扉は、物件の屋内において領域間を仕切る室内扉を含む。室内扉は、開き戸及び引き戸を含む。引き戸は、襖及び障子を含む。扉は、ドアということもある。

【0017】

物件の複数の要素は、１つ以上の窓を含むことができる。窓は、屋内から屋外へ人が通行可能な窓を含む。窓は、屋内から屋外へ人が通行不可能な窓を含む。窓は、開閉可能な窓でもよいし、開閉不可能な窓でもよい。

【0018】

物件の複数の要素は、１つ以上の壁を含むことができる。

【0019】

方位記号は、方角を示す記号である。方位記号は、方位マークともいう。方位記号は、方角を示す図形を含む。例えば、方角を示す図形は、北を示す部分が識別可能な図形である。方位記号は、方角を示す文字を含むことがある。例えば、方角を示す文字は、方角として北を示す「Ｎ」又は「北」等の文字である。方角は、方位の意味を含む。

【0020】

サーバ１は、処理回路１１、メインメモリ１２、補助記憶デバイス１３及び通信インタフェース１４を備える。処理回路１１、メインメモリ１２、補助記憶デバイス１３及び通信インタフェース１４は、バス等を介して、互いに信号を入出力可能に接続されている。図１では、インタフェースは、「ＩＦ」と記載されている。

【0021】

処理回路１１は、サーバ１の中枢部分に相当する。処理回路１１は、サーバ１のコンピュータを構成する。処理回路１１は、複数の機能による複数の処理を実行する１つ以上の回路を含む。例えば、回路は、プロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）又はＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）であるが、これらに限定されない。例えば、プロセッサは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）又はＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であるが、これらに限定されない。処理回路１１は、メインメモリ１２又は補助記憶デバイス１３に予め記憶されている画像処理プログラムをメインメモリ１２に展開する。画像処理プログラムは、後述する各部による処理を処理回路１１に実行させることが可能なプログラムである。処理回路１１は、メインメモリ１２に展開される画像処理プログラムを実行することで、種々の処理を実行可能にする。

【0022】

メインメモリ１２は、サーバ１の主記憶部分に相当する。メインメモリ１２は、不揮発性のメモリ領域及び揮発性のメモリ領域を含む。メインメモリ１２は、不揮発性のメモリ領域ではオペレーティングシステム又はプログラムを記憶する。メインメモリ１２は、揮発性のメモリ領域を、処理回路１１によってデータが適宜書き換えられるワークエリアとして使用する。例えば、メインメモリ１２は、不揮発性のメモリ領域としてＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）を含む。例えば、メインメモリ１２は、揮発性のメモリ領域としてＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含む。メインメモリ１２は、画像処理プログラムを記憶し得る。

【0023】

補助記憶デバイス１３は、サーバ１の補助記憶部分に相当する。補助記憶デバイス１３は、１つ以上の記憶デバイスを含む。記憶デバイスは、ＥＥＰＲＯＭ（登録商標）（Ｅｌｅｃｔｒｉｃ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）又はフラッシュメモリ等であるが、これらに限定されない。補助記憶デバイス１３は、上述の画像処理プログラム、処理回路１１が各種の処理を行う上で使用するデータ及び処理回路１１での処理によって生成されるデータを記憶する。

【0024】

補助記憶デバイス１３は、画像記憶領域１３１を含む。画像記憶領域１３１は、複数の画像の画像データを記憶する。例えば、複数の画像の画像データは、複数の不動産会社の端末を用いて登録されたデータである。画像記憶領域１３１に記憶されているデータは、画像データの保存毎に更新され得る。画像記憶領域１３１は、画像データを記憶する記憶部の一例である。

【0025】

補助記憶デバイス１３は、処理データ記憶領域１３２を含む。処理データ記憶領域１３２は、画像データ毎の処理データを記憶する。処理データは、画像データの処理により得られるデータである。例えば、処理データは、画像データで表される画像における方角に関するデータを含む。画像における方角は、画像内においてどの方向がどの方角に対応するのかについてである。例えば、画像における方角は、画像における北の方角である。この例では、画像における方角に関するデータは、画像内においてどの方向が北の方角に対応するのかについてのデータである。例えば、処理データは、画像データで表される画像に含まれる物件における方角に関するデータを含む。物件における方角は、物件の各要素が配置された方角である。物件の各要素が配置された方角は、物件の各要素の向く方角を含む。例えば、物件における方角は、屋外と繋がる窓等のメインの窓が配置された方角又は玄関が配置された方角等であるが、これらに限定されない。例えば、メインの窓が配置された方角は、メインの窓の向く方角を含む。玄関が配置された方角は、玄関の向く方角を含む。処理データ記憶領域１３２に記憶されているデータは、処理データの保存毎に更新され得る。処理データ記憶領域１３２は、処理データを記憶する記憶部の一例である。

【0026】

通信インタフェース１４は、ネットワークにより定義される通信プロトコルを使用してサーバ１を他の電子機器と通信可能に接続する種々のインタフェースを含む。ネットワークは、インターネット、モバイルネットワーク及びＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等のうちの少なくとも１以上のネットワークを含む。

【0027】

なお、サーバ１のハードウェア構成は、上述の構成に限定されるものではない。サーバ１は、適宜、上述の構成要素の省略及び変更並びに新たな構成要素の追加を可能とする。

【0028】

処理回路１１よって実現される各部について説明する。
処理回路１１は、取得部１１１、方角処理部１１２及び物件処理部１１３を実現する。処理回路１１によって実現される各部は、各機能ということもできる。処理回路１１によって実現される各部は、処理回路１１及びメインメモリ１２を含む制御部によって実現されるということもできる。

【0029】

取得部１１１は、対象物件についての画像データを取得する。対象物件は、画像における方角及び物件における方角を得る対象となる物件である。

【0030】

方角処理部１１２は、画像データで表される画像に含まれる方位記号に基づいて、画像における方角を推定する。画像における方角を推定することは、判定すること及び特定すること等の画像における方角を得るための種々の態様を含む。

【0031】

物件処理部１１３は、画像における方角に基づいて、画像に含まれる物件における方角を推定する。物件における方角を推定することは、判定すること及び特定すること等の物件における方角を得るための種々の態様を含む。

【0032】

（画像例）
図２は、画像の一例を示す図である。
画像Ｉｍは、物件の画像ＩｍＡを含む。物件の画像は、物件の複数の要素として、風呂、トイレ、押入、クローゼット、玄関、和室、洋室、ＤＫ、外扉、複数の室内扉及び複数の窓を含む画像である。画像Ｉｍは、方位記号の画像ＩｍＢを含む。方位記号の画像ＩｍＢは、方角を示す図形の画像ＩｍＢ１を含む。方位記号の画像ＩｍＢは、方角を示す文字の画像ＩｍＢ２を含む。

【0033】

（動作例）
次に、以上のように構成されたサーバ１の動作例を説明する。
なお、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。

【0034】

図３は、サーバ１による画像データの処理の一例を示すフローチャートである。

【0035】

取得部１１１は、対象物件についての画像データを取得する（ステップＳ１）。ステップＳ１では、例えば、取得部１１１は、任意の物件についての画像データを対象物件についての画像データとして画像記憶領域１３１から取得する。

【0036】

方角処理部１１２は、取得部１１１により取得された画像データで表される画像Ｉｍに含まれる方位記号に基づいて、画像Ｉｍにおける方角を推定する（ステップＳ２）。ステップＳ２の処理については後述する。

【0037】

物件処理部１１３は、方角処理部１１２により推定された画像Ｉｍにおける方角に基づいて、画像Ｉｍに含まれる物件における方角を推定する（ステップＳ３）。ステップＳ３の処理については後述する。

【0038】

図４は、ステップＳ２のサーバ１による画像Ｉｍにおける方角の推定処理の一例を示すフローチャートである。

【0039】

方角処理部１１２は、取得部１１１により取得された画像データで表される画像Ｉｍから方位記号を抽出する（ステップＳ２１）。ステップＳ２１では、例えば、方角処理部１１２は、画像データに基づいてセマンティックセグメンテーションによる領域判定を実行する。例えば、セマンティックセグメンテーションは、ＦＣＮ（Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ）等である。セマンティックセグメンテーションによる領域判定は、公知の技術でもよい。方角処理部１１２は、セマンティックセグメンテーションによる領域判定に基づいて、画像データで表される画像Ｉｍから方位記号を検出する。方角処理部１１２は、方位記号の検出に基づいて、画像Ｉｍから方位記号を抽出する。画像Ｉｍから方位記号を抽出することは、画像Ｉｍから方位記号の画像ｏｒｇを抽出することを含む。方位記号の画像ｏｒｇは、セマンティックセグメンテーションにより、方位記号の領域を抽出後、領域内の画像を解析するために、領域の周囲をパディングして矩形画像にしたものである。

【0040】

方角処理部１１２は、抽出された方位記号に基づいて画像Ｉｍにおける２つ以上の位置を求める（ステップＳ２２）。例えば、画像Ｉｍにおける位置は、画像Ｉｍにおける座標である。以下では、画像Ｉｍにおける位置のいくつかの例について説明するが、画像Ｉｍにおける位置は、方位記号に基づいて求められるものであればよく、ここで例示するものに限定されない。

【0041】

画像Ｉｍにおける２つ以上の位置は、方位記号に含まれる方角を示す文字の位置ＮＣを含むことができる。方角処理部１１２は、画像内特定オブジェクト検出技術により、方位記号の画像ｏｒｇから方角を示す文字を検出する。画像内特定オブジェクト検出技術は、ニューラルネットワークによるものでもよい。方角処理部１１２は、方角を示す文字の検出に基づいて、方角を示す文字の位置ＮＣを検出する。方角を示す文字の位置ＮＣは、方角を示す文字の領域内の位置である。方角を示す文字の領域は、方角を示す文字を含む矩形等の凸多角形の領域でもよいし円形の領域でもよい。方角を示す文字を含む領域は、方角を示す文字を含み、最小の面積となる領域でもよい。例えば、方角を示す文字の位置ＮＣは、方角を示す文字の領域の中心の位置である。方角を示す文字の位置ＮＣは、方位記号に含まれる方角を示す文字に基づいて求められ位置の一例である。方角を示す文字は、北を示す文字である。そのため、方角を示す文字の位置ＮＣは、北の方角に関する位置の一例である。

【0042】

画像における２つ以上の位置は、方位記号を含む凸多角形の内接円の中心の位置ＩＣＣを含むことができる。方角処理部１１２は、方位記号の画像ｏｒｇを白黒２値化した方位記号の画像ｂｗを生成する。方角処理部１１２は、方位記号の画像ｂｗ内において、背景色と異なる方位記号を含む凸多角形ＣＰを算出する。方位記号を含む凸多角形は、方位記号を含み、最小の面積となる凸多角形の領域でもよい。方位記号が方角を示す図形及び方角を示す文字を含む場合、方位記号を含む凸多角形は、方角を示す文字を除いた方角を示す図形を含む凸多角形でもよい。方角処理部１１２は、算出された凸多角形ＣＰに基づいて、凸多角形ＣＰの内接円の中心の位置ＩＣＣを求める。中心の位置ＩＣＣは、方角処理部１１２により方位記号に基づいて幾何学的に求められる位置の一例である。中心の位置ＩＣＣは、方位記号についての中心の位置の一例である。

【0043】

画像における２つ以上の位置は、方位記号を含む凸多角形の重心の位置ＧＣを含むことができる。方角処理部１１２は、画像ｂｗ内において算出された凸多角形ＣＰに基づいて、凸多角形ＣＰの重心の位置ＧＣを求める。重心の位置ＧＣは、方角処理部１１２により方位記号に基づいて幾何学的に求められる位置の一例である。方角を示す図形は、北を示す部分が突出するような形状の傾向にあるので、重心の位置ＧＣは、中心の位置ＩＣＣよりも北を示す部分側の傾向にある。そのため、重心の位置ＧＣは、北の方角に関する位置の一例である。

【0044】

画像における２つ以上の位置は、中心の位置ＩＣＣからの方位記号の最遠点の位置を含むことができる。中心の位置ＩＣＣからの方位記号の最遠点は、中心の位置ＩＣＣから最も遠い方位記号の位置である。方位記号の最遠点の位置は、方位記号に含まれる方角を示す図形の最遠点の位置であり得る。最遠点の位置は、方角処理部１１２により方位記号に基づいて幾何学的に求められる位置の一例である。方角を示す図形は、北を示す部分が突出するような形状の傾向にあるので、最遠点の位置は、方角を示す図形のうちの北を示す部分側の傾向にある。そのため、最遠点の位置は、北の方角に関する位置の一例である。

【0045】

最遠点の位置の１つ目の例について説明する。方角処理部１１２は、方位記号の画像ｂｗに対して、最外背景白領域を除く白領域の輪郭を検出して塗りつぶし描画し、膨張・収縮処理することにより、方位記号の画像ｆｉｌｌを生成する。方角処理部１１２は、方位記号の画像ｆｉｌｌにおいて、中心の位置ＩＣＣからの最遠点の位置ＦＰ＿ｆｉｌｌを求める。最遠点の位置ＦＰ＿ｆｉｌｌは、方角処理部１１２により方位記号に基づいて幾何学的に求められる位置の一例である。最遠点の位置ＦＰ＿ｆｉｌｌは、北の方角に関する位置の一例である。

【0046】

最遠点の位置の２つ目の例について説明する。方角処理部１１２は、方位記号の画像ｂｗを白黒反転し（背景が黒）、白領域を全て包含する凸多角形ＣＰに沿った領域を削ることにより、方位記号の画像ｂｈを生成する。方角処理部１１２は、方位記号の画像ｂｈにおいて、中心の位置ＩＣＣからの最遠点の位置ＦＰ＿ｂｈを求める。最遠点の位置ＦＰ＿ｂｈは、方角処理部１１２により方位記号に基づいて幾何学的に求められる位置の一例である。最遠点の位置ＦＰ＿ｂｈは、北の方角に関する位置の一例である。

【0047】

最遠点の位置の３つ目の例について説明する。方角処理部１１２は、方位記号の画像ｂｈを１回収縮させることにより、方位記号の画像ｂｈｅ１を生成する。方角処理部１１２は、方位記号の画像ｂｈｅ１において、中心の位置ＩＣＣからの最遠点の位置ＦＰ＿ｂｈｅ１を求める。最遠点の位置ＦＰ＿ｂｈｅ１は、方角処理部１１２により方位記号に基づいて幾何学的に求められる位置の一例である。最遠点の位置ＦＰ＿ｂｈｅ１は、北の方角に関する位置の一例である。

【0048】

最遠点の位置の４つ目の例について説明する。方角処理部１１２は、方位記号の画像ｂｈを２回収縮させることにより、方位記号の画像ｂｈｅ２を生成する。方角処理部１１２は、方位記号の画像ｂｈｅ２において、中心の位置ＩＣＣからの最遠点の位置ＦＰ＿ｂｈｅ２を求める。最遠点の位置ＦＰ＿ｂｈｅ２は、方角処理部１１２により方位記号に基づいて幾何学的に求められる位置の一例である。最遠点の位置ＦＰ＿ｂｈｅ２は、北の方角に関する位置の一例である。

【0049】

画像における２つ以上の位置は、中心の位置ＩＣＣからの方位記号の最遠交点の位置を含むことができる。中心の位置ＩＣＣからの方位記号の最遠交点は、方位記号内の複数の直線成分に基づく交点群のうち、中心の位置ＩＣＣから最も遠い交点の位置である。交点群は、位記号内の複数の直線成分に基づく複数の交点の集合である。交点は、複数の直線成分が所定範囲の大きさの角度をなす交点である。例えば、所定範囲は、１０度から８０度の範囲等であるが、これに限定されない。方位記号の最遠交点の位置は、方位記号に含まれる方角を示す図形の最遠交点の位置であり得る。最遠交点の位置は、方角処理部１１２により方位記号に基づいて幾何学的に求められる位置の一例である。最遠交点の位置は、方角を示す図形のうちの北を示す部分側の傾向にある。そのため、最遠交点の位置は、北の方角に関する位置の一例である。

【0050】

最遠交点の位置の１つ目の例について説明する。方角処理部１１２は、方位記号の画像ｆｉｌｌにおいて、方位記号内の複数の直線成分を算出する。方角処理部１１２は、複数の直線成分が所定範囲の大きさの角度をなす交点群を求める。方角処理部１１２は、交点群のうち、中心の位置ＩＣＣからの最遠交点の位置ＣＰ＿ｆｉｌｌを求める。最遠交点の位置ＣＰ＿ｆｉｌｌは、方角処理部１１２により方位記号に基づいて幾何学的に求められる位置の一例である。最遠交点の位置ＣＰ＿ｆｉｌｌは、北の方角に関する位置の一例である。

【0051】

最遠交点の位置の２つ目の例について説明する。方角処理部１１２は、方位記号の画像ｂｈにおいて、方位記号内の複数の直線成分を算出する。方角処理部１１２は、複数の直線成分が所定範囲の大きさの角度をなす交点群を求める。方角処理部１１２は、交点群のうち、中心の位置ＩＣＣからの最遠交点の位置ＣＰ＿ｂｈを求める。最遠交点の位置ＣＰ＿ｂｈは、方角処理部１１２により方位記号に基づいて幾何学的に求められる位置の一例である。最遠交点の位置ＣＰ＿ｂｈは、北の方角に関する位置の一例である。

【0052】

最遠交点の位置の３つ目の例について説明する。方角処理部１１２は、方位記号の画像ｂｈｅ１において、方位記号内の複数の直線成分を算出する。方角処理部１１２は、複数の直線成分が所定範囲の大きさの角度をなす交点群を求める。方角処理部１１２は、交点群のうち、中心の位置ＩＣＣからの最遠交点の位置ＣＰ＿ｂｈｅ１を求める。最遠交点の位置ＣＰ＿ｂｈｅ１は、方角処理部１１２により方位記号に基づいて幾何学的に求められる位置の一例である。最遠交点の位置ＣＰ＿ｂｈｅ１は、北の方角に関する位置の一例である。

【0053】

最遠交点の位置の４つ目の例について説明する。方角処理部１１２は、方位記号の画像ｂｈｅ２において、方位記号内の複数の直線成分を算出する。方角処理部１１２は、複数の直線成分が所定範囲の大きさの角度をなす交点群を求める。方角処理部１１２は、交点群のうち、中心の位置ＩＣＣからの最遠交点の位置ＣＰ＿ｂｈｅ２を求める。最遠交点の位置ＣＰ＿ｂｈｅ２は、方角処理部１１２により方位記号に基づいて幾何学的に求められる位置の一例である。最遠交点の位置ＣＰ＿ｂｈｅ２は、北の方角に関する位置の一例である。

【0054】

方角処理部１１２は、最遠交点について、方位記号の画像における交点群に含まれる複数の交点のうち最遠交点の位置と同方向にある交点の割合を求めてもよい。例えば、同方向は、向きの角度が－１５度から＋１５度といった所定の小さい範囲内であるが、これに限定されない。

【0055】

割合の１つ目の例について説明する。方角処理部１１２は、方位記号の画像ｆｉｌｌにおける交点群に含まれる複数の交点のうち最遠交点の位置ＣＰ＿ｆｉｌｌと同方向にある交点の割合ＣＰｒｔ＿ｆｉｌｌを求めてもよい。

【0056】

割合の２つ目の例について説明する。方角処理部１１２は、方位記号の画像ｂｈにおける交点群に含まれる複数の交点のうち最遠交点の位置ＣＰ＿ｂｈと同方向にある交点の割合ＣＰｒｔ＿ｂｈを求めてもよい。

【0057】

割合の３つ目の例について説明する。方角処理部１１２は、方位記号の画像ｂｈｅ１における交点群に含まれる複数の交点のうち最遠交点の位置ＣＰ＿ｂｈｅ１と同方向にある交点の割合ＣＰｒｔ＿ｂｈｅ１を求めてもよい。

【0058】

割合の４つ目の例について説明する。方角処理部１１２は、方位記号の画像ｂｈｅ２における交点群に含まれる複数の交点のうち最遠交点の位置ＣＰ＿ｂｈｅ２と同方向にある交点の割合ＣＰｒｔ＿ｂｈｅ２を求めてもよい。

【0059】

方角処理部１１２は、求められた２つ以上の位置に基づいて、画像Ｉｍにおける方角を推定する（ステップＳ２３）。ステップＳ２３では、例えば、方角処理部１１２は、２つ以上の位置を用いた幾何学的な計算に基づいて、画像Ｉｍにおける方角を推定する。方角処理部１１２は、２つ以上の位置を用いた幾何学的な計算に基づいて、以下に例示する１つ以上の値を求める。方角処理部１１２は、求められた１つ以上の値に基づくルールにより、画像Ｉｍにおける方角を推定する。例えば、ルールは、ニューラルネットワークを生成する重み付けのルールである。ここでは、方角処理部１１２は、画像Ｉｍにおける方角として画像Ｉｍにおける北の方角を推定する。方角処理部１１２は、推定された画像Ｉｍにおける方角に関するデータを処理データ記憶領域１３２に保存する。以下では、方角処理部１１２により求められる値のいくつかの例について説明するが、方角処理部１１２により求められる値は、ここで例示するものに限定されない。

【0060】

２つ以上の位置が中心の位置ＩＣＣ及び方角を示す文字の位置ＮＣを含む場合、方角処理部１１２は、中心の位置ＩＣＣと方角を示す文字の位置ＮＣとのなす角の値を求める。中心の位置ＩＣＣと方角を示す文字の位置ＮＣとのなす角は、中心の位置ＩＣＣから方角を示す文字の位置ＮＣに向かうベクトルと、ｙ軸と平行な、画像Ｉｍの下から上方向のベクトルとのなす時計回りを正とする角である。以下では、ｙ軸と平行な、画像Ｉｍの下から上方向のベクトルは、基準ベクトルともいう。中心の位置ＩＣＣから方角を示す文字の位置ＮＣに向かうベクトルは、画像Ｉｍにおける北の方角を示す傾向にある。画像Ｉｍにおける北の方角は、中心の位置ＩＣＣと方角を示す文字の位置ＮＣとのなす角の値に応じて異なる。

【0061】

２つ以上の位置が中心の位置ＩＣＣ及び重心の位置ＧＣを含む場合、方角処理部１１２は、中心の位置ＩＣＣと重心の位置ＧＣとのなす角の値を求める。中心の位置ＩＣＣと重心の位置ＧＣとのなす角は、中心の位置ＩＣＣから重心の位置ＧＣに向かうベクトルと、基準ベクトルとのなす時計回りを正とする角である。中心の位置ＩＣＣから重心の位置ＧＣに向かうベクトルは、画像Ｉｍにおける北の方角を示す傾向にある。画像Ｉｍにおける北の方角は、中心の位置ＩＣＣと重心の位置ＧＣとのなす角の値に応じて異なる。

【0062】

２つ以上の位置が中心の位置ＩＣＣ及び最遠点の位置ＦＰ＿ｆｉｌｌを含む場合、方角処理部１１２は、中心の位置ＩＣＣと最遠点の位置ＦＰ＿ｆｉｌｌとのなす角の値を求める。中心の位置ＩＣＣと最遠点の位置ＦＰ＿ｆｉｌｌとのなす角は、中心の位置ＩＣＣから最遠点の位置ＦＰ＿ｆｉｌｌに向かうベクトルと、基準ベクトルとのなす時計回りを正とする角である。中心の位置ＩＣＣから最遠点の位置ＦＰ＿ｆｉｌｌに向かうベクトルは、画像Ｉｍにおける北の方角を示す傾向にある。画像Ｉｍにおける北の方角は、中心の位置ＩＣＣと最遠点の位置ＦＰ＿ｆｉｌｌとのなす角の値に応じて異なる。

【0063】

２つ以上の位置が中心の位置ＩＣＣ及び最遠点の位置ＦＰ＿ｂｈを含む場合、方角処理部１１２は、中心の位置ＩＣＣと最遠点の位置ＦＰ＿ｂｈとのなす角の値を求める。中心の位置ＩＣＣと最遠点の位置ＦＰ＿ｂｈとのなす角は、中心の位置ＩＣＣから最遠点の位置ＦＰ＿ｂｈに向かうベクトルと、基準ベクトルとのなす時計回りを正とする角である。中心の位置ＩＣＣから最遠点の位置ＦＰ＿ｂｈに向かうベクトルは、画像Ｉｍにおける北の方角を示す傾向にある。画像Ｉｍにおける北の方角は、中心の位置ＩＣＣと最遠点の位置ＦＰ＿ｂｈとのなす角の値に応じて異なる。

【0064】

２つ以上の位置が中心の位置ＩＣＣ及び最遠点の位置ＦＰ＿ｂｈｅ１を含む場合、方角処理部１１２は、中心の位置ＩＣＣと最遠点の位置ＦＰ＿ｂｈｅ１とのなす角の値を求める。中心の位置ＩＣＣと最遠点の位置ＦＰ＿ｂｈｅ１とのなす角は、中心の位置ＩＣＣから最遠点の位置ＦＰ＿ｂｈｅ１に向かうベクトルと、基準ベクトルとのなす時計回りを正とする角である。中心の位置ＩＣＣから最遠点の位置ＦＰ＿ｂｈｅ１に向かうベクトルは、画像Ｉｍにおける北の方角を示す傾向にある。画像Ｉｍにおける北の方角は、中心の位置ＩＣＣと最遠点の位置ＦＰ＿ｂｈｅ１とのなす角の値に応じて異なる。

【0065】

２つ以上の位置が中心の位置ＩＣＣ及び最遠点の位置ＦＰ＿ｂｈｅ２を含む場合、方角処理部１１２は、中心の位置ＩＣＣと最遠点の位置ＦＰ＿ｂｈｅ２とのなす角の値を求める。中心の位置ＩＣＣと最遠点の位置ＦＰ＿ｂｈｅ２とのなす角は、中心の位置ＩＣＣから最遠点の位置ＦＰ＿ｂｈｅ２に向かうベクトルと、基準ベクトルとのなす時計回りを正とする角である。中心の位置ＩＣＣから最遠点の位置ＦＰ＿ｂｈｅ２に向かうベクトルは、画像Ｉｍにおける北の方角を示す傾向にある。画像Ｉｍにおける北の方角は、中心の位置ＩＣＣと最遠点の位置ＦＰ＿ｂｈｅ２とのなす角の値に応じて異なる。

【0066】

２つ以上の位置が中心の位置ＩＣＣ及び最遠交点の位置ＣＰ＿ｆｉｌｌを含む場合、方角処理部１１２は、中心の位置ＩＣＣと最遠交点の位置ＣＰ＿ｆｉｌｌとのなす角の値を求める。中心の位置ＩＣＣと最遠交点の位置ＣＰ＿ｆｉｌｌとのなす角は、中心の位置ＩＣＣから最遠交点の位置ＣＰ＿ｆｉｌｌに向かうベクトルと、基準ベクトルとのなす時計回りを正とする角である。中心の位置ＩＣＣから最遠交点の位置ＣＰ＿ｆｉｌｌに向かうベクトルは、画像Ｉｍにおける北の方角を示す傾向にある。画像Ｉｍにおける北の方角は、中心の位置ＩＣＣと最遠交点の位置ＣＰ＿ｆｉｌｌとのなす角の値に応じて異なる。

【0067】

２つ以上の位置が中心の位置ＩＣＣ及び最遠交点の位置ＣＰ＿ｂｈを含む場合、方角処理部１１２は、中心の位置ＩＣＣと最遠交点の位置ＣＰ＿ｂｈとのなす角の値を求める。中心の位置ＩＣＣと最遠交点の位置ＣＰ＿ｂｈとのなす角は、中心の位置ＩＣＣから最遠交点の位置ＣＰ＿ｂｈに向かうベクトルと、基準ベクトルとのなす時計回りを正とする角である。中心の位置ＩＣＣから最遠交点の位置ＣＰ＿ｂｈに向かうベクトルは、画像Ｉｍにおける北の方角を示す傾向にある。画像Ｉｍにおける北の方角は、中心の位置ＩＣＣと最遠交点の位置ＣＰ＿ｂｈとのなす角の値に応じて異なる。

【0068】

２つ以上の位置が中心の位置ＩＣＣ及び最遠交点の位置ＣＰ＿ｂｈｅ１を含む場合、方角処理部１１２は、中心の位置ＩＣＣと最遠交点の位置ＣＰ＿ｂｈｅ１とのなす角の値を求める。中心の位置ＩＣＣと最遠交点の位置ＣＰ＿ｂｈｅ１とのなす角は、中心の位置ＩＣＣから最遠交点の位置ＣＰ＿ｂｈｅ１に向かうベクトルと、基準ベクトルとのなす時計回りを正とする角である。中心の位置ＩＣＣから最遠交点の位置ＣＰ＿ｂｈｅ１に向かうベクトルは、画像Ｉｍにおける北の方角を示す傾向にある。画像Ｉｍにおける北の方角は、中心の位置ＩＣＣと最遠交点の位置ＣＰ＿ｂｈｅ１とのなす角の値に応じて異なる。

【0069】

２つ以上の位置が中心の位置ＩＣＣ及び最遠交点の位置ＣＰ＿ｂｈｅ２を含む場合、方角処理部１１２は、中心の位置ＩＣＣと最遠交点の位置ＣＰ＿ｂｈｅ２とのなす角の値を求める。中心の位置ＩＣＣと最遠交点の位置ＣＰ＿ｂｈｅ２とのなす角は、中心の位置ＩＣＣから最遠交点の位置ＣＰ＿ｂｈｅ２へ向かうベクトルと、基準ベクトルとのなす時計回りを正とする角である。中心の位置ＩＣＣから最遠交点の位置ＣＰ＿ｂｈｅ２に向かうベクトルは、画像Ｉｍにおける北の方角を示す傾向にある。画像Ｉｍにおける北の方角は、中心の位置ＩＣＣと最遠交点の位置ＣＰ＿ｂｈｅ２とのなす角の値に応じて異なる。

【0070】

方角処理部１１２は、画像における方角の推定に割合ＣＰｒｔ＿ｆｉｌｌの値を用いてもよい。割合ＣＰｒｔ＿ｆｉｌｌは、最遠交点の位置ＣＰ＿ｆｉｌｌに基づいて求まる値であり、最遠交点の位置ＣＰ＿ｆｉｌｌは、中心の位置ＩＣＣに基づいて求まる位置である。そのため、割合ＣＰｒｔ＿ｆｉｌｌは、２つ以上の位置を用いた幾何学的な計算に基づいて求まる値の一例である。割合ＣＰｒｔ＿ｆｉｌｌは、中心の位置ＩＣＣから最遠交点の位置ＣＰ＿ｆｉｌｌに向かうベクトルが画像Ｉｍにおける北の方角を示しているのかの確信度を推定した値である。例えば、方位記号で、円形の周囲に沿って、複数の頂点を持つ方位記号の場合、直線成分の交点が中心の位置ＩＣＣに対して分散し、たまたま最遠となった交点と同方向にある交点の割合は低くなる。中心の位置ＩＣＣから最遠交点の位置ＣＰ＿ｆｉｌｌに向かうベクトルが画像Ｉｍにおける北の方角を示しているのかの確信度は、割合ＣＰｒｔ＿ｆｉｌｌの値に応じて異なる。

【0071】

方角処理部１１２は、画像における方角の推定に割合ＣＰｒｔ＿ｂｈの値を用いてもよい。割合ＣＰｒｔ＿ｂｈは、最遠交点の位置ＣＰ＿ｂｈに基づいて求まる値であり、最遠交点の位置ＣＰ＿ｂｈは、中心の位置ＩＣＣに基づいて求まる位置である。そのため、割合ＣＰｒｔ＿ｂｈは、２つ以上の位置を用いた幾何学的な計算に基づいて求まる値の一例である。割合ＣＰｒｔ＿ｂｈは、中心の位置ＩＣＣから最遠交点の位置ＣＰ＿ｂｈに向かうベクトルが画像Ｉｍにおける北の方角を示しているのかの確信度を推定した値である。中心の位置ＩＣＣから最遠交点の位置ＣＰ＿ｂｈに向かうベクトルが画像Ｉｍにおける北の方角を示しているのかの確信度は、割合ＣＰｒｔ＿ｂｈの値に応じて異なる。

【0072】

方角処理部１１２は、画像における方角の推定に割合ＣＰｒｔ＿ｂｈｅ１の値を用いてもよい。割合ＣＰｒｔ＿ｂｈｅ１は、最遠交点の位置ＣＰ＿ｂｈｅ１に基づいて求まる値であり、最遠交点の位置ＣＰ＿ｂｈｅ１は、中心の位置ＩＣＣに基づいて求まる位置である。そのため、割合ＣＰｒｔ＿ｂｈｅ１は、２つ以上の位置を用いた幾何学的な計算に基づいて求まる値の一例である。割合ＣＰｒｔ＿ｂｈｅ１は、中心の位置ＩＣＣから最遠交点の位置ＣＰ＿ｂｈｅ１に向かうベクトルが画像Ｉｍにおける北の方角を示しているのかの確信度を推定した値である。中心の位置ＩＣＣから最遠交点の位置ＣＰ＿ｂｈｅ１に向かうベクトルが画像Ｉｍにおける北の方角を示しているのかの確信度は、割合ＣＰｒｔ＿ｂｈｅ１の値に応じて異なる。

【0073】

方角処理部１１２は、画像における方角の推定に割合ＣＰｒｔ＿ｂｈｅ２の値を用いてもよい。割合ＣＰｒｔ＿ｂｈｅ２は、最遠交点の位置ＣＰ＿ｂｈｅ２に基づいて求まる値であり、最遠交点の位置ＣＰ＿ｂｈｅ２は、中心の位置ＩＣＣに基づいて求まる位置である。そのため、割合ＣＰｒｔ＿ｂｈｅ２は、２つ以上の位置を用いた幾何学的な計算に基づいて求まる値の一例である。割合ＣＰｒｔ＿ｂｈｅ２は、中心の位置ＩＣＣから最遠交点の位置ＣＰ＿ｂｈｅ２に向かうベクトルが画像Ｉｍにおける北の方角を示しているのかの確信度を推定した値である。中心の位置ＩＣＣから最遠交点の位置ＣＰ＿ｂｈｅ２に向かうベクトルが画像Ｉｍにおける北の方角を示しているのかの確信度は、割合ＣＰｒｔ＿ｂｈｅ２の値に応じて異なる。

【0074】

方角処理部１１２は、中心の位置ＩＣＣ及び中心の位置ＩＣＣとは異なる他の位置の直線距離の縦横成分が画像ｏｒｇの縦横サイズとなす比の値を求めてもよい。比の値は、他の値が画像ｏｒｇにおいて中心の位置ＩＣＣからどの程度離れているかを指標化した値である。画像Ｉｍにおける北の方角は、比の値に応じて異なる。

【0075】

２つ以上の位置が中心の位置ＩＣＣ及び方角を示す文字の位置ＮＣを含む場合、方角処理部１１２は、中心の位置ＩＣＣ及び方角を示す文字の位置ＮＣの直線距離の縦横成分が画像ｏｒｇの縦横サイズとなす比の値を求める。２つ以上の位置が中心の位置ＩＣＣ及び重心の位置ＧＣを含む場合、方角処理部１１２は、中心の位置ＩＣＣ及び重心の位置ＧＣの直線距離の縦横成分が画像ｏｒｇの縦横サイズとなす比の値を求める。２つ以上の位置が中心の位置ＩＣＣ及び最遠点の位置ＦＰ＿ｆｉｌｌを含む場合、方角処理部１１２は、中心の位置ＩＣＣ及び最遠点の位置ＦＰ＿ｆｉｌｌの直線距離の縦横成分が画像ｏｒｇの縦横サイズとなす比の値を求める。２つ以上の位置が中心の位置ＩＣＣ及び最遠点の位置ＦＰ＿ｂｈを含む場合、方角処理部１１２は、中心の位置ＩＣＣ及び最遠点の位置ＦＰ＿ｂｈの直線距離の縦横成分が画像ｏｒｇの縦横サイズとなす比の値を求める。２つ以上の位置が中心の位置ＩＣＣ及び最遠点の位置ＦＰ＿ｂｈｅ１を含む場合、方角処理部１１２は、中心の位置ＩＣＣ及び最遠点の位置ＦＰ＿ｂｈｅ１の直線距離の縦横成分が画像ｏｒｇの縦横サイズとなす比の値を求める。２つ以上の位置が中心の位置ＩＣＣ及び最遠点の位置ＦＰ＿ｂｈｅ２を含む場合、方角処理部１１２は、中心の位置ＩＣＣ及び最遠点の位置ＦＰ＿ｂｈｅ２の直線距離の縦横成分が画像ｏｒｇの縦横サイズとなす比の値を求める。ここで、方位記号の画像ｏｒｇの前処理により、最遠点が小さくなった場合に、当該最遠点が北向きを示す確信度は、下がる傾向にある。そのため、中心の位置ＩＣＣ及び最遠点の位置ＦＰ＿ｆｉｌｌの直線距離の値、中心の位置ＩＣＣ及び最遠点の位置ＦＰ＿ｂｈの直線距離の値、中心の位置ＩＣＣ及び最遠点の位置ＦＰ＿ｂｈｅ１の直線距離の値及び中心の位置ＩＣＣ及び最遠点の位置ＦＰ＿ｂｈｅ２の直線距離の値を利用している。

【0076】

上述のように、サーバ１は、画像Ｉｍにおける２つ以上の位置に基づいて、画像Ｉｍにおける方角を推定することができる。
サーバ１は、画像Ｉｍにおける２つ以上の位置を用いればよいので、方位記号の形状によらず画像Ｉｍにおける方角を推定することができる。サーバ１は、画像Ｉｍにおける２つ以上の位置を用いればよいので、計算処理量を増やすことなく、画像Ｉｍにおける方角を推定することができる。そのため、サーバ１は、方位記号を含む画像Ｉｍにおける方角を容易に推定することができる。

【0077】

上述のように、サーバ１は、画像Ｉｍにおける２つ以上の位置を用いた幾何学的な計算に基づいて、画像Ｉｍにおける方角を推定することができる。
サーバ１は、画像Ｉｍにおける２つ以上の位置を用いた幾何学的な計算をすればよいので、方位記号の形状によらず画像Ｉｍにおける方角を推定することができる。サーバ１は、画像Ｉｍにおける２つ以上の位置を用いた幾何学的な計算をすればよいので、計算処理量を増やすことなく、画像Ｉｍにおける方角を推定することができる。

【0078】

上述のように、画像Ｉｍにおける２つ以上の位置は、方位記号についての中心の位置を含むことができる。
サーバ１は、方位記号についての中心の位置を基準とすることで、方位記号についての中心の位置及び方位記号に基づく他の位置を用いて、画像Ｉｍにおける方角を推定することができる。

【0079】

上述のように、画像Ｉｍにおける２つ以上の位置は、北の方角に関する位置を含むことができる。
方位記号に基づく北の方角に関する位置は、方位記号についての中心の位置を基準として、方位記号で示される北の方角に概ね沿った位置にあり得る。そのため、サーバ１は、方位記号に基づく北の方角に関する位置を用いることで、画像Ｉｍにおける方角を推定することができる。

【0080】

上述の方角の推定処理で用いられる画像例について説明する。

【0081】

図５は、方位記号の画像ｏｒｇの一例を示す図である。
方位記号の画像ｏｒｇは、画像Ｉｍから抽出された画像である。

【0082】

図６は、方角を示す文字の位置ＮＣの一例を示す図である。
方角を示す文字の位置ＮＣは、方角を示す文字の領域の中心の位置である。

【0083】

図７は、方位記号の画像ｂｗの一例を示す図である。
方位記号の画像ｂｗは、方位記号の画像ｏｒｇに基づいて生成された画像である。
凸多角形ＣＰは、方位記号の画像ｂｗ内において、方位記号を含む凸多角形である。
中心の位置ＩＣＣは、凸多角形ＣＰの内接円の中心の位置である。
重心の位置ＧＣは、凸多角形ＣＰの重心の位置である。

【0084】

図８は、方位記号の画像ｆｉｌｌの一例を示す図である。
方位記号の画像ｆｉｌｌは、方位記号の画像ｂｗに基づいて生成される画像である。
最遠点の位置ＦＰ＿ｆｉｌｌは、方位記号の画像ｆｉｌｌにおいて、中心の位置ＩＣＣから最も遠い方位記号の位置である。

【0085】

図９は、方位記号の画像ｂｈの一例を示す図である。
方位記号の画像ｂｈは、方位記号の画像ｂｗに基づいて生成される画像である。
最遠点の位置ＦＰ＿ｂｈは、方位記号の画像ｂｈにおいて、中心の位置ＩＣＣから最も遠い方位記号の位置である。

【0086】

図１０は、方位記号の画像ｂｈｅ１の一例を示す図である。
方位記号の画像ｂｈｅ１は、方位記号の画像ｂｈに基づいて生成される画像である。
最遠点の位置ＦＰ＿ｂｈｅ１は、方位記号の画像ｂｈｅ１において、中心の位置ＩＣＣから最も遠い方位記号の位置である。

【0087】

図１１は、方位記号の画像ｂｈｅ２の一例を示す図である。
方位記号の画像ｂｈｅ２は、方位記号の画像ｂｈに基づいて生成される画像である。
最遠点の位置ＦＰ＿ｂｈｅ２は、方位記号の画像ｂｈｅ２において、中心の位置ＩＣＣから最も遠い方位記号の位置である。

【0088】

図１２は、方位記号の画像ｆｉｌｌの一例を示す図である。
方位記号の画像ｆｉｌｌは、方位記号内の複数の直線成分及び方位記号内の複数の直線成分に基づく交点群を示す。交点群に含まれる複数の交点のうち、中心の位置ＩＣＣから最も遠い交点の位置が最遠交点の位置ＣＰ＿ｆｉｌｌである。

【0089】

図１３は、方位記号の画像ｂｈの一例を示す図である。
方位記号の画像ｂｈは、方位記号内の複数の直線成分及び方位記号内の複数の直線成分に基づく交点群を示す。交点群に含まれる複数の交点のうち、中心の位置ＩＣＣから最も遠い交点の位置が最遠交点の位置ＣＰ＿ｂｈである。

【0090】

図１４は、方位記号の画像ｂｈｅ１の一例を示す図である。
方位記号の画像ｂｈｅ１は、方位記号内の複数の直線成分及び方位記号内の複数の直線成分に基づく交点群を示す。交点群に含まれる複数の交点のうち、中心の位置ＩＣＣから最も遠い交点の位置が最遠交点の位置ＣＰ＿ｂｈｅ１である。

【0091】

図１５は、方位記号の画像ｂｈｅ２の一例を示す図である。
方位記号の画像ｂｈｅ２は、方位記号内の複数の直線成分及び方位記号内の複数の直線成分に基づく交点群を示す。交点群に含まれる複数の交点のうち、中心の位置ＩＣＣから最も遠い交点の位置が最遠交点の位置ＣＰ＿ｂｈｅ２である。

【0092】

図１６は、ステップＳ３のサーバ１による物件における方角の推定処理の一例を示すフローチャートである。

【0093】

物件処理部１１３は、取得部１１１により取得された画像データで表される画像Ｉｍに基づいて、画像Ｉｍに含まれる物件の構成を求める（ステップＳ３１）。ステップＳ３１では、例えば、物件処理部１１３は、画像データで表される画像Ｉｍに基づいて、セマンティックセグメンテーションによる領域判定を実行する。物件処理部１１３は、セマンティックセグメンテーションによる領域判定に基づいて、領域判定ビットマップを作成する。画像データで表される画像Ｉｍを物件の第１の画像とする場合、領域判定ビットマップは、画像Ｉｍに基づく物件の第２の画像である。物件処理部１１３は、領域判定ビットマップに基づいて、画像Ｉｍに含まれる物件の構成を求める。物件処理部１１３は、物件の構成に基づいて、物件の間取り構造を表す間取りグラフを作成する。間取りグラフは、物件の複数の要素のそれぞれをノードとして示し、ノード間をエッジとして示す画像である。間取りグラフは、エッジに関連付けられた要素間の配置関係を含む。

【0094】

物件の構成は、物件がどのように構成されているのかを示す。物件の構成は、物件の複数の要素のうちの１組以上の要素間の配置関係を含む。１組の要素は、２つの要素で構成される。配置関係は、画像Ｉｍにおける要素間の方向に基づく配置関係である。複数の要素は、第１の要素及び第２の要素を含むものとする。第１の要素及び第２の要素を１組の要素とする場合、配置関係は、画像Ｉｍにおける第１の要素と第２の要素との間の方向に基づく配置関係である。

【0095】

一例では、第１の要素と第２の要素との間の方向に基づく配置関係は、第１の要素に対する第２の要素の配置関係である。第１の要素に対する第２の要素の配置関係は、画像Ｉｍにおける第１の要素から第２の要素への方向を示す。画像Ｉｍにおける第１の要素から第２の要素への方向は、上、下、左、右、右上、右下、左上又は左下のうちの何れかでもよいし、これら以外の方向でもよい。別の例では、第１の要素と第２の要素との間の方向に基づく配置関係は、第１の要素と第２の要素との間の相互の方向を示す。第１の要素と第２の要素との間の相互の方向は、縦又は横の何れかでもよいし、これら以外の方向でもよい。縦は、上下ともいう。横は、左右ともいう。要素間の配置関係は、同じ種類の要素間の配置関係でもよいし、異なる種類の要素間の配置関係でもよい。要素の種類は、問わない。

【0096】

１組以上の要素間の配置関係は、１組以上の扉と領域との間の配置関係及び１組以上の窓と領域との間の配置関係のうちの一方又は両方を含むことができる。扉と領域との間の配置関係は、扉と領域との間の方向に基づく配置関係である。例えば、扉と領域との間の配置関係は、近接する扉と領域との間の領域から扉の長辺に対する方向に基づく配置関係である。扉と領域との間の方向に基づく配置関係は、扉の長辺と領域との間の方向に基づく配置関係を含む。扉と領域との間の方向に基づく配置関係は、領域に対する扉の配置関係である。領域に対する扉の配置関係は、領域に対する扉の長辺の配置関係を含む。扉と領域との間の方向に基づく配置関係は、領域から扉への方向を示す。領域から扉への方向は、領域から扉の長辺に対する方向を含む。窓と領域との間の配置関係は、窓と領域との間の方向に基づく配置関係である。例えば、窓と領域との間の配置関係は、近接する窓と領域との間の領域から窓の長辺に対する方向に基づく配置関係である。窓と領域との間の方向に基づく配置関係は、窓の長辺と領域との間の方向に基づく配置関係を含む。窓と領域との間の方向に基づく配置関係は、領域に対する窓の配置関係である。領域に対する窓の配置関係は、領域に対する窓の長辺の配置関係を含む。窓と領域との間の方向に基づく配置関係は、領域から窓への方向を示す。領域から窓への方向は、領域から窓の長辺に対する方向を含む。

【0097】

１組以上の要素間の配置関係は、１組以上の部屋間の配置関係を含むことができる。例えば、部屋間の配置関係は、部屋の中心間の配置関係である。部屋の中心間の配置関係は、部屋間の相互の方向を示してもよい。

【0098】

１組以上の要素間の配置関係は、１組以上の玄関と部屋との間の配置関係である。例えば、玄関と部屋との間の配置関係は、玄関の中心と部屋の中心との間の配置関係である。玄関の中心と部屋の中心との間の配置関係は、玄関から部屋への方向又は部屋から玄関への方向を示してもよい。

【0099】

物件処理部１１３は、画像Ｉｍにおける方角に基づいて、画像Ｉｍに含まれる物件における方角を推定する（ステップＳ３２）。ステップＳ３２では、例えば、物件処理部１１３は、画像Ｉｍにおける方角及び画像Ｉｍに含まれる物件の構成に基づいて、物件における方角を推定する。方角処理部１１２は、推定された画像Ｉｍに含まれる物件における方角に関するデータを処理データ記憶領域１３２に保存する。

【0100】

一例では、画像Ｉｍにおける方角は、画像Ｉｍにおける北の方角であるものとする。物件の構成は、窓と領域との間の配置関係を含んでいるものとする。窓と領域との間の配置関係は、ＬＤＫから屋外と繋がる窓への方向を示すものとする。この例では、方角処理部１１２は、窓と領域との間の配置関係を、画像Ｉｍにおける北の方角と比較することにより、物件における方角として、屋外と繋がる窓等のメインの窓が配置された方角を推定することができる。

【0101】

別の例では、画像Ｉｍにおける方角は、画像Ｉｍにおける北の方角であるものとする。物件の構成は、玄関と部屋との間の配置関係を含んでいるものとする。玄関と部屋との間の配置関係は、ＬＤＫから玄関への方向を示しているものとする。この例では、方角処理部１１２は、玄関と部屋との間の配置関係を、画像Ｉｍにおける北の方角と比較することにより、物件における方角として、玄関が配置された方角を推定することができる。

【0102】

上述のように、サーバ１は、画像Ｉｍにおける方角に基づいて、画像Ｉｍに含まれる物件における方角を推定することができる。
サーバ１は、画像Ｉｍにおける方角を参照することで、物件の構成だけからでは推定できない物件における方角を推定することができる。例えば、物件における方角は、ユーザが物件選びの参考にするための情報である。屋外と繋がる窓等のメインの窓が配置された方角は、いわゆる南向き等、日当たり等を重視するユーザにとって有益な情報である。玄関が配置された方角は、風水を重視するユーザにとって有益な情報である。

【0103】

［他の実施形態］
上述の実施形態では、物件の画像が物件の間取り図の画像である例を説明したが、これに限定されない。物件の画像は、物件を含む建物の外観図又は設計図等の物件に関する種々の画像でもよい。

【0104】

上述の実施形態では、画像データが物件の画像及び方位記号の画像を含む画像を表すデータである例を説明したが、これに限定されない。画像データは、少なくとも方位記号の画像を含む画像を表すデータであればよい。画像データで表される画像は、物件の画像を含んでいなくてもよい。そのため、上述の実施形態は、不動産についての技術分野以外の分野に対しても適用可能である。この場合、ステップＳ３の処理は、省略される。

【0105】

上述の実施形態では、サーバ１の補助記憶デバイス１３が種々のデータを記憶する例を説明したが、これに限定されない。サーバ１とは異なるサーバは、サーバ１に代えて種々のデータを記憶してもよい。サーバ１とは異なる複数のサーバは、サーバ１に代えて種々のデータを分散して記憶してもよい。

【0106】

上述の実施形態における「１つ以上」の表記は、１つ又は複数を意図したものであり、「１つ」と読み替えてもよいし、「複数」と読み替えてもよい。

【0107】

上述の実施形態における「２つ以上」の表記は、２つ又は３つ以上を意図したものであり、「２つ」と読み替えてもよいし、「３つ以上」と読み替えてもよい。

【0108】

上述の実施形態では、部屋間の配置関係及び玄関と部屋との間の配置関係を領域間の配置関係の例として説明したが、これらに限定されない。領域間の配置関係は、同じ種類の領域間の配置関係であってもよいし、異なる種類の領域間の配置関係であってもよい。領域の種類は、問わない。１組以上の要素間の配置関係は、１組以上の領域間の配置関係を含んでいればよい。

【0109】

画像処理装置は、サーバ１を例にして説明したが、これに限定されない。画像処理装置は、サーバ１と同様の機能を備える電子機器で実現されてもよい。電子機器は、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、スマートフォン又はタブレット端末等の端末でもよい。

【0110】

画像処理装置は、上述の実施形態で説明したサーバ１のような１つの装置で実現されてもよいし、機能を分散させた複数の装置で実現されてもよい。

【0111】

上述の実施形態は、装置だけでなく、装置が実行する方法に適用されてもよい。上述の実施形態は、装置のコンピュータに各機能を実行させることが可能なプログラムに適用されてもよい。上述の実施形態は、プログラムを記憶する記録媒体に適用されてもよい。

【0112】

処理回路を構成する１つ以上の回路のそれぞれは、複数の処理のうちの１つ以上の処理を実行する。処理回路が単一の回路で構成される場合、単一の回路は、複数の処理の全部を実行する。処理回路が複数の回路で構成される場合、複数の回路のそれぞれは、複数の処理のうちの一部を実行する。複数の処理のうちの一部は、複数の処理のうちの１つでもよいし、複数の処理のうちの２つ以上でもよい。処理回路が複数の回路で構成される場合、複数の回路は、１つの装置に含まれていてもよいし、複数の装置に分散していてもよい。

【0113】

プログラムは、実施形態に係る装置に記憶された状態で譲渡されてよいし、装置に記憶されていない状態で譲渡されてもよい。後者の場合は、プログラムは、ネットワークを介して譲渡されてよいし、記録媒体に記録された状態で譲渡されてもよい。記録媒体は、非一時的な有形の媒体である。記録媒体は、コンピュータ可読媒体である。記録媒体は、ＣＤ－ＲＯＭ、メモリカード等のプログラムを記憶可能かつコンピュータで読取可能な媒体であればよく、その形態は問わない。

【0114】

要するにこの発明は、本実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、本実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、本実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合わせてもよい。

【0115】

上述のいくつかの実施形態は、以下のように表現されてもよい。
［１］ 画像から方位記号を抽出し、
前記方位記号に基づいて前記画像における２つ以上の位置を求め、
前記２つ以上の位置に基づいて、前記画像における方角を推定する、
方角処理部を備える、画像処理装置。
［２］ 前記方角処理部は、前記２つ以上の位置を用いた幾何学的な計算に基づいて、前記画像における方角を推定する、［１］に記載の画像処理装置。
［３］ 前記２つ以上の位置は、、前記方位記号についての中心の位置を含む、［１］又は［２］に記載の画像処理装置。
［４］ 前記２つ以上の位置は、北の方角に関する位置を含む、［１］から［３］の何れかに記載の画像処理装置。
［５］ 前記画像における方角に基づいて、前記画像に含まれる物件における方角を推定する物件処理部をさらに備える、［１］から［４］の何れかに記載の画像処理装置。
［６］ 画像から方位記号を抽出することと、
前記方位記号に基づいて前記画像における２つ以上の位置を求めることと、
前記２つ以上の位置に基づいて、前記画像における方角を推定することと、
を備える画像処理方法。
［７］ ［１］から［５］のうちの何れかに記載の画像処理装置が備える各部の処理をコンピュータに実行させることが可能な画像処理プログラム。

【符号の説明】

【0116】

１…サーバ、１１…処理回路、１２…メインメモリ、１３…補助記憶デバイス、１４…通信インタフェース、１１１…取得部、１１２…方角処理部、１１３…物件処理部、１３１…画像記憶領域、１３２…処理データ記憶領域。

【要約】      （修正有）

【課題】方位記号を含む画像における方角を容易に推定するように画像データを処理する画像処理装置、画像処理方法及び画像処理プログラムを提供する。
【解決手段】画像処理装置であるサーバ１は、対象物件について取得部が取得した画像から方位記号を抽出し、前記方位記号に基づいて前記画像における２つ以上の位置を求め、前記２つ以上の位置に基づいて、前記画像における方角を推定する方角処理部を備える。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】