IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ シャープ株式会社の特許一覧

特開2023-173783表示制御装置、表示制御システム、及び表示制御方法
<>
  • 特開-表示制御装置、表示制御システム、及び表示制御方法 図1
  • 特開-表示制御装置、表示制御システム、及び表示制御方法 図2
  • 特開-表示制御装置、表示制御システム、及び表示制御方法 図3
  • 特開-表示制御装置、表示制御システム、及び表示制御方法 図4
  • 特開-表示制御装置、表示制御システム、及び表示制御方法 図5
  • 特開-表示制御装置、表示制御システム、及び表示制御方法 図6
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023173783
(43)【公開日】2023-12-07
(54)【発明の名称】表示制御装置、表示制御システム、及び表示制御方法
(51)【国際特許分類】
   G09B 29/00 20060101AFI20231130BHJP
【FI】
G09B29/00 A
【審査請求】未請求
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2022086268
(22)【出願日】2022-05-26
(71)【出願人】
【識別番号】000005049
【氏名又は名称】シャープ株式会社
(74)【代理人】
【識別番号】100168583
【弁理士】
【氏名又は名称】前井 宏之
(72)【発明者】
【氏名】太田 真登
【テーマコード(参考)】
2C032
【Fターム(参考)】
2C032HB05
2C032HC21
2C032HC24
2C032HC26
(57)【要約】
【課題】ユーザーが探している撮像画像がどの画像グループに含まれているかを、同ユーザーが容易に判別可能な表示制御装置を提供する。
【解決手段】第1プロセッサー15は、第1取得部16と、第2取得部17と、抽出部19と、表示制御部21とを備える。第1取得部16は、地図の一部を示す部分画像M1を示す情報を取得する。第2取得部17は、部分画像M1に含まれ、地図上の区画Kを示す区画情報を取得する。抽出部19は、部分画像M1に対応する位置で撮像された撮像画像を抽出する。表示制御部21は、第2取得部17によって取得された区画情報と、抽出部19によって抽出された撮像画像が撮影された位置とに基づいて、撮像画像が撮影された位置が含まれる区画Kを示す枠Wの表示を制御する。
【選択図】図2
【特許請求の範囲】
【請求項1】
地図の一部を示す部分画像を示す情報を取得する第1取得部と、
前記部分画像に含まれ、前記地図上の区画を示す区画情報を取得する第2取得部と、
前記部分画像に対応する位置で撮像された撮像画像を抽出する抽出部と、
前記第2取得部によって取得された前記区画情報と、前記抽出部によって抽出された前記撮像画像が撮影された位置とに基づいて、前記撮像画像が撮影された位置が含まれる区画を示す画像の表示を制御する表示制御部と
を備える、表示制御装置。
【請求項2】
前記地図の縮尺を設定する縮尺設定部と、
前記撮像画像が有する位置情報に基づいて前記撮像画像をグループ化するグループ設定部と
を備え、
前記抽出部は、前記縮尺設定部によって前記地図の縮尺が設定されることで、前記地図の縮尺に対応付けられた前記撮像画像を抽出し、
前記グループ設定部は、前記縮尺設定部によって設定された前記地図の縮尺に対応付けられた前記区画毎に、前記抽出部によって抽出された前記撮像画像をグループ化し、
前記表示制御部は、前記グループ設定部によってグループ化された前記撮像画像のうちの代表画像をサムネイル画像として前記区画毎に表示するように制御する、請求項1に記載の表示制御装置。
【請求項3】
前記撮像画像は、時間情報を含み、
前記表示制御部は、前記撮像画像の時間情報に基づいて、最新の時間情報が付与された前記撮像画像をサムネイル画像として前記区画毎に表示するように制御する、請求項2に記載の表示制御装置。
【請求項4】
前記表示制御部は、前記サムネイル画像を選択する指示信号が入力された場合、選択された前記サムネイル画像の位置に対応する区画のグループに含まれる前記撮像画像のサムネイル画像のリストを表示するように制御する、請求項2又は請求項3に記載の表示制御装置。
【請求項5】
前記表示制御部は、前記サムネイル画像上にマウスアイコンが重畳されたことを検出する検出信号が入力された場合、前記マウスアイコンが重畳された位置が含まれる区画を示す画像を表示するように制御する、請求項2又は請求項3に記載の表示制御装置。
【請求項6】
前記撮像画像は、識別情報を含み、
グループ設定部は、前記識別情報を検索する検索信号が入力された場合、入力された前記検索信号の前記識別情報に基づいて前記抽出部が抽出した前記撮像画像をグループ化する、請求項2又は請求項3に記載の表示制御装置。
【請求項7】
前記表示制御部は、ネットワークカメラにて撮像された前記位置情報を含む撮像画像の映像解析によって検知されたイベント情報と、前記位置情報とに基づいて決定される前記サムネイル画像を表示するように制御する、請求項2又は請求項3に記載の表示制御装置。
【請求項8】
地図の一部を示す部分画像を表示する表示装置と、
前記部分画像を示す情報と、前記部分画像に含まれ、前記地図上の区画を示す区画情報と、前記部分画像に対応する位置で撮像された撮像画像とを記憶する記憶装置と、
前記表示装置を制御する表示制御装置と
を備え、
前記表示制御装置は、
前記記憶装置から前記部分画像を示す情報を取得する第1取得部と、
前記記憶装置から前記区画情報を取得する第2取得部と、
前記記憶装置から前記撮像画像を抽出する抽出部と、
前記第2取得部によって取得された前記区画情報と、前記抽出部によって抽出された前記撮像画像が撮影された位置とに基づいて、前記撮像画像が撮影された位置が含まれる区画を示す画像を表示するように、表示装置を制御する表示制御部と
を含む、表示制御システム。
【請求項9】
地図の一部を示す部分画像を示す情報を取得するステップと、
前記部分画像に含まれ、前記地図上の区画を示す区画情報を取得するステップと、
前記部分画像に対応する位置で撮像された撮像画像を抽出するステップと、
取得した前記区画情報と、抽出した前記撮像画像が撮影された位置とに基づいて、前記撮像画像が撮影された位置が含まれる区画を示す画像を表示するように制御するステップと、
を包含する、表示制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、表示制御装置、表示制御システム、及び表示制御方法に関する。
【背景技術】
【0002】
地図画像への撮像画像のサムネイル画像の表示を制御する表示制御装置、表示制御システム、及び表示制御方法が開発されている。例えば、特許文献1に開示されている画像表示装置は、地図画像に含まれる撮像画像のサムネイル画像が互いに重なるか否かを、撮像画像の撮影位置情報とサムネイル画像のサイズに基づいて判定する。特許文献1に開示されている画像表示装置は、重複判定の結果と撮影日時情報とを用いて複数のサムネイル画像を1つのグループにグループ化し、グループに含まれるサムネイル画像のいずれかをグループの代表画像とする。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2011-119832号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1の画像表示装置は、単に、撮像画像の撮影位置情報とサムネイル画像のサイズとに基づいて重複判定を行った上で、サムネイル画像のグループ化を行っているだけである。このため、複数のサムネイル画像が、地図画像上における、画像を表示している位置からの距離によって集約されることとなる。その結果、地図画像上においてサムネイル画像をグループ化する範囲(集約範囲)が地図の縮尺によって大きく変化する(集約範囲の枠が動的である)。そのため、特に、地図の縮尺が大きい場合には、ユーザーが探している撮像画像が、サムネイル画像のグループの境界において、どのサムネイル画像のグループに含まれているかを、ユーザーが容易に判別することができないという問題があった。
【0005】
本開示は、上記課題に鑑みてなされたものであり、ユーザーが探している撮像画像がどの画像グループに含まれているかを、同ユーザーが容易に判別可能な表示制御装置、表示制御システム、及び表示制御方法を提供することを目的としている。
【課題を解決するための手段】
【0006】
上記目的を達成するために、本開示では、表示制御装置は、第1取得部と、第2取得部と、抽出部と、表示制御部とを備える。第1取得部は、地図の一部を示す部分画像を示す情報を取得する。第2取得部は、部分画像に含まれ、地図上の区画を示す区画情報を取得する。抽出部は、部分画像に対応する位置で撮像された撮像画像を抽出する。表示制御部は、第2取得部によって取得された区画情報と、抽出部によって抽出された撮像画像が撮影された位置とに基づいて、撮像画像が撮影された位置が含まれる区画を示す画像の表示を制御する。
【0007】
本開示では、表示制御システムは、表示装置と、記憶装置と、表示制御装置とを備える。表示装置は、地図の一部を示す部分画像を表示する。記憶装置は、部分画像を示す情報と、部分画像に含まれ、地図上の区画を示す区画情報と、部分画像に対応する位置で撮像された撮像画像とを記憶する。表示制御装置は、表示装置を制御する。表示制御装置は、第1取得部と、第2取得部と、抽出部と、表示制御部とを含む。第1取得部は、記憶装置から部分画像を示す情報を取得する。第2取得部は、記憶装置から区画情報を取得する。抽出部は、記憶装置から撮像画像を抽出する。表示制御部は、第2取得部によって取得された区画情報と、抽出部によって抽出された撮像画像が撮影された位置とに基づいて、撮像画像が撮影された位置が含まれる区画を示す画像を表示するように、表示装置を制御する。
【0008】
本開示の表示制御方法では、地図の一部を示す部分画像を示す情報を取得し、部分画像に含まれ、地図上の区画を示す区画情報を取得し、部分画像に対応する位置で撮像された撮像画像を抽出し、取得した区画情報と、抽出した撮像画像が撮影された位置とに基づいて、撮像画像が撮影された位置が含まれる区画を示す画像を表示するように制御する。
【発明の効果】
【0009】
本開示に係る表示制御装置、表示制御システム、及び表示制御方法によれば、地図上の区画を示す区画情報と、撮像画像が撮影された位置とに基づいて、撮像画像が撮影された位置が含まれる区画を示す画像を表示させることから、ユーザーが探している撮像画像がどの画像グループに含まれているかを、ユーザーが容易に判別することができる。
【図面の簡単な説明】
【0010】
図1】本実施形態に係る表示制御装置(第1プロセッサー)を備えるクライアント端末を含む画像検索システムの全体構成を示すブロック図である。
図2】本実施形態に係る表示制御装置(第1プロセッサー)が制御するクライアント端末の表示部において地図画像の区画を広域地理区画にて変化させた場合の表示部の表示変化を示す概略図である。
図3】本実施形態に係る表示制御装置(第1プロセッサー)の全体構成を示すブロック図である。
図4】本実施形態に係る表示制御装置(第1プロセッサー)を含む画像検索システムの動作を示すシーケンス図である。
図5】本実施形態に係る表示制御装置(第1プロセッサー)が制御するクライアント端末の表示部において地図画像の区画を広域地理区画から上級行政区画に変化させた場合の表示部の表示変化を示す概略図である。
図6】本実施形態に係る表示制御装置(第1プロセッサー)が制御するクライアント端末の表示部において地図画像の区画を上級行政区画から基礎行政区画に変化させた場合の表示部の表示変化を示す概略図である。
【発明を実施するための形態】
【0011】
以下、実施形態における表示制御装置について、図1から図3を参照しながら説明する。図1は、本実施形態に係る表示制御装置(第1プロセッサー15)を備えるクライアント端末10を含む画像検索システム30の全体構成を示すブロック図である。図2は、本実施形態に係る表示制御装置(第1プロセッサー15)が制御するクライアント端末10の表示部11において地図画像Mの区画Kを広域地理区画にて変化させた場合の表示部11の表示変化を示す概略図である。図3は、本実施形態に係る表示制御装置(第1プロセッサー15)の全体構成を示すブロック図である。
【0012】
まず、実施形態における表示制御装置である図1の第1プロセッサー15を備えるクライアント端末10(「表示制御システム」の一例)について説明する。
【0013】
なお、以下では、実施形態における表示制御装置(第1プロセッサー15)を、図1に示すクライアント端末10に備えた場合について説明するが、実施形態における表示制御装置は、クライアント端末10に備えたものに限定されるものではない。例えば、後述する画像検索システム30における認証サーバー31、地図タイルサーバー35、或いは検索サーバー39に備えることも可能である。認証サーバー31に備える場合は、表示制御装置は、第2プロセッサー33となる。地図タイルサーバー35に備える場合は、表示制御装置は、第3プロセッサー37となる。検索サーバー39に備える場合は、表示制御装置は、第4プロセッサー41となる。
【0014】
図1及び図2に示すように、クライアント端末10は、地図上に撮像画像(不図示)のサムネイル画像SG(代表サムネイル画像SG1)を、撮像画像が有する位置情報に合わせて表示する。クライアント端末10は、地図の縮尺を変更することで、撮像画像の絞り込みを行う画像検索システム30に用いられる。クライアント端末10は、地図画像M(部分画像M1)及びサムネイル画像SG(代表サムネイル画像SG1)を画面上に表示する。クライアント端末10は、例えば、スマートフォン、タブレット、パーソナルコンピューター、テレビ受像装置等であり、地図を画面上に表示可能な装置である。
【0015】
クライアント端末10は、表示部11(「表示装置」の一例)と、第1記憶部12(「記憶装置」の一例)と、撮像部13と、入力部14と、第1プロセッサー15と、第1通信部22とを備える。
【0016】
表示部11は、各種表示を行う。表示部11は、地図画像Mを表示する。表示部11は、地図の一部を示す部分画像M1を表示する。ここで、地図の一部を示す部分画像M1とは、所定の範囲を示す地図画像M(基準となる地図画像)の一部分の画像である。具体的には、部分画像M1は、基準となる地図画像Mの縮尺を変更することによって得られる地図画像である。例えば、基準となる地図画像Mが日本国全体の場合は、部分画像M1は、近畿地方及びその周辺地方を含む範囲を示す地図画像、大阪府及びその周辺都道府県を含む範囲を示す地図画像、或いは、大阪市及びその周辺市町村を含む範囲を示す地図画像等である。
【0017】
第1記憶部12は、フラッシュメモリー、又はRAM(Random Access Memory)等であって、第1プロセッサー15によって実行されるプログラム、及び第1プロセッサー15によるプログラムの実行によって生成されるデーター等を記憶する。第1記憶部12は、部分画像M1を示す情報と、区画情報と、撮像画像とを記憶する。
【0018】
部分画像M1を示す情報は、部分画像M1が示す地図の縮尺、部分画像M1が示す地図の範囲における位置情報(緯度、経度)である。区画情報は、部分画像M1に含まれる地図上の区画Kを示す情報である。ここで、区画Kとは、地図上の決められた境界であり、例えば、全国、地方等の広域地理区画、都道府県等の上級行政区画、市町村等の基礎行政区画である。
【0019】
撮像画像は、地図画像Mに対応する位置で撮像された画像であり、位置情報(緯度、経度)を有する画像(静止画又は動画)である。撮像画像は、部分画像M1に対応する位置で撮像された画像を含む。撮像画像は、時間情報を含む。撮像画像は、撮像された日時が時間情報として付与される。撮像画像は、識別情報を含む。識別情報とは、ユーザーU(図4参照、以下同じ)が任意に入力して撮像画像に付加可能な情報である。識別情報は、例えば、建設現場や消火器の情報、撮像部13の機種名、撮像部13の撮影モード、撮像部13を向けた方角などが挙げられる。
【0020】
撮像部13は、撮像画像を撮像する。撮像部13は、例えば、インターネットに接続可能なネットワークカメラ、スマートフォン等に搭載されるカメラ等である。
【0021】
入力部14は、ユーザーUによる情報の入力を受け付ける。入力部14は、例えば、タッチパネル、ボタン、キー等によって構成される。
【0022】
第1プロセッサー15は、CPU(Central Processing Unit)、又はMPU(Micro-processing Unit)等であって、第1記憶部12に格納されるプログラムに従って、クライアント端末10における各種の情報処理を実行する。第1プロセッサー15は、表示部11を制御する。図3に示すように、第1プロセッサー15は、第1取得部16と、第2取得部17と、縮尺設定部18と、抽出部19と、グループ設定部20と、表示制御部21とを備える。
【0023】
第1取得部16は、第1記憶部12から部分画像M1を示す情報を取得する。第2取得部17は、第1記憶部12から区画情報を取得する。
【0024】
縮尺設定部18は、地図の縮尺を設定する。縮尺設定部18は、ユーザーUが入力部14を操作して地図の縮尺を変更することで、地図の縮尺を設定する。
【0025】
抽出部19は、第1記憶部12から撮像画像を抽出する。抽出部19は、縮尺設定部18によって地図の縮尺が設定されることで、地図の縮尺に対応する撮像画像を抽出する。
【0026】
グループ設定部20は、撮像画像が有する位置情報に基づいて撮像画像をグループ化する。第1記憶部12に記憶される撮像画像は、それぞれ位置情報(緯度、経度)を持っているため、グループ設定部20は、撮像画像が有する位置情報を区画情報に変換した上で、撮像画像を区画K毎にグループ化する。グループ設定部20は、縮尺設定部18によって設定された地図の縮尺に対応付けられた区画K毎に、抽出部19によって抽出された撮像画像をグループ化する。地図の縮尺に対応付けられた区画K毎に撮像画像をグループ化することで、地図画像上において撮像画像をグループ化する範囲(集約範囲)が地図の縮尺によって大きく変化しない。そのため、地図の縮尺が大きい場合であっても、ユーザーUが探している撮像画像がどの画像グループに含まれているかを容易に判別することができる。
【0027】
グループ設定部20は、縮尺設定部18によって設定された地図の縮尺に応じてグループ化する区画Kを設定する。グループ設定部20は、設定した区画Kに基づいて抽出部19によって抽出された撮像画像をグループ化する。グループ設定部20は、撮像画像が有する位置情報を区画情報に変換した上で撮像画像がグループ化する区画K内で撮像されたか否かを判断し、撮像画像をグループ化する。例えば、縮尺設定部18によって、表示部11に表示される部分画像M1の表示範囲が10kmから30km程度に設定された場合には、グループ設定部20は、グループ化する区画Kを都道府県等の上級行政区画に設定する。グループ設定部20は、撮像画像が有する位置情報から上級行政区画を判定する。グループ設定部20は、上級行政区画を判定した撮像画像が、グループ化する上級行政区画(例えば、大阪府)内で撮像されたものであるか否かを判断し、撮像されたものであると判断した場合には、その撮像画像を設定した上級行政区画のグループに振り分ける。
【0028】
グループ設定部20は、撮像画像に含まれる識別情報を検索する検索信号が入力された場合、入力された検索信号の識別情報に基づいて抽出部19が抽出した撮像画像をグループ化する。撮像画像に含まれる識別情報に基づいて撮像画像をグループ化することで、識別情報による撮像画像の絞り込みが可能である。例えば、撮像画像をグループ化するに際して撮像部13の機種名と撮像部13のユーザーU(検索対象者)とを紐付けた場合に、撮像部13の機種名で検索することで、撮像部13のユーザーU(検索対象者)の撮像画像を絞り込むことができる。
【0029】
表示制御部21は、表示部11を制御する。表示制御部21は、第2取得部17によって取得された区画情報と、抽出部19によって抽出された撮像画像が撮影された位置とに基づいて、撮像画像が撮影された位置が含まれる区画Kを示す画像の表示を制御する。区画情報と、撮像画像が撮影された位置とに基づいて、撮像画像が撮影された位置が含まれる区画Kを示す画像を表示することから、ユーザーUが探している撮像画像がどの画像グループに含まれているかを容易に判別することができる。具体的には、第2取得部17によって取得された区画情報が広域地理区画の「近畿地方」であり、撮像画像が撮影された位置が「大阪府」の場合は、図2に示すように、表示制御部21は、撮像画像が撮影された位置(大阪府)が含まれる区画K(近畿地方)を示す画像である枠Wを地図の部分画像M1上の近畿地方の境界に表示させるように表示部11を制御する。
【0030】
表示制御部21は、グループ設定部20によってグループ化された撮像画像のうちの代表画像を代表サムネイル画像SG1として区画K毎に表示するように表示部11を制御する。具体的には、グループ設定部20が撮像画像を広域地理区画毎にグループ化した場合は、図2に示すように、表示制御部21は、グループ設定部20がグループ化した撮像画像の代表画像を代表サムネイル画像SG1として広域地理区画毎に表示部11に表示させる。表示部11に表示される代表サムネイル画像SG1のアイコンには、グループ化されている撮像画像を検索する際の検索キーワード(例えば、区画Kの区画情報)が付与されている。
【0031】
表示制御部21は、撮像画像の時間情報に基づいて、最新の時間が付与された撮像画像を代表サムネイル画像SG1として区画K毎に表示するように表示部11を制御する。表示制御部21は、グループ設定部20がグループ化した撮像画像のうち最新に撮像された撮像画像を代表サムネイル画像SG1として区画K毎に表示部11に表示させる。最新の日時が付与された撮像画像を代表サムネイル画像SG1として区画K毎に表示することから、ユーザーUが、代表サムネイル画像SG1を見るだけで、最新の日時が付与された撮像画像を区画K毎に検索することができる。
【0032】
表示制御部21は、撮像部13にて撮像された位置情報を含む撮像画像の映像解析によって検知されたイベント情報と、撮像画像の位置情報とに基づいて決定される代表サムネイル画像SG1を表示部11に表示するように制御する。ここで、イベント情報とは、ユーザーUの撮像画像の過去の操作情報である。特に、撮像部13がネットワークカメラ(定点カメラ、例えば、道路などに設置された複数の監視カメラ)の場合には、ネットワークカメラに関係付けられた位置情報に基づいて区画K毎に特定の代表サムネイル画像SG1を表示部11に表示する。なお、この特定の代表サムネイル画像SG1は、タイマーによって所定時間毎に切り替えて表示部11に表示させても良い。そして、表示制御部21は、ネットワークカメラが撮像した撮像画像からイベント情報として交通事故、交通渋滞などのイベントが発生したことを検知した場合、代表サムネイル画像SG1を、検知したイベント情報に関するネットワークカメラの撮像画像に切り替えて表示部11に表示させる。イベント情報と、撮像画像の位置情報とに基づいて、代表サムネイル画像SG1を決定することからユーザーUはある区画Kとその代表サムネイル画像の組み合わせを認知できる。なお、検知したイベント情報に関する撮像画像を代表サムネイル画像SG1として表示部11に表示させる場合には、検知したイベント情報のイベントが発生している区画Kに絞り込んで、代表サムネイル画像SG1とともに、検知したイベント情報をテキスト表示で表示部11に表示させても構わない。このようにイベント情報をテキスト表示で表示部11に表示させることで、イベントが発生している区画KをユーザーUが容易に認知することができる。
【0033】
図1に示すように、第1通信部22は、Bluetooth(「Bluetooth」は登録商標。以下、同様)、WiFi等の無線通信インターフェース、或いは有線通信インターフェース等である。
【0034】
次に、クライアント端末10を備える画像検索システム30について説明する。画像検索システム30は、地図画像M(部分画像M1)上に撮像画像のサムネイル画像SG(代表サムネイル画像SG1)を、撮像画像が有する位置情報に合わせて表示するとともに、地図の縮尺を変更することで、撮像画像の絞り込みを行うシステムである。図1に示すように、画像検索システム30は、クライアント端末10と、認証サーバー31と、地図タイルサーバー35と、検索サーバー39とを備える。
【0035】
認証サーバー31は、クライアント端末10において地図の検索が可能なユーザーUであるかを判定するためのサーバーである。認証サーバー31は、ユーザーUからのログイン要求によって、要求を行ったユーザーUが地図検索機能を使用できるユーザーであるか否かを判定する。認証サーバー31は、第2記憶部32と、第2プロセッサー33と、第2通信部34とを備える。
【0036】
第2記憶部32は、フラッシュメモリー又はRAM等であって、第2プロセッサー33によって実行されるプログラム、及び第2プロセッサー33によるプログラムの実行によって生成されるデーター等を記憶する。
【0037】
第2プロセッサー33は、CPU又はMPU等であって、第2記憶部32に格納されるプログラムに従って、認証サーバー31における各種の情報処理を実行する。第2プロセッサー33は、クライアント端末10からの認証要求によって、要求を行ったユーザーUが地図検索機能を使用できるユーザーUであるか否かを判定する。
【0038】
第2通信部34は、Bluetooth、WiFi等の無線通信インターフェース、或いは有線通信インターフェース等である。第2通信部34は、クライアント端末10の第1通信部22及び検索サーバー39の第4通信部42と通信可能に構成されている。すなわち、認証サーバー31は、クライアント端末10及び検索サーバー39との間でデーターの送受信が可能である。
【0039】
地図タイルサーバー35は、クライアント端末10の表示部11に表示させる地図画像M(部分画像M1)をクライアント端末10から読み込むためのタイルサーバーである。地図タイルサーバー35は、ユーザーUがクライアント端末10の表示部11に表示されている地図画像M(部分画像M1)を、表示部11の画面上で移動させる、或いは表示部11の画面上の地図の縮尺を変更することによって、地図画像M(部分画像M1)のデーター(地図タイル)をクライアント端末10に送信する。地図タイルサーバー35は、第3記憶部36と、第3プロセッサー37と、第3通信部38とを備える。
【0040】
第3記憶部36は、フラッシュメモリー又はRAM等であって、第3プロセッサー37によって実行されるプログラム、及び第3プロセッサー37によるプログラムの実行によって生成されるデーター等を記憶する。第3記憶部36は、部分画像M1を示す情報及び区画情報を含む地図情報を記憶する。
【0041】
第3プロセッサー37は、CPU又はMPU等であって、第3記憶部36に格納されるプログラムに従って、地図タイルサーバー35における各種の情報処理を実行する。第3プロセッサー37は、クライアント端末10からの地図タイルの要求によって、要求された地図画像M(部分画像M1)のデーター(地図タイル)を作成する。具体的には、クライアント端末10の第1プロセッサー15の縮尺設定部18が地図の縮尺を設定することで、第3プロセッサー37は、設定された地図の縮尺に合う地図画像M(部分画像M1)のデーター(地図タイル)を作成する。
【0042】
第3通信部38は、Bluetooth、WiFi等の無線通信インターフェース、或いは有線通信インターフェース等である。第3通信部38は、クライアント端末10の第1通信部22と通信可能に構成されている。すなわち、地図タイルサーバー35は、クライアント端末10との間でデーターの送受信が可能である。第3通信部38は、クライアント端末10からの地図タイルの要求によって、要求された地図画像M(部分画像M1)のデーター(地図タイル)をクライアント端末10に送信する。具体的には、クライアント端末10の第1プロセッサー15の縮尺設定部18が地図の縮尺を設定することで、第3通信部38は、第3プロセッサー37が作成した地図画像M(部分画像M1)のデーター(地図タイル)をクライアント端末10に送信する。第3通信部38は、部分画像M1を示す情報をクライアント端末10に送信する。第3通信部38は、区画情報をクライアント端末10に送信する。
【0043】
検索サーバー39は、クライアント端末10の表示部11に表示させる撮像画像を検索するためのサーバーである。検索サーバー39は、クライアント端末10からの検索リクエストによって、要求された撮像画像とサムネイル画像SGとを検索し、検索結果及びサムネイル画像SGのデーターをクライアント端末10に送信する。
【0044】
ここで、クライアント端末10からの検索リクエストは、ユーザーUがクライアント端末10の表示部11に表示されている地図画像M(部分画像M1)を、表示部11の画面上で移動させること、ユーザーUが表示部11の画面上の地図の縮尺を変更すること、及びユーザーUが表示部11に表示されている代表サムネイル画像SG1のアイコンを選択する(クリックする)ことによって行われる。
【0045】
ユーザーUが、クライアント端末10の表示部11に表示されている地図画像M(部分画像M1)を、表示部11の画面上で移動させること、或いは表示部11の画面上の地図の縮尺を変更することで、地図画像M(部分画像M1)の位置情報(緯度、経度)及び地図の縮尺の情報が、検索リクエストとして、クライアント端末10から送信される。
【0046】
ユーザーUが、表示部11に表示されている代表サムネイル画像SG1のアイコンを選択する(クリックする)ことで、代表サムネイル画像SG1のアイコンに付与されている検索キーワード(例えば、区画Kの区画情報)が、検索リクエストとして、クライアント端末10から送信される。
【0047】
検索サーバー39は、第4記憶部40と、第4プロセッサー41と、第4通信部42と、API(Applicatiоn Programming Interface)43と、ファイルサーバー44とを備える。
【0048】
第4記憶部40は、フラッシュメモリー又はRAM等であって、第4プロセッサー41によって実行されるプログラム、及び第4プロセッサー41によるプログラムの実行によって生成されるデーター等を記憶する。
【0049】
第4プロセッサー41は、CPU又はMPU等であって、第4記憶部40に格納されるプログラムに従って、検索サーバー39における各種の情報処理を実行する。第4プロセッサー41は、クライアント端末10からの検索リクエストによって、要求された撮像画像とサムネイル画像SGとをファイルサーバー44から検索する。
【0050】
第4通信部42は、Bluetooth、WiFi等の無線通信インターフェース、或いは有線通信インターフェース等である。第4通信部42は、クライアント端末10の第1通信部22及び認証サーバー31の第2通信部34と通信可能に構成されている。すなわち、検索サーバー39は、クライアント端末10及び認証サーバー31との間でデーターの送受信が可能である。
【0051】
API43は、第4プロセッサー41がファイルサーバー44から撮像画像及びサムネイル画像SGを検索して取得するためのインターフェースである。
【0052】
ファイルサーバー44は、ユーザーUからの検索リクエストによって、要求された撮像画像とサムネイル画像SGとを検索する。ファイルサーバー44は、検索データベース45と、サムネイルデータベース46とを備える。
【0053】
検索データベース45は、クライアント端末10からストリーミング等によって送られてくる撮像画像を記憶する。サムネイルデータベース46は、クライアント端末10からストリーミング等によって送られてくるサムネイル画像SGを記憶する。
【0054】
ファイルサーバー44は、検索データベース45から撮像画像を検索する。ファイルサーバー44は、検索した撮像画像に基づいて、サムネイルデータベース46からサムネイル画像SGを検索し、サムネイル画像SGのデーターを生成する。ファイルサーバー44は、撮像画像が有する位置情報(緯度、経度)から撮像画像が撮像された区画K(都市名)を特定し、特定した区画Kの区画情報を撮像画像に付与する。ファイルサーバー44は、位置情報(緯度、経度)に対応する区画情報を記憶しているため、撮像画像が有する位置情報(緯度、経度)から撮像画像が撮像された区画K(都市名)を特定することができる。
【0055】
次に、図1及び図4を参照して、画像検索システム30の動作について説明する。図4は、本実施形態に係る表示制御装置(第1プロセッサー15)を含む画像検索システム30の動作を示すシーケンス図である。
【0056】
図4に示すように、ステップS1において、ユーザーUがクライアント端末10に対してログイン要求を行うと、ステップS2において、クライアント端末10は認証サーバー31に対して認証要求を行う。ステップS2において、認証要求が認められた場合、認証サーバー31は、ステップS3において、認証承認を行う。すなわち、認証サーバー31は、ステップS3において、ログイン要求を行ったユーザーUが地図検索機能を使用できるユーザーであると判定する。ステップS4において、クライアント端末10は、ユーザーUに対してログインを承認する。
【0057】
ステップS5において、ユーザーUが、クライアント端末10の表示部11に表示されている地図画像M(部分画像M1)を表示部11の画面上で移動させる、或いは表示部11の画面上の地図画像M(部分画像M1)の縮尺を変更することで、クライアント端末10は、ステップS6において、地図タイルサーバー35に対して表示部11に表示させる地図画像M(部分画像M1)のデーター(地図タイル)を要求する。ステップS6において、クライアント端末10は、地図画像M(部分画像M1)の位置情報(緯度、経度)を地図タイルサーバー35に送信する。ステップS7において、地図タイルサーバー35は、クライアント端末10から送信される位置情報に対応する地図画像M(部分画像M1)のデーター(地図タイル)をクライアント端末10に送信する。クライアント端末10の第1取得部16は、ステップS7によって、地図画像M(部分画像M1)のデーター(地図タイル)を取得する。すなわち、クライアント端末10の第1取得部16は、ステップS7によって、地図の一部を示す部分画像M1を示す情報を取得する。また、クライアント端末10の第2取得部17は、ステップS7によって、部分画像M1に含まれ、地図上の区画Kを示す区画情報を取得する。さらに、クライアント端末10の縮尺設定部18は、ステップS7によって、地図の縮尺を設定する。さらにまた、クライアント端末10は、表示部11に表示される地図画像M(部分画像M1)を生成する。
【0058】
一方で、ステップS5において、ユーザーUが、クライアント端末10の表示部11に表示されている地図画像M(部分画像M1)を表示部11の画面上で移動させる、或いは表示部11の画面上の地図画像M(部分画像M1)の縮尺を変更することで、クライアント端末10は、ステップS8において、検索サーバー39に対して検索リクエストを行う。検索サーバー39は、ステップS9において、API43に対して検索リクエストを行う。API43は、ステップS10において、ファイルサーバー44に対して検索リクエストを行う。ステップS10によって、ファイルサーバー44は、クライアント端末10から送信される地図画像M(部分画像M1)の位置情報に基づいて、地図画像M(部分画像M1)に表示される地域において撮像された撮像画像を検索データベース45から検索する。
【0059】
ステップS11において、ファイルサーバー44は、検索した撮像画像のデーター(検索結果)をAPI43に送信する。ステップS12において、API43は、検索結果に基づくサムネイル画像SGをファイルサーバー44のサムネイルデータベース46から読み込み。ステップS13において、ファイルサーバー44は、検索結果に基づくサムネイル画像SGのデーターをAPI43に送信する。
【0060】
ステップS14において、API43は、検索した撮像画像のデーター(検索結果)及び検索結果に基づくサムネイル画像SGのデーターを検索サーバー39に送信する。ステップS15において、検索サーバー39は、検索した撮像画像のデーター(検索結果)及び検索結果に基づくサムネイル画像SGのデーターをクライアント端末10に送信する。クライアント端末10の抽出部19は、ステップS15によって、部分画像M1に対応する位置で撮像された撮像画像を抽出する。また、クライアント端末10のグループ設定部20は、ステップS15によって、検索結果の撮像画像をグループ化する。すなわち、クライアント端末10のグループ設定部20は、ステップS15によって、撮像画像が有する位置情報に基づいて撮像画像をグループ化する。さらに、クライアント端末10の表示制御部21は、グループ設定部20によってグループ化された撮像画像のうちの代表画像を区画K毎に表示部11に表示するための代表サムネイル画像SG1(地図アイコン)を生成する。ステップS16において、クライアント端末10の表示制御部21は、ステップS7において取得した地図画像M(部分画像M1)のデーター(地図タイル)に、ステップS15によって生成した代表サムネイル画像SG1(地図アイコン)を重ねた地図画像M(部分画像M1)を表示部11に表示する。また、クライアント端末10の表示制御部21は、ステップS16において、第2取得部17によって取得された区画情報と、抽出部19によって抽出された撮像画像が撮影された位置とに基づいて、撮像画像が撮影された位置が含まれる区画Kを示す枠Wを、表示部11に表示するように制御する。
【0061】
次に、図2図5及び図6を参照して、クライアント端末10の表示部11において地図画像Mの区画Kを変化させた場合の表示部11の表示変化について説明する。図5は、本実施形態に係る表示制御装置(第1プロセッサー15)が制御するクライアント端末10の表示部11において地図画像Mの区画Kを広域地理区画から上級行政区画に変化させた場合の表示部11の表示変化を示す概略図である。図6は、本実施形態に係る表示制御装置(第1プロセッサー15)が制御するクライアント端末10の表示部11において地図画像Mの区画Kを上級行政区画から基礎行政区画に変化させた場合の表示部11の表示変化を示す概略図である。
【0062】
ユーザーUが、表示部11に表示されている地図画像Mの縮尺を変更することで、表示部11には、部分画像M1が表示される。具体的には、図2に示すように、表示部11に日本国の地図画像Mが表示されている場合に、ユーザーUが、表示部11に表示される部分画像M1の表示範囲を、例えば、50kmから100km程度に設定することで、表示部11には、所定の広域地理区画の範囲(例えば、近畿地方及びその周辺)の部分画像M1が表示される。
【0063】
表示部11に、所定の広域地理区画の範囲の部分画像M1が表示されると、グループ設定部20は、撮像画像を広域地理区画毎にグループ化する。さらに、表示制御部21は、グループ設定部20がグループ化した撮像画像の代表画像を代表サムネイル画像SG1として、広域地理区画毎に、部分画像M1に重ねて表示部11に表示する。また、表示制御部21は、代表サムネイル画像SG1のアイコンの所定位置(例えば、右上)に、グループ設定部20がグループ化した撮像画像の集計枚数を表示する。
【0064】
さらに、代表サムネイル画像SG1のアイコンの上にマウスアイコンAが重なること(マウスオーバー)で、代表サムネイル画像SG1のアイコンに付与されている区画情報の区画Kが枠Wによって囲まれた状態で表示される。すなわち、表示制御部21は、代表サムネイル画像SG1上にマウスアイコンAが重畳されたことを検出する検出信号が入力された場合、マウスアイコンAが重畳された位置が含まれる区画Kを示す画像(枠W)を表示するように、表示部11を制御する。具体的には、近畿地方で撮像された撮像画像をクループ化したグループの代表サムネイル画像SG1のアイコンの上にマウスアイコンAが重なること(マウスオーバー)で、部分画像M1上の近畿地方を示す領域に枠Wが表示される。代表サムネイル画像SG1上にマウスアイコンAが重畳されることで、マウスアイコンAが重畳された位置が含まれる区画Kを示す画像(枠W)が表示されることから、代表サムネイル画像SG1の属する画像グループの撮像画像が撮像された区画Kを、ユーザーUが瞬時に判別することができる。
【0065】
さらにまた、代表サムネイル画像SG1のアイコンがクリックされることで、代表サムネイル画像SG1の属するグループの撮像画像のサムネイル画像SGが表示部11に一覧で表示される。すなわち、表示制御部21は、代表サムネイル画像SG1を選択する指示信号が入力された場合、選択された代表サムネイル画像SG1の位置に対応する区画Kのグループに含まれる撮像画像のサムネイル画像SGのリストを表示するように、表示部11を制御する。具体的には、近畿地方で撮像された撮像画像をクループ化したグループの代表サムネイル画像SG1のアイコンをクリックすることで、近畿地方で撮像された撮像画像のサムネイル画像SGの一覧が表示部11に表示される。代表サムネイル画像SG1を選択することで、選択された代表サムネイル画像SG1の位置に対応する区画Kのグループに含まれる撮像画像のサムネイル画像SGのリストが表示されることから、代表サムネイル画像SG1の属する画像グループの撮像画像を、ユーザーUが区画K毎に容易に検索することができる。
【0066】
さらにまた、図5に示すように、表示部11に所定の広域地理区画の範囲の部分画像M1が表示されている場合に、ユーザーUが、表示部11に表示される部分画像M1の表示範囲を、例えば、10kmから30km程度に設定することで、表示部11には、所定の上級行政区画の範囲(例えば、大阪府及びその周辺)の部分画像M1が表示される。
【0067】
表示部11に、所定の上級行政区画の範囲の部分画像M1が表示されると、グループ設定部20は、撮像画像を上級行政区画毎にグループ化する。さらに、表示制御部21は、グループ設定部20がグループ化した撮像画像の代表画像を代表サムネイル画像SG1として、上級行政区画毎に、部分画像M1に重ねて表示部11に表示する。また、表示制御部21は、代表サムネイル画像SG1のアイコンの所定位置(例えば、右上)に、グループ設定部20がグループ化した撮像画像の集計枚数を表示する。
【0068】
さらに、代表サムネイル画像SG1のアイコンの上にマウスアイコンAが重なること(マウスオーバー)で、代表サムネイル画像SG1のアイコンに付与されている区画情報の区画Kが枠Wによって囲まれた状態で表示される。具体的には、大阪府で撮像された撮像画像をクループ化したグループの代表サムネイル画像SG1のアイコンの上にマウスアイコンAが重なること(マウスオーバー)で、部分画像M1上の大阪府を示す領域に枠Wが表示される。
【0069】
さらにまた、代表サムネイル画像SG1のアイコンがクリックされることで、代表サムネイル画像SG1の属するグループの撮像画像のサムネイル画像SGが表示部11に一覧で表示される。具体的には、大阪府で撮像された撮像画像をクループ化したグループの代表サムネイル画像SG1のアイコンをクリックすることで、大阪府で撮像された撮像画像のサムネイル画像SGの一覧が表示部11に表示される。
【0070】
さらにまた、図6に示すように、表示部11に所定の上級行政区画の範囲の部分画像M1が表示されている場合に、ユーザーUが、表示部11に表示される部分画像M1の表示範囲を、例えば、1kmから5km程度に設定することで、表示部11には、所定の基礎行政区画の範囲(例えば、大阪市〇〇区及びその周辺)の部分画像M1が表示される。
【0071】
表示部11に、所定の基礎行政区画の範囲の部分画像M1が表示されると、グループ設定部20は、撮像画像を基礎行政区画毎にグループ化する。さらに、表示制御部21は、グループ設定部20がグループ化した撮像画像の代表画像を代表サムネイル画像SG1として、基礎行政区画毎に、部分画像M1に重ねて表示部11に表示する。また、表示制御部21は、代表サムネイル画像SG1のアイコンの所定位置(例えば、右上)に、グループ設定部20がグループ化した撮像画像の集計枚数を表示する。
【0072】
さらに、代表サムネイル画像SG1のアイコンの上にマウスアイコンAが重なること(マウスオーバー)で、代表サムネイル画像SG1のアイコンに付与されている区画情報の区画Kが枠Wによって囲まれた状態で表示される。具体的には、大阪市〇〇区で撮像された撮像画像をクループ化したグループの代表サムネイル画像SG1のアイコンの上にマウスアイコンAが重なること(マウスオーバー)で、部分画像M1上の大阪市〇〇区を示す領域に枠Wが表示される。
【0073】
さらにまた、代表サムネイル画像SG1のアイコンがクリックされることで、代表サムネイル画像SG1の属するグループの撮像画像のサムネイル画像SGが表示部11に一覧で表示される。具体的には、大阪市〇〇区で撮像された撮像画像をクループ化したグループの代表サムネイル画像SG1のアイコンをクリックすることで、大阪市〇〇区で撮像された撮像画像のサムネイル画像SGの一覧が表示部11に表示される。
【0074】
以上のように、本実施形態によると、地図上の区画Kを示す区画情報と、撮像画像が撮影された位置とに基づいて、撮像画像が撮影された位置が含まれる区画Kを示す画像(枠W)を表示させることから、ユーザーUが探している撮像画像がどの画像グループに含まれているかを、ユーザーUが容易に判別することができる。
【0075】
なお、本実施形態では、区画Kを、広域地理区画、上級行政区画、及び基礎行政区画としているが、これに限定されるものではなく、地図上の決められた区画であれば、家屋等の建物、或いは工場等の施設における境界を区画Kとしても構わない。
【0076】
例えば、基準となる地図画像Mが複数の建屋を有する工場の地図画像である場合、各建屋(例えば、第1工場、第2工場・・・・)を1つの区画Kとして設定し、撮像された撮像画像を区画Kである建屋毎にグループ化する。さらに、建屋毎にグループ化された撮像画像のうちの代表画像を代表サムネイル画像SG1として建屋毎に表示する。さらにまた、代表サムネイル画像SG1のアイコンの上にマウスアイコンAが重なること(マウスオーバー)で、代表サムネイル画像SG1の属するグループの撮像画像が撮像された建屋を示す地図画像M上の領域が枠Wによって囲まれた状態で表示される。
【0077】
また、本実施形態では、第1取得部16が、第1記憶部12から部分画像M1を示す情報を取得しているが、これに限定されるものではなく、例えば、地図タイルサーバー35の第3記憶部36から部分画像M1を示す情報を取得しても構わない。
【0078】
さらに、本実施形態では、第2取得部17が、第1記憶部12から区画情報を取得しているが、これに限定されるものではなく、例えば、地図タイルサーバー35の第3記憶部36から区画情報を取得しても構わない。
【0079】
さらにまた、本実施形態では、抽出部19は、第1記憶部12から撮像画像を抽出しているが、これに限定されるものではなく、例えば、ファイルサーバー44から撮像画像を抽出しても構わない。
【0080】
以上、図面を参照しながら本開示の実施形態を説明した。但し、本開示は、上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲で種々の態様において実施することが可能である。図面は、理解しやすくするために、それぞれの構成要素を主体に模式的に示しており、図示された各構成要素の厚み、長さ、個数、間隔等は、図面作成の都合上から実際とは異なる。また、上記の実施形態で示す各構成要素の材質、形状、寸法等は一例であって、特に限定されるものではなく、本開示の構成から実質的に逸脱しない範囲で種々の変更が可能である。
【産業上の利用可能性】
【0081】
本開示は、ユーザーが探している撮像画像がどの画像グループに含まれているかを、同ユーザーが容易に判別することができる。よって、本開示の産業上の利用可能性は大きい。
【符号の説明】
【0082】
13 撮像部
15 第1プロセッサー
16 第1取得部
17 第2取得部
18 縮尺設定部
19 抽出部
20 グループ設定部
21 表示制御部
A マウスアイコン
K 区画
M1 部分画像
SG サムネイル画像
SG1 代表サムネイル画像
W 枠
図1
図2
図3
図4
図5
図6