(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-06-10
(45)【発行日】2025-06-18
(54)【発明の名称】画像処理装置、画像処理方法、およびプログラム
(51)【国際特許分類】
G06T 1/00 20060101AFI20250611BHJP
G06F 3/04845 20220101ALI20250611BHJP
【FI】
G06T1/00 200E
G06F3/04845
(21)【出願番号】P 2023137057
(22)【出願日】2023-08-25
【審査請求日】2025-02-18
【新規性喪失の例外の表示】特許法第30条第2項適用 令和4年11月18日 リサーチ・フェア2022 ストリートビューを用いた地物検索支援~ユーザ操作の分析と近傍地物表示制御による対話型地理情報システムの提案~ を通じて発表、 令和4年11月26日 令和4年電気関係学会関西連合大会 https://kjciee.secretari.jp/reg2022/ 電気関係学会関西連合大会(Web),2022(CD-ROM)のROMBUNNO.G11-12 を通じて発表、 令和5年3月5日 第15回データ工学と情報マネジメントに関するフォーラム(第21回日本データベース学会年次大会) https://events.zoom.us/ejl/At_flWoopkOLZPNcs0lXQzGxiclPYYc1Sy_D037rhLB8POwlqjQL~A11K94SbfxYte3-o-KOuaZ-dczaypbQhn-KczVffVNCzGH0SBZ-QaPuYAQia57OTzGu-KWJTmSFMc-poC1NV-6amhMkdpxbRb を通じて発表、 令和5年3月9日 第15回データ工学と情報マネジメントに関するフォーラム(第21回日本データベース学会年次大会) を通じて発表、 令和5年4月25日 https://proceedings-of-deim.github.io/DEIM2023/ を通じて発表。
【早期審査対象出願】
(73)【特許権者】
【識別番号】503092180
【氏名又は名称】学校法人関西学院
(73)【特許権者】
【識別番号】504050275
【氏名又は名称】株式会社 ミックウェア
(74)【代理人】
【識別番号】100115749
【氏名又は名称】谷川 英和
(72)【発明者】
【氏名】角谷 和俊
【審査官】益戸 宏
(56)【参考文献】
【文献】特開2012-042570(JP,A)
【文献】特開2011-039130(JP,A)
【文献】国際公開第2008/015803(WO,A1)
【文献】廣瀬正義 他2名,GeminiMap:ユーザ操作を用いた地図および写真の連動方式,電子情報通信学会 第18回データ工学ワークショップ論文集,2007年06月01日
【文献】小林加織里 他2名,オンライン地図におけるユーザ操作に基づくストリートビュー自動生成システム,第2回データ工学と情報マネジメントに関するフォーラム-DEIM 2010-論文集,2010年05月25日
(58)【調査した分野】(Int.Cl.,DB名)
G06T 1/00
G06F 3/048
G09B 29/00
(57)【特許請求の範囲】
【請求項1】
2以上の各操作に対する操作識別子の集合を定義する操作列定義と操作の意図を識別する意図識別子との対応を示す2以上の対応情報が格納される対応管理部と、
位置情報に対応付く画像である第一画像を出力する第一出力部と、
前記第一画像に対する2以上の各操作を識別する操作識別子の集合である操作列を受け付ける操作列受付部と、
前記操作列受付部が受け付けた前記操作列に合致する1以上の各操作列定義に対応する意図識別子である意図列を前記対応管理部から取得する意図列取得部と、
第二画像を出力する第二出力部と、
前記意図列取得部が取得した前記意図列に対する操作列定義を満たす1以上の操作を前記第二画像に対して行う操作部とを具備する画像処理装置。
【請求項2】
前記対応管理部には、
操作列定義と操作の塊であるチャンクを識別するチャンク識別子との対応を示す2以上の第一対応情報と、1以上のチャンク識別子の集合であるチャンク列の定義であるチャンク列定義と意図識別子との対応を示す2以上の第二対応情報とが格納され、
前記意図列取得部は、
前記操作列受付部が受け付けた前記操作列に合致する1以上の各操作列定義に対応する1以上のチャンク識別子の集合である1以上のチャンク列を前記2以上の第一対応情報から取得し、当該1以上のチャンク列に合致するチャンク列定義に対応する1以上の意図識別子を前記2以上の第二対応情報から取得する請求項1記載の画像処理装置。
【請求項3】
地物を識別する地物識別子と、当該地物のカテゴリと当該地物の位置情報とを含む2以上の地物属性値とを有する2以上の地物情報が格納される地物管理部を参照し、前記第一画像に対応付く位置情報を用いて、前記第一画像の中の地物であり、注目条件に合致する注目地物を決定する注目地物決定部と、
前記注目地物のカテゴリを前記地物管理部から取得するカテゴリ取得部と、
前記カテゴリ取得部が取得した前記カテゴリと同一のカテゴリの地物であり、前記第二画像の中の地物である対象地物を決定する対象地物決定部とをさらに具備し、
前記操作部は、
前記意図列取得部が取得した前記1以上の各意図識別子に対する操作列定義を満たす1以上の操作を、前記対象地物に対して行う請求項2記載の画像処理装置。
【請求項4】
前記操作部は、
前記対象地物の位置情報を用いて、当該対象地物に対して、前記意図識別子で識別される意図に応じた位置関係を保つように、前記対象地物に対して操作を行う請求項3記載の画像処理装置。
【請求項5】
前記操作列定義は、正規表現を用いた1以上の操作識別子であり、
前記チャンク列定義は、正規表現を用いた1以上のチャンク識別子であり、
前記操作部は、
前記対象地物の位置情報を用いて、当該対象地物に対して、意図識別子で識別される意図に応じた位置関係を保つように、チャンク識別子の繰り返し回数を変更する、またはチャンク識別子の選択を変更する、または操作識別子の繰り返し回数を変更する、または操作識別子の選択を変更し、前記対象地物に対して操作を行う請求項4記載の画像処理装置。
【請求項6】
1以上の位置情報が対応付いた2以上の位置画像が格納される画像格納部から、前記カテゴリ取得部が取得した前記カテゴリと同一のカテゴリの地物を含む位置画像を取得する画像決定部をさらに具備し、
前記第二画像は、前記画像決定部が取得した前記位置画像である請求項3記載の画像処理装置。
【請求項7】
前記画像決定部は、
前記カテゴリ取得部が取得した前記カテゴリと同一のカテゴリの地物を含む1以上の第二画像であり、前記第一画像に対応付く位置情報に対して位置条件を満たす位置情報に対応付く1以上の第二画像を決定し、
前記操作部は、
前記意図列取得部が取得した前記1以上の各意図識別子に対する操作列定義を満たす1以上の操作を、前記画像決定部が決定した前記1以上の各第二画像に対して行う請求項6記載の画像処理装置。
【請求項8】
操作列定義と意図識別子との対応を示す2以上の対応情報が格納される対応管理部と、
第一画像に対する操作に応じて取得された意図列を含む意図情報を受け付ける意図受付部と、
第二画像を出力する第二出力部と、
前記意図受付部が受け付けた前記意図情報が有する前記意図列が有する1以上の各意図識別子に対
応する操作列定義を
前記対応管理部から取得し、当該1以上の各操作列定義を満たす1以上の操作を前記第二画像に対して行う操作部とを具備する画像処理装置。
【請求項9】
前記意図情報は、注目地物のカテゴリをも含み、
前記意図情報が有する前記カテゴリと同一のカテゴリの地物であり、前記第二画像の中の地物である対象地物を決定する対象地物決定部をさらに具備し、
前記操作部は、
前記意図情報が有する前記意図列に対する操作列定義を取得し、当該1以上の各操作列定義を満たす1以上の操作を、前記対象地物に対して行う請求項8記載の画像処理装置。
【請求項10】
前記第一画像と前記第二画像とは、異なる種類の位置画像である請求項1から請求項9いずれか一項に記載の画像処理装置。
【請求項11】
前記第一画像および前記第二画像は、ストリートビュー、三次元画像、室内画像、またはドライブレコーダー画像である請求項1記載の画像処理装置。
【請求項12】
2以上の各操作に対する操作識別子の集合を定義する操作列定義と操作の意図を識別する意図識別子との対応を示す2以上の対応情報が格納される対応管理部と、第一出力部と、操作列受付部と、意図列取得部と、第二出力部と、操作部とにより実現される画像処理方法であって、
前記第一出力部が、位置情報に対応付く画像である第一画像を出力する第一出力ステップと、
前記操作列受付部が、前記第一画像に対する2以上の各操作を識別する操作識別子の集合である操作列を受け付ける操作列受付ステップと、
前記意図列取得部が、前記操作列受付部が受け付けた前記操作列に合致する1以上の各操作列定義に対応する意図識別子である意図列を前記対応管理部から取得する意図列取得ステップと、
前記第二出力部が、第二画像を出力する第二出力ステップと、
前記操作部が、前記意図列取得部が取得した前記意図列に対する操作列定義を満たす1以上の操作を前記第二画像に対して行う操作ステップとを具備する画像処理方法。
【請求項13】
操作列定義と意図識別子との対応を示す2以上の対応情報が格納される対応管理部と、意図受付部と、第二出力部と、操作部とにより実現される画像処理方法であって、
前記意図受付部が、第一画像に対する操作に応じて取得された意図列を含む意図情報を受け付ける意図受付ステップと、
前記第二出力部が、第二画像を出力する第二出力ステップと、
前記操作部が、前記意図受付部が受け付けた前記意図情報が有する前記意図列が有する1以上の各意図識別子に対
応する操作列定義を
前記対応管理部から取得し、当該1以上の各操作列定義を満たす1以上の操作を前記第二画像に対して行う操作ステップとを具備する画像処理方法。
【請求項14】
2以上の各操作に対する操作識別子の集合を定義する操作列定義と操作の意図を識別する意図識別子との対応を示す2以上の対応情報が格納される対応管理部にアクセス可能なコンピュータを、
位置情報に対応付く画像である第一画像を出力する第一出力部と、
前記第一画像に対する2以上の各操作を識別する操作識別子の集合である操作列を受け付ける操作列受付部と、
前記操作列受付部が受け付けた前記操作列に合致する1以上の各操作列定義に対応する意図識別子である意図列を前記対応管理部から取得する意図列取得部と、
第二画像を出力する第二出力部と、
前記意図列取得部が取得した前記意図列に対する操作列定義を満たす1以上の操作を前記第二画像に対して行う操作部として機能させるためのプログラム。
【請求項15】
操作列定義と意図識別子との対応を示す2以上の対応情報が格納される対応管理部にアクセス可能なコンピュータを、
第一画像に対する操作に応じて取得された意図列を含む意図情報を受け付ける意図受付部と、
第二画像を出力する第二出力部と、
前記意図受付部が受け付けた前記意図情報が有する前記意図列が有する1以上の各意図識別子に対
応する操作列定義を
前記対応管理部から取得し、当該1以上の各操作列定義を満たす1以上の操作を前記第二画像に対して行う操作部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、例えば、ストリートビュー等の位置情報に対応付く画像である位置画像に対する処理を行う画像処理装置等に関するものである。
【背景技術】
【0002】
従来、ストリートビューの操作性を向上させる技術があった。さらに具体的には、従来、表示させる景観画像と携帯端末装置を使用する形態を考慮して操作性を向上させ、社会科見学などで街に出向いて所望の視点の高さで景観情報を見ることが可能なストリートビューワーシステムがあった(特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来技術においては、位置情報に対応付く画像である位置画像に対する操作の意図を、他の位置画像に流用できなかった。
【課題を解決するための手段】
【0005】
本第一の発明の画像処理装置は、2以上の各操作に対する操作識別子の集合を定義する操作列定義と操作の意図を識別する意図識別子との対応を示す2以上の対応情報が格納される対応管理部と、位置情報に対応付く画像である第一画像を出力する第一出力部と、第一画像に対する2以上の各操作を識別する操作識別子の集合である操作列を受け付ける操作列受付部と、操作列受付部が受け付けた操作列に合致する1以上の各操作列定義に対応する意図識別子である意図列を対応管理部から取得する意図列取得部と、第二画像を出力する第二出力部と、意図列取得部が取得した意図列に対する操作列定義を満たす1以上の操作を第二画像に対して行う操作部とを具備する画像処理装置である。
【0006】
かかる構成により、第一画像に対する操作の意図を、第二画像に流用できる結果、第二画像をユーザの意図に従って自動的に操作できる。
【0007】
また、本第二の発明の画像処理装置は、第一の発明に対して、対応管理部には、操作列定義と操作の塊であるチャンクを識別するチャンク識別子との対応を示す2以上の第一対応情報と、1以上のチャンク識別子の集合であるチャンク列の定義であるチャンク列定義と意図識別子との対応を示す2以上の第二対応情報とが格納され、意図列取得部は、操作列受付部が受け付けた操作列に合致する1以上の各操作列定義に対応する1以上のチャンク識別子の集合である1以上のチャンク列を2以上の第一対応情報から取得し、1以上のチャンク列に合致するチャンク列定義に対応する1以上の意図識別子を2以上の第二対応情報から取得する画像処理装置である。
【0008】
かかる構成により、第一画像に対する操作の意図を、第二画像に流用できる結果、第二画像をユーザの意図に従って自動的に操作できる。
【0009】
また、本第三の発明の画像処理装置は、第二の発明に対して、地物を識別する地物識別子と、地物のカテゴリと地物の位置情報とを含む2以上の地物属性値とを有する2以上の地物情報が格納される地物管理部を参照し、第一画像に対応付く位置情報を用いて、第一画像の中の地物であり、注目条件に合致する注目地物を決定する注目地物決定部と、注目地物のカテゴリを地物管理部から取得するカテゴリ取得部と、カテゴリ取得部が取得したカテゴリと同一のカテゴリの地物であり、第二画像の中の地物である対象地物を決定する対象地物決定部とをさらに具備し、操作部は、意図列取得部が取得した1以上の各意図識別子に対する操作列定義を満たす1以上の操作を、対象地物に対して行う画像処理装置である。
【0010】
かかる構成により、第一画像に対する操作の意図を、第二画像に流用できる結果、第二画像をユーザの意図に従って自動的に操作できる。
【0011】
また、本第四の発明の画像処理装置は、第三の発明に対して、操作部は、対象地物の位置情報を用いて、対象地物に対して、意図識別子で識別される意図に応じた位置関係を保つように、対象地物に対して操作を行う画像処理装置である。
【0012】
かかる構成により、第一画像に対する操作の意図を、第二画像に流用できる結果、第二画像をユーザの意図に従って自動的に操作できる。
【0013】
また、本第五の発明の画像処理装置は、第四の発明に対して、操作列定義は、正規表現を用いた1以上の操作識別子であり、チャンク列定義は、正規表現を用いた1以上のチャンク識別子であり、操作部は、対象地物の位置情報を用いて、対象地物に対して、意図識別子で識別される意図に応じた位置関係を保つように、チャンク識別子の繰り返し回数を変更する、またはチャンク識別子の選択を変更する、または操作識別子の繰り返し回数を変更する、または操作識別子の選択を変更し、対象地物に対して操作を行う画像処理装置である。
【0014】
かかる構成により、第一画像に対する操作の意図を、第二画像に流用できる結果、第二画像をユーザの意図に従って自動的に操作できる。
【0015】
また、本第六の発明の画像処理装置は、第三から第五いずれか1つの発明に対して、2以上の位置画像が格納される画像格納部から、カテゴリ取得部が取得したカテゴリと同一のカテゴリの地物を含む位置画像を取得する画像決定部をさらに具備し、第二画像は、画像決定部が取得した位置画像である画像処理装置である。
【0016】
かかる構成により、第二画像を自動的に決定できる。
【0017】
また、本第七の発明の画像処理装置は、第六の発明に対して、画像決定部は、カテゴリ取得部が取得したカテゴリと同一のカテゴリの地物を含む1以上の第二画像であり、第一画像に対応付く位置情報に対して位置条件を満たす位置情報に対応付く1以上の第二画像を決定し、操作部は、意図列取得部が取得した1以上の各意図識別子に対する操作列定義を満たす1以上の操作を、画像決定部が決定した1以上の各第二画像に対して行う画像処理装置である。
【0018】
かかる構成により、第二画像を自動的に決定できる。
【0019】
また、本第八の発明の画像処理装置は、操作列定義と意図識別子との対応を示す2以上の対応情報が格納される対応管理部と、第一画像に対する操作に応じて取得された意図列を含む意図情報を受け付ける意図受付部と、第二画像を出力する第二出力部と、意図受付部が受け付けた意図情報が有する意図列が有する1以上の各意図識別子に対する操作列定義を取得し、1以上の各操作列定義を満たす1以上の操作を第二画像に対して行う操作部とを具備する画像処理装置である。
【0020】
かかる構成により、第一画像に対する操作の意図を特定する意図情報を再利用できる。
【0021】
また、本第九の発明の画像処理装置は、第八の発明に対して、意図情報は、注目地物のカテゴリをも含み、意図情報が有するカテゴリと同一のカテゴリの地物であり、第二画像の中の地物である対象地物を決定する対象地物決定部をさらに具備し、操作部は、意図情報が有する意図列に対する操作列定義を取得し、1以上の各操作列定義を満たす1以上の操作を、対象地物に対して行う画像処理装置である。
【0022】
かかる構成により、第一画像に対する操作の意図を特定する意図情報を再利用できる。
【0023】
また、本第十の発明の画像処理装置は、第一から第九いずれか1つの発明に対して、第一画像と第二画像とは、異なる種類の位置画像である画像処理装置である。
【0024】
かかる構成により、第一種類の位置画像に対する操作の意図を第二種類の位置画像に流用できる。
【0025】
また、本第十一の発明の画像処理装置は、第一から第八いずれか1つの発明に対して、第一画像および第二画像は、ストリートビュー、三次元画像、室内画像、またはドライブレコーダー画像である画像処理装置である。
【0026】
かかる構成により、第一画像に対する操作の意図を、第二画像に流用できる結果、第二画像をユーザの意図に従って自動的に操作できる。
【発明の効果】
【0027】
本発明による画像処理装置によれば、第一画像に対する操作の意図を、第二画像に流用できる結果、第二画像をユーザの意図に従って自動的に操作できる。
【図面の簡単な説明】
【0028】
【
図1】実施の形態1における画像処理装置1のブロック図
【
図2】同画像処理装置1の第一の動作例について説明するフローチャート
【
図3】同意図列取得処理の第一の例について説明するフローチャート
【
図4】同意図列取得処理の第二の例について説明するフローチャート
【
図5】同注目地物決定処理の例について説明するフローチャート
【
図6】同画像決定処理の例について説明するフローチャート
【
図7】同画像操作処理の例について説明するフローチャート
【
図8】同意図実行処理の例について説明するフローチャート
【
図9】同画像処理装置1の第二の動作例について説明するフローチャート
【
図10】同画像操作処理の例について説明するフローチャート
【
図11】同画像処理装置1のコンセプトの例を説明する図
【
図17】実施の形態2における画像処理装置2のブロック図
【
図18】同画像処理装置2の動作例について説明するフローチャート
【
図19】同画像操作処理の例について説明するフローチャート
【
図20】上記実施の形態におけるコンピュータシステムの概観図
【発明を実施するための形態】
【0029】
以下、画像処理装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
【0030】
(実施の形態1)
本実施の形態において、位置情報に対応付く画像である第一画像に対する1以上の操作である操作列を取得し、当該操作列に基づく操作の意図の集合を示す意図列を取得し、当該意図列に応じた操作を第二画像に対して行う画像処理装置について説明する。なお、画像処理装置は、通常、第二画像の操作に、第一画像に対する操作列をそのまま利用しない。
【0031】
また、本実施の形態において、第一画像に対する操作列から1以上のチャンクの集合を示すチャンク列を取得し、当該チャンク列から意図列を取得し、当該意図列に応じた操作を第二画像に対して行う画像処理装置について説明する。
【0032】
また、本実施の形態において、第一画像における注目地物を取得し、当該注目地物のカテゴリと同じカテゴリの地物に対する第二画像への操作を行う画像処理装置について説明する。
【0033】
また、本実施の形態において、第一画像に対する操作列をそのまま使用して第二画像を操作するのではなく、第二画像の対象地物の属性値に応じた調整を行い、第二画像を操作する画像処理装置について説明する。
【0034】
また、本実施の形態において、1以上の第二画像を選択し、当該1以上の各第二画像を操作する画像処理装置について説明する。かかる場合、第一画像に対して位置条件を満たす1以上の第二画像を選択する画像処理装置について説明する。
【0035】
また、本実施の形態において、1以上の第二画像を選択し、当該1以上の各第二画像と第一画像を比較する態様で、第一画像に対する操作列を用いて、各々を操作する画像処理装置について説明する。
【0036】
さらに、本実施の形態において、第一画像と第二画像とは異なる種類の画像である場合についても説明する。
【0037】
なお、本明細書において、情報Xが情報Yに対応付いていることは、情報Xから情報Yを取得できること、または情報Yから情報Xを取得できることであり、その対応付けの方法は問わない。情報Xと情報Yとがリンク付いていても良いし、同じバッファに存在していても良いし、情報Xが情報Yに含まれていても良いし、情報Yが情報Xに含まれている等でも良い。
【0038】
また、本明細書において、情報Zを決定すること又は情報Zを選択することは、情報Zを取得すること、情報Zへのポインタを取得すること、情報ZのIDを取得すること、情報Zにフラグを立てること等であり、情報Zにアクセスできれば良い。
【0039】
図1は、本実施の形態における画像処理装置1のブロック図である。画像処理装置1は、スタンドアロンの装置でも良いし、図示しない端末装置からの指示や情報を受信し、位置画像を端末装置に送信するサーバでも良い。画像処理装置1がスタンドアロンの装置である場合、画像処理装置1は、例えば、いわゆるパソコン、スマートフォン、タブレット端末であるが、その種類は問わない。画像処理装置1がサーバである場合、画像処理装置1は、例えば、クラウドサーバ、ASPサーバであるが、その種類は問わない。
【0040】
画像処理装置1は、格納部11、受付部12、処理部13、および出力部14を備える。格納部11は、地物管理部111、画像格納部112、および対応管理部113を備える。受付部12は、操作列受付部121を備える。処理部13は、意図列取得部131、注目地物決定部132、カテゴリ取得部133、画像決定部134、対象地物決定部135、および操作部136を備える。出力部14は、第一出力部141、および第二出力部142を備える。
【0041】
画像処理装置1を構成する格納部11には、各種の情報が格納される。各種の情報は、例えば、後述する地物情報、後述する位置画像、後述する対応情報である。なお、地物管理部111、画像格納部112、および対応管理部113は、図示しない外部のサーバに存在していても良い。
【0042】
地物管理部111には、2以上の地物情報が格納される。地物情報とは、地物に関する情報である。地物とは、通常、地上に存在する物であるが、屋内に存在する物を含んでも良い。地物は、オブジェクトと言っても良い。地物は、例えば、建物、公園、橋、川、山である。
【0043】
地物情報は、地物識別子と1以上の地物属性値とを有する。地物識別子とは、地物を識別する情報である。地物識別子は、例えば、地物のID、または地物名である。地物属性値とは、地物の属性値である。1以上の地物属性値は、カテゴリと位置情報とを含むことは好適である。カテゴリとは、地物の種類である。カテゴリは、例えば、「居酒屋」「学校」「大学」「回転寿司屋」「公園」「博物館」である。1以上の地物属性値は、2以上の位置情報を含むことは好適である。地物情報が有する1以上の地物属性値は、地物の領域を特定する領域情報を有することは好適である。領域情報は、通常、2以上の位置情報を含む。位置情報とは、位置を特定する情報である。位置情報は、三次元空間における位置を特定する情報であることは好適であるが、二次元における位置を特定する情報でも良い。位置情報は、例えば、(緯度,経度,高度)であるが、(緯度,経度)でも良い。
【0044】
画像格納部112には、2以上の位置画像が格納される。位置画像とは、1または2以上の位置情報が対応付いた画像である。位置画像は、通常、撮影された画像である。位置画像は、操作の対象となる画像である。なお、操作の内容は問わない。
【0045】
位置情報が対応付いた画像は、位置情報を含む画像でも良い。位置情報は、例えば、ストリートビュー、三次元画像、室内画像、またはドライブレコーダー画像である。三次元画像は、例えば、google(登録商標) earthの画像である。室内画像とは、室内を撮影した画像である。室内画像は、例えば、LiDARにより取得された画像である。ドライブレコーダー画像とは、移動体に設置されたドライブレコーダーにより撮影された画像である。
【0046】
画像格納部112は、上述した通り、画像処理装置1ではなく、外部のサーバに存在していても良い。外部のサーバは、例えば、ストリートビューを管理するサーバ、google earthのサーバである。
【0047】
対応管理部113には、2以上の対応情報が格納される。対応情報とは、操作列と意図識別子との対応を示す情報である。操作列は、1または2以上の操作識別子の集合である。操作識別子の集合は、時系列の操作識別子の列である。
【0048】
対応情報は、例えば、操作列定義と意図識別子とを有する。操作列定義とは、操作列を定義する情報である。操作列定義は、2以上の操作識別子の集合を定義する情報である。操作列定義は、正規表現を用いた1以上の操作識別子の記述であることは好適である。意図識別子とは、意図を識別する情報である。意図識別子は、例えば、意図のID、または意図の名称である。意図とは、操作の意図である。2以上の対応情報は、画像種類識別子に対応付いていることは好適である。画像種類識別子とは、画像の種類を識別する情報である。画像種類識別子は、例えば、「ストリートビュー」「三次元画像」「室内画像」「ドライブレコーダー画像」である。
【0049】
対応情報は、例えば、第一対応情報と第二対応情報とを有する。第一対応情報は、操作列定義とチャンク識別子との対応を示す情報である。チャンク識別子とは、チャンクを識別する情報である。チャンクは、操作の塊である。チャンクは、1または2以上の操作の集合である。チャンク識別子は、チャンクのID、またはチャンク名である。第二対応情報は、チャンク列定義と意図識別子との対応を示す情報である。チャンク列定義とは、1以上のチャンク識別子の集合であるチャンク列の定義である。チャンク列定義は、正規表現を用いた1以上のチャンク識別子の記述であることは好適である。なお、第一対応情報と第二対応情報は、画像種類識別子に対応付いていることは好適である。
【0050】
受付部12は、各種の指示や情報を受け付ける。各種の指示や情報は、例えば、第一画像に対する操作列、出力指示、操作終了指示、対応情報である。操作列は、2以上の各操作を識別する操作識別子の集合である。第一画像は、ユーザによる操作対象の位置画像である。
【0051】
出力指示とは、第一画像の出力の指示である。出力指示は、通常、画像識別子を有する。画像識別子とは、位置画像の識別子である。画像識別子は、例えば、URL、またはファイル名である。
【0052】
操作終了指示とは、第一画像に対する操作の終了の指示である。操作終了指示は、例えば、第一画像を非表示にする指示である。
【0053】
ここでは、受け付けとは、例えば、ユーザの端末装置(図示しない)からの有線もしくは無線の通信回線を介して送信された情報の受信であるが、キーボードやマウス、タッチパネルなどの入力デバイスから入力された情報の受け付け、光ディスクや磁気ディスク、半導体メモリなどの記録媒体から読み出された情報の受け付けなどを含む概念であっても良い。
【0054】
各種の指示や情報の入力手段は、タッチパネルやキーボードやマウスやメニュー画面によるもの等、何でも良い。
【0055】
操作列受付部121は、第一画像に対する2以上の各操作を識別する操作識別子の集合である操作列を受け付ける。なお、第一画像に対する操作は、ユーザの操作である。操作列受付部121は、例えば、ユーザから操作列を受け付ける、またはユーザの図示しない端末装置から操作列を受信する。また、操作は、例えば、「移動」「左を向く」「右を向く」「上を向く」「下を向く」「拡大」「縮小」のうちのいずれかである。ただし、操作は問わない。
【0056】
処理部13は、各種の処理を行う。各種の処理は、例えば、意図列取得部131、注目地物決定部132、カテゴリ取得部133、画像決定部134、対象地物決定部135、または操作部136が行う処理である。
【0057】
処理部13は、出力指示に対応する第一画像を取得する。処理部13は、例えば、図示しない画像サーバから第一画像を取得する。処理部13は、例えば、画像格納部112から第一画像を取得する。
【0058】
処理部13は、受付部12が受け付けた対応情報を対応管理部113に蓄積する。
【0059】
意図列取得部131は、操作列受付部121が受け付けた操作列に合致する1以上の各操作列定義に対応する1以上の意図識別子である意図列を対応管理部113から取得する。意図列取得部131は、例えば、操作対象の画像の画像種類識別子を取得し、当該画像種類識別子に対応する対応情報を用いて、意図列を取得する。
【0060】
意図列取得部131は、例えば、操作列受付部121が受け付けた操作列に合致する1以上の各操作列定義に対応する1以上のチャンク識別子の集合であるチャンク列を2以上の第一対応情報から取得する。次に、意図列取得部131は、例えば、当該チャンク列に合致するチャンク列定義に対応する1以上の意図識別子を2以上の第二対応情報から取得する。
【0061】
注目地物決定部132は、地物管理部111を参照し、第一画像に対応付く位置情報を用いて、第一画像の中の地物であり、注目条件に合致する注目地物を決定する。注目地物決定部132は、通常、一つの注目地物を決定するが、2以上の注目地物を決定しても良い。
【0062】
注目条件とは、注目地物を決定するための条件である。注目条件は、通常、地物の位置情報に関する条件である。注目条件は、例えば、ユーザが向いていた方向に存在している時間が最も長いことである。注目条件は、例えば、第一画像の中心点から閾値以内の範囲である中心領域に存在していた時間が最も長いことである。注目条件は、例えば、操作が全て行われた最後の第一画像に存在する地物であり、当該第一画像の中心点から閾値以内の範囲である中心領域に存在していた地物であることである。注目条件は、例えば、操作が全て行われた最後の第一画像に存在する地物であり、ユーザが向いていた方向に存在している地物であることである。なお、ユーザが向いていた方向は、例えば、第一画像の中のフォーカスポイント(例えば、カーソルの位置、中心点)が移動している方向である。
【0063】
カテゴリ取得部133は、注目地物決定部132が決定した注目地物の属性値であるカテゴリを地物管理部111から取得する。
【0064】
画像決定部134は、1以上の第二画像を決定する。画像決定部134は、例えば、画像格納部112から、カテゴリ取得部133が取得したカテゴリと同一のカテゴリの地物を含む1以上の位置画像を取得する。位置画像に含まれる地物は、当該位置画像に対応する領域情報が特定する領域の中に、地物の位置情報が特定する位置が含まれる地物である。なお、画像決定部134が取得する位置画像は、第二画像である。
【0065】
第一画像と第二画像とが異なる種類の位置画像である場合、画像決定部134は、例えば、第一画像の中の注目地物と同じ地物を含む1以上の第二画像を決定する。
【0066】
画像決定部134は、例えば、カテゴリ取得部133が取得したカテゴリと同一のカテゴリの地物を含む1以上の第二画像であり、第一画像に対応付く位置情報に対して位置条件を満たす位置情報に対応付く1以上の第二画像を決定する。画像決定部134は、例えば、カテゴリ取得部133が取得したカテゴリと同一のカテゴリの地物の位置情報であり、第一画像に対応付く位置情報に対して位置条件を満たす位置情報に対応付く1以上の第二画像を決定する。位置条件は、例えば、距離の近さが上位N以下(Nは1以上の自然数)であること、または距離が閾値以下または閾値より小さいことである。
【0067】
対象地物決定部135は、画像決定部134が決定した1以上の各第二画像の中の対象地物を決定する。対象地物は、カテゴリ取得部133が取得したカテゴリと同一のカテゴリの地物である。
【0068】
操作部136は、意図列取得部131が取得した意図列に対する操作列定義を満たす1以上の操作を、画像決定部134が決定した1以上の各第二画像に対して行う。操作部136は、例えば、1以上の各第二画像ごとに、画像種類識別子を取得し、当該画像種類識別子に対応する2以上の対応情報(対応表と言っても良い)を用いて、操作列定義を取得し、当該操作列定義を満たす1以上の操作を、画像決定部134が決定した1以上の各第二画像に対して行う。
【0069】
操作部136は、例えば、意図列取得部131が取得した1以上の各意図識別子に対する操作列定義を満たす1以上の操作を、対象地物に対して行う。対象地物に対して操作を行うことは、当該対象地物を有する第二画像に対して操作を行うことである。操作部136は、例えば、対象地物決定部135が決定した対象地物の位置情報を用いて、当該対象地物に対して、意図識別子で識別される意図に応じた位置関係を保つように、対象地物に対して操作を行う。操作部136は、例えば、対象地物の位置情報を用いて、当該対象地物に対して、意図識別子で識別される意図に応じた位置関係を保つように、チャンク識別子の繰り返し回数を変更する、またはチャンク識別子の選択を変更する、または操作識別子の繰り返し回数を変更する、または操作識別子の選択を変更し、対象地物に対して操作を行う。なお、ここでの対象地物の位置情報は、通常、2以上の位置情報であり、対象地物が存在する領域を特定する領域情報である。
【0070】
操作部136は、意図列取得部131が取得した1以上の各意図識別子に対する操作列定義を満たす1以上の操作を、画像決定部134が決定した1以上の各第二画像に対して行う。
【0071】
操作部136が意図を対象地物に適用する際、第一画像と第二画像との地形の違い等によって、第一画像に対するユーザの操作を特定する操作列をそのまま適用できない場合がある。そのため、操作部136は、地物によってはユーザの行った操作から調整を行う必要がある。例えば、操作部136は、第二画像の中の道路が行き止まりになっても「進む」等の操作を行い続けようとすることを避けるため、操作が第二画像でこれ以上行えない場合は、限界以上の操作を行わない。また、例えば、後述する「外観」の意図識別子であれば、進む距離や交差点で曲がる角度が第一画像と第二画像とでは異なる場合があるため、操作部136は、第一画像に対する操作列を、結果として変更し、当該変更した操作列を用いた第二画像の操作を行う。例えば、意図識別子「外観」であり、進む距離が異なる場合には、操作部136は、対象地物の両端にかけて移動するように、操作識別子「進む」の追加や削除を行う。また、第一画像の道路と第二画像の道路とにおいて、曲がる角度が異なる場合には、操作部136は、第二画像において、「左を向く」または「右を向く」の操作の数や角度を曲がった先の道路と平行になるように調整する。
【0072】
出力部14は、各種の情報を出力する。各種の情報は、例えば、第一画像、1以上の第二画像である。
【0073】
ここで出力とは、例えば、ユーザの端末装置(図示しない)への送信であるが、ディスプレイへの表示、プロジェクターを用いた投影、プリンタでの印字、他の外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である。
【0074】
第一出力部141は、位置情報に対応付く第一画像を出力する。第一出力部141が第一画像を出力するトリガーは問わない。第一出力部141は、例えば、出力指示が受け付けられた場合に、第一画像を出力する。
【0075】
第二出力部142は、第二画像を出力する。第二出力部142は、例えば、画像決定部134が決定した1以上の各第二画像を出力する。また、第二出力部142は、通常、操作部136が行う操作により、変化する第二画像を出力する。なお、第二画像の出力は、操作部136により行われる、と考えても良い。
【0076】
格納部11、地物管理部111、画像格納部112、および対応管理部113は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。
【0077】
格納部11等に情報が記憶される過程は問わない。例えば、記録媒体を介して情報が格納部11等で記憶されるようになってもよく、通信回線等を介して送信された情報が格納部11等で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された情報が格納部11等で記憶されるようになってもよい。
【0078】
受付部12、および操作列受付部121は、無線または有線の通信手段で実現されることが好適であるが、放送を受信する手段、タッチパネルやキーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現されても良い。
【0079】
処理部13、意図列取得部131、注目地物決定部132、カテゴリ取得部133、画像決定部134、対象地物決定部135、および操作部136は、通常、プロセッサやメモリ等から実現され得る。処理部13等の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。なお、プロセッサは、CPU、MPU、GPU等であり、その種類は問わない。
【0080】
出力部14、第一出力部141、および第二出力部142は、通常、無線または有線の通信手段で実現されるが、ディスプレイやスピーカー等の出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現されても良い。
【0081】
次に、画像処理装置1の第一の動作例について、
図2のフローチャートを用いて説明する。
【0082】
(S201)受付部12は、出力指示を受け付けたか否かを判断する。出力指示を受け付けた場合はS202に行き、受け付けなかった場合はS216に行く。
【0083】
(S202)処理部13は、S201で受け付けられた出力指示に対応する第一画像を取得する。
【0084】
(S203)第一出力部141は、S202で取得された第一画像を出力する。
【0085】
(S204)操作列受付部121は、出力されている第一画像に対する操作を受け付けたか否かを判断する。操作を受け付けた場合はS205に行き、受け付けなかった場合はS208に行く。
【0086】
(S205)操作部136は、S204で受け付けられた操作に従って、変更した第一画像を取得する。第二出力部142は、当該第一画像を出力する。
【0087】
(S206)操作部136は、S204で受け付けられた操作を特定する操作識別子を取得し、当該操作識別子を図示しないバッファに一時蓄積する。例えば、操作「移動」「左を向く」「右を向く」「上を向く」「下を向く」「拡大」「縮小」の各々を特定する操作識別子は、「m」「l」「r」「u」「d」「i」「o」である。
【0088】
(S207)処理部13は、操作後の変更された第一画像であるフレームを図示しないバッファに一時蓄積する。S204に戻る。フレームは、1以上の位置情報に対応付く。
【0089】
(S208)受付部11は、操作終了指示を受け付けたか否かを判断する。操作終了指示を受け付けた場合はS209に行き、受け付けなかった場合はS204に戻る。
【0090】
(S209)意図列取得部131は、1以上の操作識別子の集合である操作列を図示しないバッファから取得する。
【0091】
(S210)意図列取得部131は、S209で取得した操作列に対応する意図列を取得する。かかる意図列取得処理の例について、
図3または
図4のフローチャートを用いて説明する。
【0092】
(S211)注目地物決定部132は、第一画像の中の注目地物を決定する。かかる注目地物決定処理の例について、
図5のフローチャートを用いて説明する。
【0093】
(S212)カテゴリ取得部133は、S211で決定した注目地物の地物情報の中のカテゴリを地物管理部111から取得する。
【0094】
(S213)意図列取得部131は、S209で取得した意図列とS212で取得されたカテゴリとを図示しないバッファに蓄積する。
【0095】
(S214)画像決定部134は、1または2以上の第二画像を決定する。かかる画像決定処理の例について、
図6のフローチャートを用いて説明する。
【0096】
(S215)操作部136は、S214で決定した1以上の第二画像を含む2以上の画像に対して、S213で蓄積された意図列に応じた操作を行う。かかる画像操作処理の例について、
図7のフローチャートを用いて説明する。
【0097】
(S216)受付部12は、対応情報を受け付けたか否かを判断する。対応情報を受け付けた場合はS217に行き、受け付けなかった場合はS201に戻る。
【0098】
(S217)処理部13は、S216で受け付けられた対応情報を対応管理部113に蓄積する。S201に戻る。
【0099】
なお、
図2のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
【0100】
次に、S210の意図列取得処理の第一の例について、
図3のフローチャートを用いて説明する。
【0101】
(S301)意図列取得部131は、カウンタiおよびカウンタjに1を代入する。
【0102】
(S302)意図列取得部131は、i番目の第一対応情報が対応管理部113に存在するか否かを判断する。i番目の第一対応情報が存在する場合はS303に行き、存在しない場合はS311に行く。
【0103】
(S303)意図列取得部131は、i番目の第一対応情報が有する操作列定義を対応管理部113から取得する。
【0104】
(S304)意図列取得部131は、j番目の操作識別子以降の連続する1以上の操作識別子の集合である部分操作列の中に、S303で取得した操作列定義に合致する部分操作列が存在するか否かを判断する。当該部分操作列が存在する場合はS305に行き、存在しない場合はS310に行く。
【0105】
(S305)意図列取得部131は、S303で取得した操作列定義と対になるチャンク識別子をi番目の第一対応情報から取得し、当該チャンク識別子を図示しないバッファに一時蓄積する。
【0106】
(S306)意図列取得部131は、S304において操作列定義に合致する最大長の部分操作列の次の操作識別子までにjを進める。
【0107】
(S307)意図列取得部131は、S306で進めたjが、S209で取得した操作列の最後の操作識別子の次の位置であるか(操作列が終了したか)を判断する。操作列が終了した場合はS308に行き、終了していない場合はS309に行く。
【0108】
(S308)意図列取得部131は、図示しないバッファから1以上のチャンク識別子であるチャンク列を取得する。
【0109】
(S309)意図列取得部131は、カウンタiに1を代入する。S302に戻る。
【0110】
(S310)意図列取得部131は、カウンタiを1、インクリメントする。S302に戻る。
【0111】
(S311)意図列取得部131は、カウンタjを1、インクリメントする。S302に戻る。
【0112】
(S312)意図列取得部131は、カウンタiおよびカウンタjに1を代入する。
【0113】
(S313)意図列取得部131は、i番目の第二対応情報が対応管理部113に存在するか否かを判断する。i番目の第二対応情報が存在する場合はS314に行き、存在しない場合はS322に行く。
【0114】
(S314)意図列取得部131は、i番目の第二対応情報が有するチャンク列定義を対応管理部113から取得する。
【0115】
(S315)意図列取得部131は、j番目のチャンク識別子以降の連続する1以上のチャンク識別子の集合である部分チャンク列の中に、S314で取得したチャンク列定義に合致する部分チャンク列が存在するか否かを判断する。当該部分チャンク列が存在する場合はS316に行き、存在しない場合はS321に行く。
【0116】
(S316)意図列取得部131は、S315で取得したチャンク列定義と対になる意図識別子をi番目の第二対応情報から取得し、当該意図識別子を図示しないバッファに一時蓄積する。
【0117】
(S317)意図列取得部131は、S315においてチャンク列定義に合致する最大長の部分チャンク列の次のチャンク識別子までにjを進める。
【0118】
(S318)意図列取得部131は、S317で進めたjが、S308で取得したチャンク列の最後のチャンク識別子の次の位置であるか(チャンク列が終了したか)を判断する。チャンク列が終了した場合はS319に行き、終了していない場合はS320に行く。
【0119】
(S319)意図列取得部131は、図示しないバッファから1以上の意図識別子である意図列を取得する。上位処理にリターンする。
【0120】
(S320)意図列取得部131は、カウンタiに1を代入する。S313に戻る。
【0121】
(S321)意図列取得部131は、カウンタiを1、インクリメントする。S313に戻る。
【0122】
(S322)意図列取得部131は、カウンタjを1、インクリメントする。S313に戻る。
【0123】
次に、S210の意図列取得処理の第二の例について、
図4のフローチャートを用いて説明する。
【0124】
(S401)意図列取得部131は、カウンタiおよびカウンタjに1を代入する。
【0125】
(S402)意図列取得部131は、i番目の対応情報が対応管理部113に存在するか否かを判断する。i番目の対応情報が存在する場合はS403に行き、存在しない場合はS411に行く。
【0126】
(S403)意図列取得部131は、i番目の対応情報が有する操作列定義を対応管理部113から取得する。
【0127】
(S404)意図列取得部131は、j番目の操作識別子以降の連続する1以上の操作識別子の集合である部分操作列の中に、S403で取得した操作列定義に合致する部分操作列が存在するか否かを判断する。当該部分操作列が存在する場合はS405に行き、存在しない場合はS410に行く。
【0128】
(S405)意図列取得部131は、S403で取得した操作列定義と対になる意図識別子をi番目の対応情報から取得し、当該意図識別子を図示しないバッファに一時蓄積する。
【0129】
(S406)意図列取得部131は、S404において操作列定義に合致する最大長の部分操作列の次の操作識別子までにjを進める。
【0130】
(S407)意図列取得部131は、S406で進めたjが、S209で取得した操作列の最後の操作識別子の次の位置であるか(操作列が終了したか)を判断する。操作列が終了した場合はS408に行き、終了していない場合はS409に行く。
【0131】
(S408)意図列取得部131は、図示しないバッファから1以上の意図識別子である意図列を取得する。上位処理にリターンする。
【0132】
(S409)意図列取得部131は、カウンタiに1を代入する。S402に戻る。
【0133】
(S410)意図列取得部131は、カウンタiを1、インクリメントする。S402に戻る。
【0134】
(S411)意図列取得部131は、カウンタjを1、インクリメントする。S402に戻る。
【0135】
次に、S211の注目地物決定処理の例について、
図5のフローチャートを用いて説明する。
【0136】
(S501)注目地物決定部132は、カウンタiに1を代入する。
【0137】
(S502)注目地物決定部132は、S207で図示しないバッファに蓄積されたフレームの中に、i番目のフレームが存在するか否かを判断する。i番目のフレームが存在する場合はS503に行き、存在しない場合はS514に行く。
【0138】
(S503)注目地物決定部132は、i番目のフレームが撮影している領域の範囲を特定する範囲情報を取得する。注目地物決定部132は、例えば、i番目のフレームに対応付く位置情報(代表地点の位置情報)とフレームの解像度とから範囲情報を取得する。注目地物決定部132は、例えば、i番目のフレームに対応付く範囲情報を取得する。範囲情報は、例えば、三次元空間の範囲を示す情報であり、例えば、「(x1,y1,h1)(x2,y2,h2)」である。
【0139】
(S504)注目地物決定部132は、i番目のフレームに対応付く注目位置情報を取得する。注目位置情報は、フレームの中の注目点の位置を特定する情報、またはフォーカスポイントの位置情報であり、例えば、(x,y,h)である。
【0140】
(S505)注目地物決定部132は、i番目のフレームに対応する方向情報を取得する。方向情報は、方向を示す情報であり、例えば、真北からの角度であり、0から360のいずれかの数値である。方向情報は、連続する2枚の各フレームの注目位置情報の差異から取得され得る方向を示す情報である。
【0141】
(S506)注目地物決定部132は、カウンタjに1を代入する。
【0142】
(S507)注目地物決定部132は、地物管理部111にj番目の地物情報が存在するか否かを判断する。j番目の地物情報が存在する場合はS508に行き、存在しない場合はS513に行く。
【0143】
(S508)注目地物決定部132は、j番目の地物情報が有する位置情報を地物管理部111から取得する。
【0144】
(S509)注目地物決定部132は、S503で取得した領域情報とS508で取得した位置情報とを用いて、i番目のフレームが撮影している領域の中にj番目の地物が存在するか否かを判断する。i番目のフレームの領域の中にj番目の地物が存在する場合はS510に行き、存在しない場合はS512に行く。
【0145】
(S510)注目地物決定部132は、S508で取得したj番目の地物の位置情報が注目条件に合致するか否かを判断する。注目条件に合致する場合はS511に行き、注目条件に合致しない場合はS512に行く。
【0146】
(S511)注目地物決定部132は、j番目の地物情報に対応付くカウンタを1、インクリメントする。なお、各地物情報に対応付くカウンタの初期値は「0」である。
【0147】
(S512)注目地物決定部132は、カウンタjを1、インクリメントする。S507に戻る。
【0148】
(S513)注目地物決定部132は、カウンタiを1、インクリメントする。S502に戻る。
【0149】
(S514)注目地物決定部132は、値が最大のカウンタに対応付く地物情報を取得する。上位処理にリターンする。
【0150】
なお、
図5のフローチャートにおいて、一つの地物情報のみを取得したが、2以上の地物情報を取得しても良い。かかる場合、例えば、S514において、注目地物決定部132は、カウンタの値が閾値以上またはカウンタの値が上位N(Nは1以上の自然数)の地物情報を取得する。
【0151】
次に、S214の画像決定処理の例について、
図6のフローチャートを用いて説明する。
【0152】
(S601)画像決定部134は、第一画像の位置情報を取得する。
【0153】
(S602)画像決定部134は、カウンタiに1を代入する。
【0154】
(S603)画像決定部134は、第二画像となり得るi番目の候補画像が存在するか否かを判断する。i番目の候補画像が存在する場合はS604に行き、存在しない場合はS613に行く。なお、i番目の候補画像は、例えば、画像格納部112または図示しない画像サーバに存在する位置画像である。
【0155】
(S604)画像決定部134は、i番目の候補画像が撮影している領域を特定する領域情報を取得する。
【0156】
(S605)画像決定部134は、カウンタjに1を代入する。
【0157】
(S606)画像決定部134は、地物管理部111にj番目の地物情報が存在するか否かを判断する。j番目の地物情報が存在する場合はS607に行き、存在しない場合はS611に行く。
【0158】
(S607)画像決定部134は、j番目の地物情報のカテゴリを当該地物情報から取得する。
【0159】
(S608)画像決定部134は、S607で取得したカテゴリが第一画像の注目地物のカテゴリと同じであるか否かを判断する。2つのカテゴリが同じであればS609に行き、同じでなければS612に行く。
【0160】
(S609)画像決定部134は、j番目の地物情報の位置情報と注目地物の位置情報とを用いて、2つの地物の距離を取得し、当該距離をj番目の地物情報に対応付ける。
【0161】
(S610)画像決定部134は、i番目の候補画像の識別子を距離と対にして、図示しないバッファに一時蓄積する。
【0162】
(S611)画像決定部134は、カウンタiを1、インクリメントする。S603に戻る。
【0163】
(S612)画像決定部134は、カウンタj1、インクリメントする。S606に戻る。
【0164】
(S613)画像決定部134は、S610で蓄積した1以上の各候補画像と対になる距離が距離条件に合致する1以上の候補画像を決定し、当該1以上の候補画像である1以上の第二画像を取得する。上位処理にリターンする。なお、距離条件は、例えば、「距離が小さい方から上位3つ」「距離が閾値以内または閾値より小さいこと」である。
【0165】
なお、
図6のフローチャートにおいて、第一画像と第二画像とが異なる種類の位置画像である場合、画像決定部134は、第一画像の中の注目地物と同じ地物を含む1以上の第二画像を取得しても良い。
【0166】
次に、S215の画像操作処理の例について、
図7のフローチャートを用いて説明する。
【0167】
(S701)操作部136は、取得された意図列を用いた操作を行う画像の数を取得する。なお、操作を行う画像は、通常、S613で取得された1以上の第二画像と第一画像である。つまり、画像の数は、通常、「S613で取得された画像の数+1」である。ただし、操作を行う画像は、S613で取得された1以上の第二画像のみでも良い。
【0168】
(S702)操作部136は、S701で取得された画像の数の分のウィンドウを生成する。
【0169】
(S703)操作部136は、カウンタiに1を代入する。
【0170】
(S704)操作部136は、操作対象のi番目の画像が存在するか否かを判断する。i番目の画像が存在する場合はS705に行き、存在しない場合はS707に行く。
【0171】
(S705)操作部136は、操作対象のi番目の画像を取得し、当該画像をi番目のウィンドウに出力する。
【0172】
(S706)操作部136は、カウンタiを1、インクリメントする。S704に戻る。
【0173】
(S707)操作部136は、カウンタjに1を代入する。
【0174】
(S708)操作部136は、取得された意図列の中にj番目の意図識別子が存在するか否かを判断する。j番目の意図識別子が存在する場合はS709に行き、存在しない場合は上位処理にリターンする。
【0175】
(S709)操作部136は、対応管理部113を参照し、j番目の意図識別子に対応する操作列定義を取得する。
【0176】
(S710)操作部136は、カウンタkに1を代入する。
【0177】
(S711)操作部136は、操作対象のk番目の画像が存在するか否かを判断する。k番目の画像が存在する場合はS712に行き、存在しない場合はS714に行く。
【0178】
(S712)操作部136は、k番目の画像に対して、S709で取得した操作列定義を用いて、j番目の意図識別子に対応する操作を行う。かかる意図実行処理の例について、
図8のフローチャートを用いて説明する。
【0179】
(S713)操作部136は、カウンタkを1、インクリメントする。S711に戻る。
【0180】
(S714)操作部136は、カウンタjを1、インクリメントする。S708に戻る。
【0181】
次に、S712の意図実行処理の例について、
図8のフローチャートを用いて説明する。
【0182】
(S801)操作部136は、操作対象の第二画像の対象地物の領域情報を取得する。
【0183】
(S802)操作部136は、カウンタiに1を代入する。
【0184】
(S803)操作部136は、操作列定義におけるi番目の操作識別子が存在するか否かを判断する。i番目の操作識別子が存在する場合はS804に行き、存在しない場合は上位処理にリターンする。
【0185】
(S804)操作部136は、i番目の操作識別子が「移動」であるか否かを判断する。「移動」である場合は、S805に行き、「移動」でない場合はS811に行く。
【0186】
(S805)操作部136は、フォーカスポイントを、操作対象の画像の道路上に配置する。なお、操作部136は、例えば、フォーカスポイントを、操作対象の画像の中心位置に最も近い道路の上の地点とする。
【0187】
(S806)操作部136は、対象地物とフォーカスポイントとの距離を取得する。
【0188】
(S807)操作部136は、S806で取得した距離が条件を満たすか否かを判断する。条件を満たす場合はS808に行き、条件を満たさない場合はS810に行く。なお、ここでの条件は、例えば、「第一閾値<=距離<=第二閾値」である。つまり、移動の際に、フォーカスポイントが対象地物に近づき過ぎても、遠ざかり過ぎても、不適切であると判断され、移動が停止される。
【0189】
(S808)操作部136は、フォーカスポイントを移動させた画像を取得する。なお、移動量は、例えば、予め決められた単位量である。フォーカスポイントを移動させた画像は、移動量だけ進めた画像である。
【0190】
(S809)操作部136は、カウンタiを1、インクリメントする。S803に戻る。
【0191】
(S810)操作部136は、操作列定義の中において、iが示す操作識別子が、「移動」の操作識別子の次の操作識別子となるまで、iを進める。S803に戻る。
【0192】
(S811)操作部136は、i番目の操作識別子が「拡大」であるか否かを判断する。「拡大」である場合は、S812に行き、「拡大」でない場合はS816に行く。
【0193】
(S812)操作部136は、対象地物の位置情報とフォーカスポイントの位置情報とを取得し、当該2つの位置情報を用いて、対象地物とフォーカスポイントとの距離を取得する。
【0194】
(S813)操作部136は、S812で取得した距離が条件を満たすか否かを判断する。条件を満たす場合はS814に行き、条件を満たさない場合はS815に行く。なお、条件は、例えば、「第三閾値<=距離<=第四閾値」である。つまり、拡大(ズームイン)の際に、フォーカスポイントが対象地物に近づき過ぎても、遠ざかり過ぎても、不適切であると判断され、拡大が停止される。
【0195】
(S814)操作部136は、操作対象の画像を拡大する。S809に行く。なお、拡大の度合いは、通常、予め決められた単位量である。
【0196】
(S815)操作部136は、操作列定義の中において、iが示す操作識別子が、「拡大」の操作識別子の次の操作識別子の位置となるまで、iを進める。S803に戻る。
【0197】
(S816)操作部136は、i番目の操作識別子が「縮小」であるか否かを判断する。「縮小」である場合はS817に行き、「縮小」でない場合はS821に行く。
【0198】
(S817)操作部136は、対象地物の位置情報とフォーカスポイントの位置情報とを取得し、当該2つの位置情報を用いて、対象地物とフォーカスポイントとの距離を取得する。
【0199】
(S818)操作部136は、S817で取得した距離が条件を満たすか否かを判断する。条件を満たす場合はS819に行き、条件を満たさない場合はS820に行く。なお、条件は、例えば、「第五閾値<=距離<=第六閾値」である。つまり、縮小(ズームアウト)の際に、フォーカスポイントが対象地物に近づき過ぎても、遠ざかり過ぎても、不適切である、と判断され、縮小が停止される。
【0200】
(S819)操作部136は、操作対象の画像を縮小する。S809に行く。なお、縮小の度合いは、通常、予め決められた単位量である。
【0201】
(S820)操作部136は、操作列定義の中において、iが示す操作識別子が、「縮小」の操作識別子の次の操作識別子の位置となるまで、iを進める。S803に戻る。
【0202】
(S821)操作部136は、操作識別子で識別される操作を実行する。S809に戻る。なお、かかる操作は、例えば、「左を向く」「右を向く」「上を向く」または「下を向く」である。
【0203】
次に、画像処理装置1の第二の動作例について、
図9のフローチャートを用いて説明する。
図9のフローチャートにおいて、
図9のフローチャートと同一のステップについて説明を省略する。
【0204】
(S901)意図列取得部131は、S210において、意図識別子を取得できたか否かを判断する。意図識別子を取得できた場合はS211に行き、取得できなかった場合はS204に戻る。なお、ここでのS210において、通常、1または2以上の操作識別子である操作列を用いて、最大一つの意図識別子を取得する。
【0205】
(S902)操作部136は、S214で決定した1以上の第二画像に対して、S210で蓄積された意図識別子に応じた操作を行う。S201に戻る。かかる画像操作処理の例について、
図10のフローチャートを用いて説明する。
【0206】
なお、
図9のフローチャートにおいて、ユーザが第一画像を操作している最中に、1以上の第二画像が自動的に出力され、かつユーザの操作意図に従って、1以上の各第二画像が自動的に操作される。
【0207】
また、
図9のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
【0208】
次に、S902の画像操作処理の例について、
図10のフローチャートを用いて説明する。
【0209】
(S1001)第二出力部142は、第二画像のウィンドウが存在するか否かを判断する。第二画像のウィンドウが存在する場合はS1004に行き、存在しない場合はS1002に行く。
【0210】
(S1002)第二出力部142は、取得された第二画像の数を取得する。第二出力部142は、当該第二画像の数の分のウィンドウを生成する。
【0211】
(S1003)第二出力部142は、取得された1以上の各第二画像を、各ウィンドウに出力する。
【0212】
(S1004)操作部136は、対応管理部113を参照し、S210で取得された意図識別子に対応する操作列定義を取得する。
【0213】
(S1005)操作部136は、カウンタiに1を代入する。
【0214】
(S1006)操作部136は、操作対象のi番目の第二画像が存在するか否かを判断する。i番目の第二画像が存在する場合はS1007に行き、存在しない場合は上位処理にリターンする。
【0215】
(S1007)操作部136は、i番目の第二画像に対して、S1004で取得した操作列定義を用いて、S210で取得された意図識別子に対応する操作を行う。かかる意図実行処理の例について、
図8のフローチャートを用いて説明した。
【0216】
(S1008)操作部136は、カウンタiを1、インクリメントする。S1006に戻る。
【0217】
以下、本実施の形態における画像処理装置1の具体的な動作例について説明する。
【0218】
図11は、画像処理装置1のコンセプトの例を説明する図である。画像処理装置1において、ユーザの第一画像に対する1以上の操作から1以上のチャンクを決定し、チャンク列から意図を決定し、当該意図を第二画像に反映させる操作を行う。なお、上述した通り、画像処理装置1において、ユーザの第一画像に対する1以上の操作から意図を決定し、当該意図を第二画像に反映させる操作を行っても良い。つまり、画像処理装置1において、チャンクを考慮することは必須ではない。以下、2つの具体例について説明する。具体例1は、第一画像と第二画像とが同じ種類の位置画像である場合である。なお、具体例1において、第一画像と第二画像とはストリートビューである。具体例2は、第一画像と第二画像とが異なる種類の位置画像である場合である。なお、具体例2において、第一画像はストリートビューであり、第二画像はGoogle earthの画像である。
【0219】
(具体例1)
画像処理装置1の対応管理部113には、
図12(b)の第一対応表、および
図12(c)の第二対応表が格納されている。また、
図12(a)は、ストリートビューにおける操作識別子である。
【0220】
第一対応表(
図12(b))は、「チャンク」「チャンク識別子」「操作列定義」を有する複数のレコードを有する。チャンクは、ここでは「移動」「左右を見る」「上下を見る」「ズーム」であり、各々のチャンク識別子は「M」「P」「T」「Z」である。また、各チャンク識別子に対応する操作列定義は、操作識別子、「m」「l」「r」「u」「d」「i」「o」のうちの1以上の操作識別子を用いた正規表現である。正規表現において、[]はいずれかを採用することを示し、+は正閉包(1回以上)を示し、*は閉包(0回以上)を示す。
【0221】
かかる場合の画面イメージは
図13である。まず、ユーザは、居酒屋である店Aを含むストリートビューの出力指示を画像処理装置1に入力した、とする。すると、画像処理装置1は、店舗Aを含むストリートビュー1302を出力する。
【0222】
次に、ユーザは、
図13の画面操作用ボタン1301を用いて、
図14に示すように、「i」「o」「o」「u」「u」「u」「d」「m」「m」「r」「l」「l」「r」「m」「m」「m」「i」「i」「i」「o」と操作した、とする。
【0223】
すると、操作列受付部121は、かかる操作を、順次、受け付ける。次に、意図列取得部131は、部分操作列「i」「o」「o」からチャンク識別子「Z」を取得し、部分操作列「u」「u」「u」「d」からチャンク識別子「T」を取得し、部分操作列「m」「m」からチャンク識別子「M」を取得し、部分操作列「r」「l」「l」「r」からチャンク識別子「P」を取得し、部分操作列「m」「m」「m」からチャンク識別子「M」を取得し、部分操作列「i」「i」「i」「o」チャンク識別子「Z」を取得する。つまり、意図列取得部131は、操作列「i」「o」「o」「u」「u」「u」「d」「m」「m」「r」「l」「l」「r」「m」「m」「m」「i」「i」「i」「o」から、第一対応表(
図12(b))を参照し、チャンク列「Z」「T」「M」「P」「M」「Z」を取得する。
【0224】
次に、意図列取得部131は、チャンク列「Z」「T」から意図識別子「詳細」を取得し、
チャンク列「M」「P」「M」から意図識別子「周辺」を取得する。つまり、意図列取得部131は、取得したチャンク列から、第二対応表(
図12(c))を参照し、意図列「詳細」「周辺」を取得する。
【0225】
次に、注目地物決定部132は、上述したアルゴリズムにより、第一画像1302の中の注目地物「店A」を決定する。
【0226】
次に、カテゴリ取得部133は、注目地物「店A」の地物情報の中のカテゴリ「居酒屋」を地物管理部111から取得する。そして、意図列取得部131は、取得した意図列「詳細」「周辺」とカテゴリ「居酒屋」とを図示しないバッファに蓄積する。
【0227】
次に、画像決定部134は、居酒屋を含み、「店A」の位置情報に対して、近い位置情報に対応するカテゴリ「居酒屋」の対象地物であり、「店A」との距離の近さが上位3つの店舗(「店B」「店C」「店D」)の地物を含むストリートビューを決定し、当該3つのストリートビューを図示しない画像サーバから取得する。かかる第二画像が、
図13の1303、1304、および1305である。
【0228】
次に、操作部136は、3つのストリートビュー(1303~1305)の各々に対して、意図列「詳細」「周辺」に対応する操作を、上述したアルゴリズムで行う。
【0229】
その結果、ユーザは、3つのストリートビューが自動操作される画像を見ることができ、「店B」「店C」「店D」の「詳細」および「周辺」を確認できる。
【0230】
(具体例2)
画像処理装置1の対応管理部113には、
図15に示す対応表が格納されている。対応表は、「意図識別子」「操作列定義」を有する複数のレコードを有する。この対応表は、Google earthの操作のための対応表である。
【0231】
具体例2において、ユーザは、具体例1と同様の操作を行った結果、画像処理装置1は、店舗Aを含むストリートビュー1302を出力し、かつ意図列取得部131は、意図列「詳細」「周辺」を取得する。また、注目地物決定部132は、上述したアルゴリズムにより、第一画像1302の中の注目地物「店A」を決定する。ここまでの処理は、具体例1と同じである。
【0232】
次に、意図列取得部131は、取得した意図列「詳細」「周辺」と注目地物「店A」とを図示しないバッファに蓄積する。
【0233】
次に、画像決定部134は、Google earth画像に対して、注目地物「店A」を入力し、「店A」を含むGoogle earth画像を出力する。かかる出力イメージは、
図16の1601である。
【0234】
次に、操作部136は、意図識別子「詳細」と対になる操作列定義「ズームイン」
+を対応表(
図15)から取得する。また、操作部136は、意図識別子「周辺」と対になる操作列定義[ズームイン|ズームアウト|左|右|上|下]
+を対応表(
図15)から取得する。
【0235】
そして、操作部136は、Google earth画像1601に対して、操作列定義「ズームイン」+に従って、「店A」の位置情報に対して、Google earth画像1601の中のフォーカスポイントの位置情報が予め決められた距離になるまで、ズームインを繰り返す。次に、操作部136は、意図識別子「周辺」に基づいて、操作列定義[ズームイン|ズームアウト|左|右|上|下]+に従って、例えば、第一画面1302が操作されていた時間の間、ズームイン、ズームアウト、左、右、上、または下の中の操作のいずれかをランダムに選択し、選択した操作を行い、ユーザに「店A」の「周辺」をGoogle earth画像により提示する。
【0236】
なお、具体例において、各種類の位置画像(第一画像、第二画像)に対応する対応表は、
図15のように一つの対応表でも良いし、
図12(b)(c)のように2つの対応表でも良い。つまり、対応表は、対応情報から構成されていても良いし、第一対応情報と第二対応情報とから構成されていても良い。
【0237】
以上、本実施の形態によれば、第一画像に対する操作の意図を、1以上の各第二画像に流用できる結果、1以上の第二画像をユーザの意図に従って自動的に操作できる。
【0238】
また、本実施の形態によれば、第一画像に対する操作の意図を、第一画像とは異なる種類の1以上の各第二画像に流用できる結果、1以上の第二画像をユーザの意図に従って自動的に操作できる。
【0239】
また、本実施の形態によれば、第二画像を自動的に決定できる。
【0240】
さらに、本実施の形態によれば、第一画像に対する操作の意図を特定する意図情報を再利用できる。
【0241】
なお、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをCD-ROMなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態における画像処理装置1を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、2以上の各操作に対する操作識別子の集合を定義する操作列定義と操作の意図を識別する意図識別子との対応を示す2以上の対応情報が格納される対応管理部にアクセス可能なコンピュータを、位置情報に対応付く画像である第一画像を出力する第一出力部と、前記第一画像に対する2以上の各操作を識別する操作識別子の集合である操作列を受け付ける操作列受付部と、前記操作列受付部が受け付けた前記操作列に合致する1以上の各操作列定義に対応する意図識別子である意図列を前記対応管理部から取得する意図列取得部と、第二画像を出力する第二出力部と、前記意図列取得部が取得した前記意図列に対する操作列定義を満たす1以上の操作を前記第二画像に対して行う操作部として機能させるためのプログラムである。
【0242】
(実施の形態2)
本実施の形態において、第一画像の操作により取得された意図列を流通し、第二画像の操作に当該意図列を利用する画像処理装置2について説明する。
【0243】
図17は、本実施の形態における画像処理装置2のブロック図である。画像処理装置2は、スタンドアロンの装置でも良いし、図示しない端末装置からの指示や情報を受信し、位置画像を端末装置に送信するサーバでも良い。画像処理装置2がスタンドアロンの装置である場合、画像処理装置2は、例えば、いわゆるパソコン、スマートフォン、タブレット端末であるが、その種類は問わない。画像処理装置2がサーバである場合、画像処理装置2は、例えば、クラウドサーバ、ASPサーバであるが、その種類は問わない。
【0244】
画像処理装置2は、格納部11、受付部22、処理部23、および出力部24を備える。受付部22は、意図受付部221を備える。処理部23は、注目地物決定部132、カテゴリ取得部133、画像取得部234、対象地物決定部135、および操作部136を備える。出力部24は、第二出力部142を備える。
【0245】
受付部22は、各種の指示や情報を受け付ける。各種の指示や情報は、例えば、後述する意図情報、自動操作指示、意図列等である。
【0246】
自動操作指示とは、第二画像を自動的に操作する指示である。自動操作指示は、例えば、操作対象の位置画像の識別子を含む。操作対象の位置画像は、第二画像である。自動操作指示は、例えば、意図列を識別する情報を含む。
【0247】
意図列等は、意図列だけでも良いし、意図列とカテゴリでも良いし、意図列と対象地物識別子でも良い。カテゴリは、対象地物のカテゴリである。対象地物識別子とは、対象地物を識別する情報である。対象地物識別子は、例えば、操作の対象となる地物名、または地物のIDである。
【0248】
意図受付部221は、意図情報を受け付ける。意図情報とは、ユーザの位置画像に対する意図を特定する情報である。意図情報は、意図列を含む。かかる意図列は、第一画像に対する操作に応じて取得された情報である。意図情報は、意図列とカテゴリとをも含むことは好適である。意図情報は、意図列と対象地物識別子とを有しても良い。
【0249】
処理部23は、各種の処理を行う。各種の処理は、例えば、注目地物決定部132、カテゴリ取得部133、画像取得部234、対象地物決定部135、操作部136が行う処理である。
【0250】
画像取得部234は、自動的に操作する対象の第二画像を取得する。画像取得部234は、例えば、自動操作指示が有する位置画像の識別子を用いて、第二画像を取得する。画像取得部234は、例えば、画像格納部112または図示しない画像サーバから第二画像を取得する。なお、第二画像と第一画像の種類は同じでも、異なっていても良い。
【0251】
出力部24は、各種の情報を出力する。各種の情報は、例えば、画像取得部234が取得した第二画像である。
【0252】
ここで出力とは、例えば、ユーザの端末装置(図示しない)への送信であるが、ディスプレイへの表示、プロジェクターを用いた投影、プリンタでの印字、他の外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である。
【0253】
受付部22、および意図受付部221は、無線または有線の通信手段で実現されることが好適であるが、放送を受信する手段、タッチパネルやキーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現されても良い。
【0254】
処理部23、および画像取得部234は、通常、プロセッサやメモリ等から実現され得る。処理部23等の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。なお、プロセッサは、CPU、MPU、GPU等であり、その種類は問わない。
【0255】
出力部24は、通常、無線または有線の通信手段で実現されるが、ディスプレイやスピーカー等の出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現されても良い。
【0256】
次に、画像処理装置2の動作例について、
図18のフローチャートを用いて説明する。
【0257】
(S1801)受付部22は、自動操作指示を受け付けたか否かを判断する。自動操作指示を受け付けた場合はS1802に行き、受け付けなかった場合はS1806に行く。
【0258】
(S1802)画像取得部234は、自動操作指示が有する位置画像の識別子を用いて、第二画像を取得する。かかる第二画像は、自動操作対象の位置画像である。
【0259】
(S1803)第二出力部142は、S1802で取得された第二画像を出力する。
【0260】
(S1804)意図受付部221は、意図情報を取得する。意図受付部221は、例えば、格納部11の意図情報を取得する。意図受付部221は、例えば、自動操作指示が有する意図情報を取得する。意図受付部221は、例えば、自動操作指示が有する意図情報の識別子で識別される意図情報を取得する。
【0261】
(S1805)操作部136は、S1804で取得された意図情報を用いて、S1803で出力された第二画像を操作する。かかる画像操作の例について、
図19のフローチャートを用いて説明する。
【0262】
(S1806)意図受付部221は、意図列等を受け付けたか否かを判断する。意図列等を受け付けた場合はS1807に行き、受け付けなかった場合はS1801に戻る。
【0263】
(S1807)処理部23は、S1806で受け付けられた意図列等を格納部11に蓄積する。S1801に戻る。なお、意図列等は、意図情報である。意図列等は、例えば、意図列とカテゴリ、意図列と地物識別子、または意図列のみである。
【0264】
なお、
図18のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
【0265】
次に、S1805の画像操作の例について、
図19のフローチャートを用いて説明する。
【0266】
(S1901)操作部136は、カウンタiに1を代入する。
【0267】
(S1902)操作部136は、取得した意図列の中に、i番目の意図識別子が存在するか否かを判断する。i番目の意図識別子が存在する場合はS1903に行き、存在しない場合は上位処理にリターンする。
【0268】
(S1903)操作部136は、対応管理部113を参照し、i番目の意図識別子に対応する操作列定義を取得する。
【0269】
(S1904)操作部136は、出力されている第二画像に対して、S1903で取得した操作列定義を用いて、i番目の意図識別子に対応する操作を行う。かかる意図実行処理の例について、
図8のフローチャートを用いて説明した。
【0270】
(S1905)操作部136は、カウンタiを1、インクリメントする。S1902に戻る。
【0271】
以下、本実施の形態における画像処理装置2の具体的な動作例について説明する。今、画像処理装置2の格納部11に、意図列識別子「意
図X」と対になる意図列「詳細」「周辺」が格納されている、とする。
【0272】
かかる状況において、ユーザは、画像処理装置2に、注目地物「店A」および意図列識別子「意
図X」を含む自動操作指示を入力した、とする。
【0273】
すると、受付部22は、当該自動操作指示「<注目地物>店A <意図列識別子>意
図X」を受け付ける。
【0274】
次に、画像取得部234は、自動操作指示が有する「<注目地物>店A」を用いて、「店A」を含むストリートビューを取得する。また、カテゴリ取得部133は、「店A」のカテゴリ「居酒屋」を取得する。次に、対象地物決定部135は、当該カテゴリ「居酒屋」の地物であり、「店A」からの距離が近い所定数(ここでは3つ)の地物「店B」「店C」「店D」を決定する。次に、画像取得部234は、地物「店B」「店C」「店D」を含む3つのストリートビューを図示しない画像サーバから取得する。
【0275】
次に、出力部24は、「店A」「店B」「店C」「店D」を、各々、含む4つのストリートビューを出力する。
【0276】
次に、操作部136は、4つのストリートビューに、各々、「店A」「店B」「店C」「店D」を対象地物として、意図列識別子「意
図X」と対になる意図列「詳細」「周辺」を適用し、4つのストリートビューを自動操作する。かかる操作について、実施の形態1の具体例において説明した。
【0277】
そして、出力部24は、例えば、
図13の1302~1305の各ウィンドウに、ストリートビューが出力される。
【0278】
以上、本実施の形態によれば、第一画像に対する操作の意図を特定する意図情報を再利用できる。つまり、本実施の形態によれば、第一画像に対する操作の意図を、1以上の各第二画像に流用できる結果、1以上の第二画像をユーザの意図に従って自動的に操作できる。
【0279】
さらに、本実施の形態によれば、第二画像を自動的に決定できる。
【0280】
なお、本実施の形態における画像処理装置2を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、操作列定義と意図識別子との対応を示す2以上の対応情報が格納される対応管理部にアクセス可能なコンピュータを、第一画像に対する操作に応じて取得された意図列を含む意図情報を受け付ける意図受付部と、第二画像を出力する第二出力部と、前記意図受付部が受け付けた前記意図情報が有する前記意図列が有する1以上の各意図識別子に対する操作列定義を取得し、当該1以上の各操作列定義を満たす1以上の操作を前記第二画像に対して行う操作部として機能させるためのプログラムである。
【0281】
また、
図20は、本明細書で述べたプログラムを実行して、上述した種々の実施の形態の画像処理装置1または画像処理装置2を実現するコンピュータの外観を示す。上述の実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現され得る。
図20は、このコンピュータシステム300の概観図であり、
図21は、システム300のブロック図である。
【0282】
図20において、コンピュータシステム300は、CD-ROMドライブを含むコンピュータ301と、キーボード302と、マウス303と、モニタ304とを含む。
【0283】
図21において、コンピュータ301は、CD-ROMドライブ3012に加えて、MPU3013と、CD-ROMドライブ3012等に接続されたバス3014と、ブートアッププログラム等のプログラムを記憶するためのROM3015と、MPU3013に接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのRAM3016と、アプリケーションプログラム、システムプログラム、及びデータを記憶するためのハードディスク3017とを含む。ここでは、図示しないが、コンピュータ301は、さらに、LANへの接続を提供するネットワークカードを含んでも良い。
【0284】
コンピュータシステム300に、上述した実施の形態の画像処理装置1等の機能を実行させるプログラムは、CD-ROM3101に記憶されて、CD-ROMドライブ3012に挿入され、さらにハードディスク3017に転送されても良い。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ301に送信され、ハードディスク3017に記憶されても良い。プログラムは実行の際にRAM3016にロードされる。プログラムは、CD-ROM3101またはネットワークから直接、ロードされても良い。
【0285】
プログラムは、コンピュータ301に、上述した実施の形態の画像処理装置1等の機能を実行させるオペレーティングシステム(OS)、またはサードパーティープログラム等は、必ずしも含まなくても良い。プログラムは、制御された態様で適切な機能(モジュール)を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。コンピュータシステム300がどのように動作するかは周知であり、詳細な説明は省略する。
【0286】
なお、上記プログラムにおいて、情報を送信するステップや、情報を受信するステップなどでは、ハードウェアによって行われる処理、例えば、送信ステップにおけるモデムやインターフェースカードなどで行われる処理(ハードウェアでしか行われない処理)は含まれない。
【0287】
また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
【0288】
また、上記各実施の形態において、一の装置に存在する2以上の通信手段は、物理的に一の媒体で実現されても良いことは言うまでもない。
【0289】
また、上記各実施の形態において、各処理は、単一の装置によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。
【0290】
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
【産業上の利用可能性】
【0291】
以上のように、本発明にかかる画像処理装置1は、第一画像に対する操作の意図を、第二画像に流用できる結果、第二画像をユーザの意図に従って自動的に操作できるという効果を有し、位置画像のビューア等として有用である。
【符号の説明】
【0292】
1、2 画像処理装置
11 格納部
12、22 受付部
13、23 処理部
14、24 出力部
111 地物管理部
112 画像格納部
113 対応管理部
121 操作列受付部
131 意図列取得部
132 注目地物決定部
133 カテゴリ取得部
134 画像決定部
135 対象地物決定部
136 操作部
141 第一出力部
142 第二出力部
221 意図受付部
234 画像取得部