IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社島津製作所の特許一覧

特許7173321X線撮影装置およびX線撮影装置の障害物接触回避方法
<>
  • 特許-X線撮影装置およびX線撮影装置の障害物接触回避方法 図1
  • 特許-X線撮影装置およびX線撮影装置の障害物接触回避方法 図2
  • 特許-X線撮影装置およびX線撮影装置の障害物接触回避方法 図3
  • 特許-X線撮影装置およびX線撮影装置の障害物接触回避方法 図4
  • 特許-X線撮影装置およびX線撮影装置の障害物接触回避方法 図5
  • 特許-X線撮影装置およびX線撮影装置の障害物接触回避方法 図6
  • 特許-X線撮影装置およびX線撮影装置の障害物接触回避方法 図7
  • 特許-X線撮影装置およびX線撮影装置の障害物接触回避方法 図8
  • 特許-X線撮影装置およびX線撮影装置の障害物接触回避方法 図9
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-11-08
(45)【発行日】2022-11-16
(54)【発明の名称】X線撮影装置およびX線撮影装置の障害物接触回避方法
(51)【国際特許分類】
   A61B 6/10 20060101AFI20221109BHJP
【FI】
A61B6/10 350
【請求項の数】 7
(21)【出願番号】P 2021521585
(86)(22)【出願日】2019-05-27
(86)【国際出願番号】 JP2019020873
(87)【国際公開番号】W WO2020240653
(87)【国際公開日】2020-12-03
【審査請求日】2021-10-20
(73)【特許権者】
【識別番号】000001993
【氏名又は名称】株式会社島津製作所
(74)【代理人】
【識別番号】100104433
【弁理士】
【氏名又は名称】宮園 博一
(72)【発明者】
【氏名】谷 和俊
(72)【発明者】
【氏名】▲浜▼▲崎▼ 真二
(72)【発明者】
【氏名】坂口 淳平
(72)【発明者】
【氏名】代田 健
(72)【発明者】
【氏名】奥村 皓史
【審査官】松岡 智也
(56)【参考文献】
【文献】国際公開第2017/043040(WO,A1)
【文献】国際公開第2017/043041(WO,A1)
【文献】特開2015-156896(JP,A)
【文献】米国特許出願公開第2015/0117601(US,A1)
【文献】特開2012-205681(JP,A)
【文献】特開平11-178818(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 6/00-6/14
(57)【特許請求の範囲】
【請求項1】
少なくとも水平方向に移動可能に構成されているX線撮影装置本体と、
前記X線撮影装置本体の周囲の同一領域における複数の2次元画像としての可視画像を取得する撮像部と、
前記撮像部により取得された前記複数の可視画像から生成された3次元画像としての視差画像に基づいて、前記X線撮影装置本体と前記X線撮影装置本体の周囲の障害物とを含む被検出物を識別する画像処理部と、
前記X線撮影装置本体と前記障害物との接触を回避するための制御を行う制御部と、
を備え、
前記画像処理部は、予め与えられた教師データとしての前記X線撮影装置本体の画像を含む2次元画像としての複数の教師用可視画像に基づいて前記X線撮影装置本体を特定する機械学習の学習結果に基づいて特定された前記X線撮影装置本体を、前記撮像部により取得された前記複数の可視画像のうちの少なくとも1つにおいて識別した場合に、前記学習結果に基づいて識別された前記可視画像における前記X線撮影装置本体の画像に基づいて、前記被検出物において前記X線撮影装置本体と前記障害物とを判別するとともに、判別した前記X線撮影装置本体と前記障害物との間の水平距離を算出するように構成されており、
前記制御部は、前記画像処理部により算出された前記水平距離に基づいて、前記X線撮影装置本体と前記障害物との接触を回避するための制御を行うように構成されている、X線撮影装置。
【請求項2】
前記画像処理部は、前記撮像部により取得された前記可視画像において、前記X線撮影装置本体が撮影されている第1領域を識別するとともに、前記視差画像に基づいて、前記被検出物が撮影されている領域のうち、前記第1領域に対応する領域以外の領域を、前記障害物が撮影されている第2領域として識別するように構成されている、請求項1に記載のX線撮影装置。
【請求項3】
前記画像処理部は、前記視差画像に基づいて、前記可視画像において識別された前記第1領域に隣接するとともに前記学習結果に基づく画像認識を行う際の最小単位領域である抽出単位領域よりも小さい前記被検出物を除いた領域を第3領域として識別するとともに、前記被検出物が撮影されている領域のうち、前記第1領域および前記第3領域に対応する領域以外の領域を、前記障害物が撮影されている第2領域として識別するように構成されている、請求項2に記載のX線撮影装置。
【請求項4】
前記X線撮影装置本体は、前記X線撮影装置本体が設けられる室内の天井面から吊り下げられるように設けられており、
前記画像処理部は、前記障害物の高さが前記X線撮影装置本体の高さ以上である場合に、前記水平距離を算出するように構成されている、請求項1~3のいずれか1項に記載のX線撮影装置。
【請求項5】
前記X線撮影装置本体の下端を鉛直方向に移動可能に構成されている鉛直方向移動部をさらに備え、
前記画像処理部は、前記障害物の高さが前記鉛直方向移動部の高さ以上である場合に、前記水平距離を算出するように構成されている、請求項4に記載のX線撮影装置。
【請求項6】
前記撮像部は、ステレオカメラを含む、請求項1~5のいずれか1項に記載のX線撮影装置。
【請求項7】
予め与えられた教師データとしてのX線撮影装置本体の画像を含む2次元画像としての複数の教師用可視画像に基づいて前記X線撮影装置本体を特定する機械学習を行うことにより、前記X線撮影装置本体を特定するステップと、
前記X線撮影装置本体の周囲の同一領域における複数の2次元画像としての可視画像を取得するステップと、
取得された前記複数の可視画像から生成された3次元画像としての視差画像に基づいて、前記X線撮影装置本体と前記X線撮影装置本体の周囲の障害物とを含む前記被検出物を識別するステップと、
前記機械学習の学習結果に基づいて特定された前記X線撮影装置本体を、取得された前記複数の可視画像のうちの少なくとも1つにおいて識別した場合に、前記学習結果に基づいて識別された前記可視画像における前記X線撮影装置本体の画像に基づいて、前記被検出物において前記X線撮影装置本体と前記障害物とを判別するステップと、
判別した前記X線撮影装置本体と前記障害物との間の水平距離を算出するステップと、
算出された前記水平距離に基づいて、前記X線撮影装置本体と前記障害物との接触を回避するための制御を行うステップと、を備える、X線撮影装置の障害物接触回避方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、X線撮影装置およびX線撮影装置の障害物接触回避方法に関する。
【背景技術】
【0002】
従来、X線撮影装置およびX線撮影装置の障害物接触回避方法が知られている。X線撮影装置およびX線撮影装置の障害物接触回避方法は、たとえば、特開2012-205681号公報に開示されている。
【0003】
上記特開2012-205681号公報には、室内の天井部分に移動可能に設置された保持装置を備えるX線撮影装置が開示されている。上記保持装置は、X線を照射するX線管等を保持している。上記X線撮影装置は、所定の条件に従って保持装置を移動させる移動ルートを算出している。そして、保持装置は、算出された移動ルートに沿って自動的に移動される。
【0004】
また、上記特開2012-205681号公報のX線撮影装置には、室内を撮影するために用いられるカメラが設けられている。また、上記X線撮影装置には、上記カメラにより撮影された情報に基づいて室内の障害物の位置を算出する障害物位置算出部が設けられている。また、X線撮影装置のメインCPUは、保持装置の移動ルート上の障害物と保持装置との間の距離が設定距離以下になった場合に、保持装置の移動を抑制(停止または減速)する制御を行う。
【0005】
また、上記特開2012-205681号公報には記載されていないが、上記特開2012-205681号公報に開示されているような従来のX線撮影装置において、障害物の位置を算出する方法の1つとして、カメラにより撮影された視差画像に基づいて、カメラから障害物までの鉛直距離が算出される方法が考えられる。この方法では、算出された鉛直距離に基づいて、障害物の高さが算出される。そして、X線管等の高さ以上の高さを有する障害物が、X線管等と接触する可能性のある障害物として判定される。そして、この障害物にX線管等が接触しないように、保持装置の移動が制御される。
【先行技術文献】
【特許文献】
【0006】
【文献】特開2012-205681号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、上記の視差画像には、障害物に加えてX線管等のX線撮影装置本体が撮影される場合がある。この場合、視差画像に基づいて障害物の高さを算出する方法では、視差画像に撮影されている物体が、障害物か、X線管等のX線撮影装置本体かを識別することが困難である。このため、障害物にX線管等が接触しないように、保持装置(X線撮影装置本体)の移動を適切に制御できない場合があるという問題点が考えらえる。
【0008】
この発明は、上記のような課題を解決するためになされたものであり、この発明の1つの目的は、視差画像に基づいて障害物を検出する場合でも、障害物とX線撮影装置本体とが接触しないように、X線撮影装置本体の移動を適切に制御することが可能なX線撮影装置およびX線撮影装置の障害物接触回避方法を提供することである。
【課題を解決するための手段】
【0009】
上記目的を達成するために、この発明の第1の局面におけるX線撮影装置は、少なくとも水平方向に移動可能に構成されているX線撮影装置本体と、X線撮影装置本体の周囲の同一領域における複数の2次元画像としての可視画像を取得する撮像部と、撮像部により取得された複数の可視画像から生成された3次元画像としての視差画像に基づいて、X線撮影装置本体とX線撮影装置本体の周囲の障害物とを含む被検出物を識別する画像処理部と、X線撮影装置本体と前記障害物との接触を回避するための制御を行う制御部と、を備え、画像処理部は、予め与えられた教師データとしてのX線撮影装置本体の画像を含む2次元画像としての複数の教師用可視画像に基づいてX線撮影装置本体を特定する機械学習の学習結果に基づいて特定されたX線撮影装置本体を、撮像部により取得された複数の可視画像のうちの少なくとも1つにおいて識別した場合に、学習結果に基づいて識別された可視画像におけるX線撮影装置本体の画像に基づいて、被検出物においてX線撮影装置本体と障害物とを判別するとともに、判別したX線撮影装置本体と障害物との間の水平距離を算出するように構成されており、制御部は、画像処理部により算出された水平距離に基づいて、X線撮影装置本体と障害物との接触を回避するための制御を行うように構成されている。
【0010】
上記目的を達成するために、第2の局面におけるX線撮影装置の障害物接触回避方法は、予め与えられた教師データとしてのX線撮影装置本体の画像を含む2次元画像としての複数の教師用可視画像に基づいてX線撮影装置本体を特定する機械学習を行うことにより、X線撮影装置本体を特定するステップと、X線撮影装置本体の周囲の同一領域における複数の2次元画像としての可視画像を取得するステップと、取得された複数の可視画像から生成された3次元画像としての視差画像に基づいて、X線撮影装置本体とX線撮影装置本体の周囲の障害物とを含む被検出物を識別するステップと、機械学習の学習結果に基づいて特定されたX線撮影装置本体を、取得された複数の可視画像のうちの少なくとも1つにおいて識別した場合に、学習結果に基づいて識別された可視画像におけるX線撮影装置本体の画像に基づいて、被検出物においてX線撮影装置本体と障害物とを判別するステップと、判別したX線撮影装置本体と障害物との間の水平距離を算出するステップと、算出された水平距離に基づいて、X線撮影装置本体と障害物との接触を回避するための制御を行うステップと、を備える。
【発明の効果】
【0011】
本発明によれば、上記のように、予め与えられた教師データとしてのX線撮影装置本体の画像を含む2次元画像としての複数の教師用可視画像に基づいてX線撮影装置本体を特定する機械学習の学習結果に基づいて識別された可視画像におけるX線撮影装置本体の画像に基づいて、視差画像に基づいて識別された被検出物においてX線撮影装置本体とX線撮影装置本体の周囲の障害物とが判別される。これにより、視差画像に基づいて識別された被検出物においてX線撮影装置本体と障害物とを容易に判別することができるので、視差画像に基づいて障害物を検出する場合でも、障害物とX線撮影装置本体とが接触しないように、X線撮影装置本体の移動を適切に制御することができる。
【図面の簡単な説明】
【0012】
図1】一実施形態によるX線撮影装置を示した斜視図である。
図2】一実施形態によるX線撮影装置を示した側面図である。
図3】一実施形態によるX線撮影装置の制御コントローラを示した図である。
図4】一実施形態によるX線撮影装置の制御基板の構成を示した図である。
図5】一実施形態によるX線撮影装置と障害物との接触を回避するための制御方法を示したフロー図である。
図6】一実施形態によるX線撮影装置の機械学習の方法を説明するための図である。
図7図5の各ステップにおいて画像処理部により行われる制御を説明するための図である。
図8】一実施形態による画像処理部において被写体およびX線撮影装置本体の高さを算出するための方法を説明するための図である。
図9】一実施形態によるX線撮影装置の可視画像においてX線撮影装置本体が撮影された部分のうち機械学習に基づいて識別されなかったX線撮影装置本体の部分を説明するための図である。
【発明を実施するための形態】
【0013】
以下、本発明を具体化した実施形態を図面に基づいて説明する。
【0014】
(X線撮影装置の構成)
図1図9を参照して、本実施形態によるX線撮影装置100の構成について説明する。
【0015】
図1に示すように、X線撮影装置100は、水平方向に移動可能に構成されているX線撮影装置本体100aを備える。X線撮影装置本体100aは、室内200に設けられている。また、X線撮影装置本体100aは、室内200の天井面201から吊り下げられるように設けられている。
【0016】
また、室内200の天井面201には、X方向に延びるレール202が取り付けられている。また、レール202の下部には、Y方向に延びるレール203が、ローラ等を介して取り付けられている。これにより、レール203は、レール202に沿ってX方向に移動可能に構成されている。
【0017】
また、X線撮影装置本体100aは、ローラ等を介してレール203に取り付けられている。これにより、X線撮影装置本体100aは、レール203に沿ってY方向に移動可能に構成されている。したがって、レール202およびレール203によって、X線撮影装置本体100aは、水平方向(XY面内)において移動可能に構成されている。なお、X方向およびY方向は、互いに直交する方向である。
【0018】
X線撮影装置本体100aは、X線を照射するX線管11を含むX線発生部10を含む。X線発生部10は、X線管11の下部に設けられるコリメータ12を含む。また、X線発生部10には、X線管11およびコリメータ12を手動で移動させるための操作盤13が設けられている。
【0019】
また、X線発生部10(X線管11、コリメータ12、および、操作盤13)は、水平方向に沿った軸および鉛直方向に沿った軸を回転軸として回転可能に構成されている。これにより、X線発生部10によるX線の照射方向を変えることが可能であるので、撮影方法が立位の場合および臥位の場合の各々に対応可能である。
【0020】
また、X線撮影装置本体100aは、X線発生部10を保持する保持部20を含む。保持部20には、X線発生部10と接続される接続部21が設けられている。
【0021】
また、保持部20には、接続部21と接続される支柱部22が設けられている。支柱部22は、鉛直方向(Z方向)に延びるように設けられている。また、支柱部22は、X線撮影装置本体100aのX線発生部10を鉛直方向に移動可能に構成されている。これにより、X線撮影装置本体100aの下端100b(X線発生部10)は、支柱部22の伸縮に伴って鉛直方向に移動される。なお、支柱部22は、特許請求の範囲の「鉛直方向移動部」の一例である。
【0022】
すなわち、支柱部22、レール202、および、レール203により、下端100b(X線発生部10)は、水平方向および鉛直方向において(すなわち3次元空間内において)任意の位置に移動可能に構成されている。
【0023】
また、保持部20には、天井面201のレール203に取り付けられている筐体部23が設けられている。なお、支柱部22は、筐体部23の下部に設けられている。
【0024】
また、X線撮影装置本体100aは、X線発生部10(X線管11)に電流を供給するためのケーブル24を含む。
【0025】
図2に示すように、X線撮影装置100は、ステレオカメラ30を備える。ステレオカメラ30は、筐体部23の側面23aに取り付けられている。ステレオカメラ30は、X線撮影装置本体100aの周囲(下方)の同一領域における複数(2つ)の可視画像31を(同時に)取得するように構成されている。なお、ステレオカメラ30は、特許請求の範囲の「撮像部」の一例である。
【0026】
また、側面23aには、制御基板40が取り付けられている。なお、ステレオカメラ30は、制御基板40に一体的に取り付けられている。なお、制御基板40は、筐体部23の内部に設けられていてもよい。
【0027】
図3に示すように、X線撮影装置100は、X線撮影装置本体100aを制御する制御コントローラ300を備える。制御コントローラ300には、緊急停止ボタン301と、撮影プログラムボタン302と、4つのオートポジショニングボタン303と、緊急停止解除ボタン304と、位置登録ボタン305と、駆動状況表示用LED306と、が設けられている。
【0028】
X線撮影装置本体100aの自動運転時に、緊急停止ボタン301が押下されることにより、X線撮影装置本体100aの運転が緊急停止される。また、撮影プログラムボタン302が押下されることにより、X線撮影装置本体100aの撮影プログラムが変更される。また、オートポジショニングボタン303が押下されることにより、各オートポジショニングボタン303に対応して予め登録がされていた位置にX線撮影装置本体100aが自動的に移動される。
【0029】
また、緊急停止解除ボタン304が押下されることにより、緊急停止されたX線撮影装置本体100aの移動が再開される。また、所定の位置において位置登録ボタン305が押下されることにより、上記所定の位置が、オートポジショニングボタン303が押下された場合にX線撮影装置本体100aが自動的に移動される位置として登録される。また、駆動状況表示用LED306は、X線撮影装置本体100aの駆動状況(たとえば緊急停止中)に基づいて、たとえばLEDの点滅パターンおよびLEDの色などを変化させる。
【0030】
なお、制御コントローラ300からX線撮影装置本体100aに送信される送信信号に従って、制御基板40の後述する制御部42によりX線撮影装置本体100aの制御が行われる。
【0031】
図4に示すように、制御基板40は、画像処理部41と、制御部42と、を含む。画像処理部41は、ステレオカメラ30により撮像された複数(2つ)の可視画像31(図7(A)参照)の画像データをステレオカメラ30から取得する。
【0032】
また、画像処理部41は、CPU41aと、画像処理回路41bと、を含む。画像処理回路41bは、FPGA(Field-Programmable Gate Array)により構成されている。また、制御部42は、CPU42aを含む。なお、CPU41aおよび画像処理回路41bの両方が、1つのFPGAとして構成されていてもよい。
【0033】
(X線撮影装置本体と障害物との接触を回避するための制御)
次に、図5図9を参照して、X線撮影装置本体100aと障害物400との接触を回避するための制御について説明する。
【0034】
まず、図5に示すように、ステップS1において、ステレオカメラ30により取得された可視画像31(図7参照)において、X線撮影装置本体100aを特定するための機械学習が実行される。この機械学習は、予め与えられた複数の教師用可視画像30a(図6参照)に基づいて行われる。教師用可視画像30aは、教師データとしてのX線撮影装置本体100aの画像を含む2次元画像である。具体的には、図6に示すように、X線撮影装置本体100a(たとえば、X線発生部10)の位置および向き等がそれぞれ異なる、複数(たとえば数万枚)の教師用可視画像30aが、ステレオカメラ30により撮像される。そして、複数の教師用可視画像30aが、教師データとして与えられることにより、X線撮影装置100は、X線撮影装置本体100aの形状を学習する。なお、X線撮影装置100では、機械学習として、深層学習(AI)が用いられる。なお、ステップS1における機械学習は、X線撮影装置100の医療現場における使用時(ステップS2~ステップS8)に先立って、事前に行われる。
【0035】
次に、ステップS2において、可視画像31および視差画像32が取得される。具体的には、ステレオカメラ30により複数の(2つの)可視画像31(図7(A)参照)が撮像されるとともに、2つの可視画像31に基づいて、画像処理部41(画像処理回路41b)により3次元の深度(ステレオカメラ30からの離間距離D1(図8参照))を求めるための画像としての視差画像32(図7(B)参照)が生成される。可視画像31には、たとえば、人物401、人物402、器具403、および、X線撮影装置本体100aの一部(X線発生部10)が、視差画像32に表示される被検出物Pとして表示されているとする。なお被検出物Pとしては、その他に、ベッド、立位撮影用のスタンド、X線防護用の衝立、棚、および、ディスプレイ装置等が考えられる。なお、可視画像31の撮像、および、視差画像32の生成の各々は、約30fps毎に行われる。なお、「fps」とは、フレームレートを表す。
【0036】
次に、ステップS3において、視差画像32に基づいて、画像処理部41(CPU41a)により、被検出物Pの高さH1(図8参照)が算出される。なお、視差画像32では、ステレオカメラ30からの離間距離D1(図8参照)に応じて、被検出物Pが色分け(図7(B)では視差画像32内の斜線により図示)されている。
【0037】
次に、ステップS4において、X線撮影装置本体100aの高さH2(図8参照)以上の高さH1(図8参照)を有する被検出物Pが、画像処理部41(画像処理回路41b)により識別される。なお、X線撮影装置本体100aの高さH2とは、X線撮影装置本体100aの下端100b(図8参照)の床面204(図8参照)からの高さを意味する。また、支柱部22の鉛直方向の伸縮に伴ってX線撮影装置本体100aの下端100bの位置が変化(移動)した場合には、X線撮影装置本体100aの高さH2とは、変化(移動)後のX線撮影装置本体100aの下端100bの床面204からの高さを意味する。また、図8では、X線撮影装置本体100aの下端100bは、コリメータ12の下端であるように図示されているが、下端100bはX線発生部10の角度等により変化し得る。
【0038】
具体的には、図7(C)に示すように、視差画像32に基づいて、画像処理部41(画像処理回路41b)により2値化処理が行われる。すなわち、画像処理部41(画像処理回路41b)は、視差画像32に表示される被検出物Pのうち、視差画像32に基づいて画像処理部41により算出された高さH1(図8参照)が、X線撮影装置本体100aの高さH2(図8参照)以上である被検出物Pと、高さH1が高さH2よりも小さい被検出物Pとを区別する。図7(C)に示すように、高さH1がX線撮影装置本体100aの高さH2以上である被検出物Pだけが白く表示(領域R)されるとともに、領域R以外の部分が灰色塗りで表示された二値化画像33が、画像処理部41(画像処理回路41b)により生成される。本実施形態の例では、二値化画像33において、人物401、人物402、および、器具403が、X線撮影装置本体100aの高さH2以上の高さH1を有する被検出物Pとして抽出されている。また、この時点では、X線撮影装置本体100a自身も、X線撮影装置本体100aの高さH2以上の高さH1を有する被検出物Pとして抽出されている。
【0039】
被検出物Pの高さH1を算出する方法として、たとえば、視差画像32に基づいて算出されたステレオカメラ30と被検出物Pとの鉛直方向(Z方向)の離間距離D1(図8参照)と、ステレオカメラ30の高さH3(図8参照)との差分(H1=H3-D1)を算出することが考えられる。なお、ステレオカメラ30の高さH3とは、ステレオカメラ30の床面204からの高さを意味する。また、ステレオカメラ30の高さH3の情報は、予めX線撮影装置100が所有している。
【0040】
X線撮影装置本体100aの下端100bの高さH2を算出する方法として、たとえば、視差画像32に基づいて算出されたステレオカメラ30とX線発生部10の上端100cとの離間距離D2と、X線発生部10自身の高さH4との合計値(D2+H4)を、ステレオカメラ30の高さH3から差し引く(H2=H3-(D2+H4))ことが考えられる。なお、X線発生部10自身の高さH4の情報は、予めX線撮影装置100が所有している。
【0041】
ここで、本実施形態では、画像処理部41(画像処理回路41b)は、機械学習の学習結果に基づいて特定されたX線撮影装置本体100aを、ステレオカメラ30により取得された複数の可視画像31のうちの少なくとも1つにおいて識別した場合、学習結果に基づいて識別された可視画像31におけるX線撮影装置本体100aの画像に基づいて、被検出物PにおいてX線撮影装置本体100aと障害物400とを判別するように構成されている。
【0042】
詳細には、画像処理部41(画像処理回路41b)は、ステレオカメラ30により取得された可視画像31において、X線撮影装置本体100aが撮影されている領域R1を識別するとともに、視差画像32に基づいて、被検出物Pが撮影されている領域Rのうち、領域R1に対応する領域R1a以外の領域Rを、障害物400が撮影されている領域R2として識別するように構成されている。なお、領域R1および領域R2は、それぞれ、特許請求の範囲の「第1領域」および「第2領域」の一例である。
【0043】
具体的には、ステップS5において、図7(D)に示すように、画像処理部41(画像処理回路41b)は、複数の可視画像31のうちの少なくとも1つにおいて、機械学習の学習結果に基づいて、X線撮影装置本体100aが画像処理部41(画像処理回路41b)により識別される。なお、図7(D)では、可視画像31においてX線撮影装置本体100aが存在する領域R1を含むように、複数の抽出単位領域R10(ハッチング部分)を示している。抽出単位領域R10は、画像処理部41(画像処理回路41b)が画像認識を行う際に用いられる最小単位領域である。
【0044】
そして、ステップS6において、可視画像31においてX線撮影装置本体100aが識別された領域R1と対応する二値化画像33における領域R1aを、二値化画像33における領域Rから除去することにより、二値化画像34(図7(E)参照)が画像処理部41(画像処理回路41b)により生成される。すなわち、X線撮影装置本体100aと(X線撮影装置本体100aの周囲の)障害物410とが判別されることにより、二値化画像34において、X線撮影装置本体100aに対する障害物400(人物401、人物402、および、器具403)のみが抽出されている。これにより、図7(F)に示すように、画像処理部41(画像処理回路41b)は、人物401、人物402、および、器具403の各々を、障害物410として識別する。
【0045】
なお、本実施形態では、画像処理部41(CPU41a)は、視差画像32に基づいて、可視画像31において識別された領域R1に隣接するとともに学習結果に基づく抽出単位領域R10よりも小さい被検出物Pを除いた領域Rを領域R3として識別するように構成されている。また、被検出物Pが撮影されている領域Rのうち、領域R1および領域R3に対応する領域R以外の領域Rを、障害物410が撮影されている領域R2として識別するように構成されている。なお、領域R3は、「第3領域」の一例である。
【0046】
具体的には、図7(D)に示すように、抽出単位領域R10が比較的大きい場合、領域R1として識別されない部分R1bが生じる場合がある。この場合、図9に示すように、二値化画像33(図7(C)参照)から領域R1を除去した二値化画像34aにおいて、二値化画像33(図7(C)参照)の領域R1に対応する位置に、抽出単位領域R10よりも小さい領域R3が抽出される。領域R3は、X線撮影装置本体100aを可視画像31において識別し損ねた部分であるので、画像処理部41(CPU41a)は、領域R1および領域R3に対応する領域R以外の領域Rを、障害物410が撮影されている領域R2として識別する。すなわち、画像処理部41(CPU41a)は、二値化画像34aから領域R3を除去して、二値化画像33(図7(C)参照)を生成する。
【0047】
そして、ステップS7において、ステップS6において判別されたX線撮影装置本体100aと(X線撮影装置本体100aの周囲の)障害物410との間の距離L(図7(F)参照)が、画像処理部41(画像処理回路41b)により算出される。図7(F)では、人物401とX線撮影装置本体100aとの間の水平方向の距離La、人物402とX線撮影装置本体100aとの間の水平方向の距離Lb、器具403とX線撮影装置本体100aとの間の水平方向の距離Lcを示している。なお、二値化画像33では、被検出物P(X線撮影装置本体100aおよび障害物400)は、X線撮影装置本体100aの高さH2以上の高さH1を有するものとして抽出されている。すなわち、画像処理部41(画像処理回路41b)は、障害物410の高さがX線撮影装置本体100aの高さ以上である場合に、距離L(図7(F)参照)を算出するように構成されている。なお、距離Lは、特許請求の範囲の「水平距離」の一例である。
【0048】
なお、距離Lは、機械学習の学習結果に基づいて識別されたX線撮影装置本体100aの位置に基づいて算出されている。具体的には、機械学習の学習結果に基づいて識別されたX線撮影装置本体100aの画像上での位置(座標)と、上記の制御により識別された障害物410の画像上での位置(座標)との差異が画像処理部41(CPU41a)により算出されることにより、距離Lが算出される。なお、画像処理部41(CPU41a)は、X線撮影装置本体100aと障害物410との最短距離を算出するように構成されている。
【0049】
また、本実施形態では、制御部42(CPU42a)は、画像処理部41(CPU41a)により算出された距離L(La、LbおよびLc)に基づいて、X線撮影装置本体100aと障害物410との接触を回避するための制御を行うように構成されている。具体的な説明を、以下のステップS8およびステップS9の説明において行う。
【0050】
図5に示すように、ステップS8において、画像処理部41(CPU41a)により算出された距離L(La、Lbおよび、Lc)が、所定の値以下であるか否かが制御部42(CPU42a)により判定される。距離L(La、LbおよびLc)が、所定の値以下である場合は、ステップS9に進み、また、距離L1(L1a、L1b、および、L1c)および距離L2(L2a)の各々が所定の値よりも大きい場合は、ステップS2に戻る。なお、上記所定の値としては、複数の値が設定されていてもよい。
【0051】
そして、ステップS9では、制御部42(CPU42a)は、X線撮影装置本体100aと障害物410(510)との間の水平方向の距離Lが所定の値以下であった場合に、X線撮影装置本体100aを減速または停止させるように構成されている。たとえば、制御部42(CPU42a)は、距離Lが40cm以下であった場合はX線撮影装置本体100aを減速させるとともに、距離Lが20cm以下であった場合はX線撮影装置本体100aを停止させる。また、制御部42(CPU42a)は、距離Lが所定の値以下であった場合に、警報を発生させる制御を行ってもよい。また、X線撮影装置本体100aの移動に限らず、X線発生部10の回転に対しても、距離Lに基づいて接触回避の制御が行われる。そして、ステップS9の処理が終了すると、ステップS2に戻る。
【0052】
なお、上記のステップS2~ステップS9は、X線撮影装置本体100aが自動的に移動している際(または、X線発生部10が自動的に回転している際)に行われる。また、30fpsという比較的短時間で可視画像31(視差画像32)の取得(生成)(ステップS2)が行われているので、障害物410が移動する場合(たとえば断層撮影において患者が突然起き上がった場合)にも、障害物410とX線撮影装置本体100aとの接触を抑制することが可能である。さらに、X線撮影装置本体100aを比較的高速に移動させることが可能である。
【0053】
なお、本実施形態では、画像処理部41(CPU41a)は、視差画像32に基づいて、可視画像31において識別された領域R1に隣接するとともに学習結果に基づく抽出単位領域R10よりも小さい被検出物Pを除いた領域Rを領域R3として識別するように構成されている。また、被検出物Pが撮影されている領域Rのうち、領域R1および領域R3に対応する領域R以外の領域Rを、障害物410が撮影されている領域R2として識別するように構成されている。なお、領域R3は、「第3領域」の一例である。
【0054】
具体的には、図7(D)に示すように、抽出単位領域R10が比較的大きい場合、領域R1として識別されない部分R1bが生じる場合がある。この場合、図9に示すように、二値化画像33(図7(C)参照)から領域R1を除去した二値化画像34aにおいて、二値化画像33(図7(C)参照)の領域R1に対応する位置に、抽出単位領域R10よりも小さい領域R3が抽出される。領域R3は、X線撮影装置本体100aを可視画像31において識別し損ねた部分であるので、画像処理部41(CPU41a)は、領域R1および領域R3に対応する領域R以外の領域Rを、障害物410が撮影されている領域R2として識別する。すなわち、画像処理部41(CPU41a)は、二値化画像34aから領域R3を除去して、二値化画像33(図7(C)参照)を生成する。
【0055】
(実施形態の効果)
本実施形態の装置では、以下のような効果を得ることができる。
【0056】
本実施形態では、上記のように、X線撮影装置100を、予め与えられた教師データとしてのX線撮影装置本体100aの画像を含む2次元画像としての複数の教師用可視画像30aに基づいてX線撮影装置本体100aを特定する機械学習の学習結果に基づいて識別された可視画像31におけるX線撮影装置本体100aの画像に基づいて、視差画像32に基づいて識別された被検出物PにおいてX線撮影装置本体100aとX線撮影装置本体100aの周囲の障害物400とが判別されるように構成する。これにより、視差画像32に基づいて識別された被検出物PにおいてX線撮影装置本体100aと障害物400とを容易に判別することができるので、視差画像32に基づいて障害物400を検出する場合でも、障害物400とX線撮影装置本体100aとが接触しないように、X線撮影装置本体100aの移動を適切に制御することができる。また、視差画像32に基づいて識別された被検出物PのうちのX線撮影装置本体100aのみを、機械学習の学習結果に基づいて特定するので、複数種類の被検出物Pを、機械学習の学習結果に基づいて特定する場合と比較して、被検出物Pを特定するために必要となる機械学習の学習結果が多くなるのを抑制することができる。
【0057】
また、本実施形態では、上記のように、画像処理部41を、ステレオカメラ30(撮像部)により取得された可視画像31において、X線撮影装置本体100aが撮影されている領域R1(第1領域)を識別するように構成する。また、画像処理部41を、視差画像32に基づいて、被検出物Pが撮影されている領域のうち、領域R1(第1領域)に対応する領域R1a以外の領域Rを、障害物400が撮影されている領域R2(第2領域)として識別するように構成する。これにより、視差画像32に基づいて識別された被検出物PにおいてX線撮影装置本体100a(可視画像31における領域R1(第1領域))と障害物400(視差画像32における領域R2(第2領域))とを容易に判別することができる。
【0058】
また、本実施形態では、上記のように、画像処理部41を、視差画像32に基づいて、可視画像31において識別された領域R1(第1領域)に隣接するとともに学習結果に基づく画像認識を行う際の最小単位領域である抽出単位領域R10よりも小さい被検出物Pを除いた領域を領域R3(第3領域)として識別するように構成する。そして、画像処理部41を、視差画像32に基づいて、被検出物Pが撮影されている領域のうち、領域R1(第1領域)および領域R3(第3領域)に対応する領域R1a以外の領域Rを、障害物400が撮影されている領域R2(第2領域)として識別するように構成する。これにより、抽出単位領域R10が比較的大きい場合に、可視画像31において、X線撮影装置本体100aが撮影された領域の一部の領域(領域R3(第3領域))を、機械学習の学習結果に基づいて識別できない場合でも、視差画像32に基づいて領域R3(第3領域)が識別されるので、被検出物Pにおいて適切にX線撮影装置本体100aを識別することができる。
【0059】
また、本実施形態では、上記のように、X線撮影装置本体100aを、X線撮影装置本体100aが設けられる室内200の天井面201から吊り下げられるように設けられるように構成する。また、画像処理部41を、障害物400の高さH1がX線撮影装置本体100aの高さH2以上である場合に、距離L(水平距離)を算出するように構成する。これにより、X線撮影装置本体100aと障害物400とが接触する可能性がある場合のみ、距離L(水平距離)を算出するので、画像処理部41の処理負担が大きくなるのを抑制することができる。
【0060】
また、本実施形態では、上記のように、X線撮影装置本体100aを、X線撮影装置本体100aの下端100bを鉛直方向に移動可能に構成されている支柱部22(鉛直方向移動部)を備えるように構成する。そして、画像処理部41を、障害物400の高さH1が支柱部22の高さD2以上である場合に、距離L(水平距離)を算出するように構成する。これにより、支柱部22(鉛直方向移動部)が移動することにより、X線撮影装置本体100aと障害物400とが接触する可能性があるX線撮影装置本体100aの高さ位置が変化する場合でも、X線撮影装置本体100aと障害物400とが接触する可能性がある場合のみ、距離L(水平距離)を算出するので、画像処理部41の処理負担が大きくなるのを抑制することができる。
【0061】
また、本実施形態では、上記のように、撮像部を、ステレオカメラ30として構成する。これにより、被検出物Pを異なる複数の方向から撮像するステレオカメラを用いて、容易に視差画像32を取得することができる。
【0062】
本実施形態では、上記のように、X線撮影装置100の障害物接触回避方法を、予め与えられた教師データとしてのX線撮影装置本体100aの画像を含む2次元画像としての複数の教師用可視画像30aに基づいてX線撮影装置本体100aを特定する機械学習の学習結果に基づいて識別された可視画像31におけるX線撮影装置本体100aの画像に基づいて、視差画像32に基づいて識別された被検出物PにおいてX線撮影装置本体100aとX線撮影装置本体100aの周囲の障害物400とが判別されるステップを含むように構成する。これにより、視差画像32に基づいて識別された被検出物PにおいてX線撮影装置本体100aと障害物400とを容易に判別することができるので、視差画像32に基づいて障害物400を検出する場合でも、障害物400とX線撮影装置本体100aとが接触しないように、X線撮影装置本体100aの移動を適切に制御することが可能なX線撮影装置100の障害物接触回避方法を提供することができる。また、視差画像32に基づいて識別された被検出物PのうちのX線撮影装置本体100aのみを、機械学習の学習結果に基づいて特定するので、複数種類の被検出物Pを、機械学習の学習結果に基づいて特定する場合と比較して、被検出物Pを特定するために必要となる機械学習の学習結果が多くなるのを抑制することが可能なX線撮影装置100の障害物接触回避方法を提供することができる。
【0063】
[変形例]
なお、今回開示された実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施形態の説明ではなく特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内でのすべての変更(変形例)が含まれる。
【0064】
たとえば、上記実施形態では、X線撮影装置本体100aが天井面201に吊り下げられるように設けられている例を示したが、本発明はこれに限られない。たとえば、X線撮影装置本体100aが壁面等に取り付けられていてもよい。
【0065】
また、上記実施形態では、X線撮影装置本体100aの下端100bの高さH2が、画像処理部41により視差画像32に基づいて算出される例を示したが、本発明はこれに限られない。たとえば、高さH2は、保持部20の伸縮に伴うX線発生部10等の鉛直方向における移動量等に基づいて算出されてもよい。
【0066】
また、上記実施形態では、X線撮影装置本体100a自身が学習した機械学習の学習結果に基づいて、X線撮影装置本体100aの障害物400との接触回避の制御を行うように構成した例を示したが、本発明はこれに限られない。本発明では、X線撮影装置本体100aがX線撮影装置本体100aの外部から取得した機械学習の学習結果に基づいて、X線撮影装置本体100aの障害物400との接触回避の制御を行うように構成してもよい。
【0067】
また、上記実施形態では、撮像部を、ステレオカメラ30として構成した例を示したが、本発明はこれに限られない。本発明では、ステレオカメラ以外の撮像部を用いて、可視画像および視差画像を取得するように構成してもよい。
【0068】
また、上記実施形態では、画像処理部41を、視差画像32に基づいて、可視画像31において識別された領域R1に隣接するとともに学習結果に基づく画像認識を行う際の最小単位領域である抽出単位領域R10よりも小さい被検出物Pを除いた領域を領域R3として識別するように構成した例を示したが、本発明はこれに限られない。本発明では、画像処理部が、領域R3を識別する処理を行わないように構成してもよい。
【0069】
また、上記実施形態では、画像処理部41を、CPU41aと、画像処理回路41b(FPGA)と、を含むように構成した例を示したが、本発明はこれに限られない。本発明では、画像処理部を、CPUと、画像処理回路とのいずれか一方のみを含むように構成してもよい。
【0070】
また、上記実施形態では、機械学習として、深層学習(AI)が用いられる例を示したが、本発明はこれに限られない。たとえば、機械学習として、深層学習以外の機械学習を用いてもよい。
【0071】
また、上記実施形態では、説明の便宜上、制御部42および画像処理部41による処理を「フロー駆動型」のフローチャートを用いて説明したが、本発明はこれに限られない。本発明では、制御部42および画像処理部41の処理をイベント単位で実行する「イベント駆動型」により行ってもよい。この場合、完全なイベント駆動型で行ってもよいし、イベント駆動およびフロー駆動を組み合わせて行ってもよい。
【0072】
[態様]
上述した例示的な実施形態は、以下の態様の具体例であることが当業者により理解される。
【0073】
(項目1)
少なくとも水平方向に移動可能に構成されているX線撮影装置本体と、
前記X線撮影装置本体の周囲の同一領域における複数の2次元画像としての可視画像を取得する撮像部と、
前記撮像部により取得された前記複数の可視画像から生成された3次元画像としての視差画像に基づいて、前記X線撮影装置本体と前記X線撮影装置本体の周囲の障害物とを含む被検出物を識別する画像処理部と、
前記X線撮影装置本体と前記障害物との接触を回避するための制御を行う制御部と、
を備え、
前記画像処理部は、予め与えられた教師データとしての前記X線撮影装置本体の画像を含む2次元画像としての複数の教師用可視画像に基づいて前記X線撮影装置本体を特定する機械学習の学習結果に基づいて特定された前記X線撮影装置本体を、前記撮像部により取得された前記複数の可視画像のうちの少なくとも1つにおいて識別した場合に、前記学習結果に基づいて識別された前記可視画像における前記X線撮影装置本体の画像に基づいて、前記被検出物において前記X線撮影装置本体と前記障害物とを判別するとともに、判別した前記X線撮影装置本体と前記障害物との間の水平距離を算出するように構成されており、
前記制御部は、前記画像処理部により算出された前記水平距離に基づいて、前記X線撮影装置本体と前記障害物との接触を回避するための制御を行うように構成されている、X線撮影装置。
【0074】
(項目2)
前記画像処理部は、前記撮像部により取得された前記可視画像において、前記X線撮影装置本体が撮影されている第1領域を識別するとともに、前記視差画像に基づいて、前記被検出物が撮影されている領域のうち、前記第1領域に対応する領域以外の領域を、前記障害物が撮影されている第2領域として識別するように構成されている、項目1に記載のX線撮影装置。
【0075】
(項目3)
前記画像処理部は、前記視差画像に基づいて、前記可視画像において識別された前記第1領域に隣接するとともに前記学習結果に基づく画像認識を行う際の最小単位領域である抽出単位領域よりも小さい前記被検出物を除いた領域を第3領域として識別するとともに、前記被検出物が撮影されている領域のうち、前記第1領域および前記第3領域に対応する領域以外の領域を、前記障害物が撮影されている第2領域として識別するように構成されている、項目2に記載のX線撮影装置。
【0076】
(項目4)
前記X線撮影装置本体は、前記X線撮影装置本体が設けられる室内の天井面から吊り下げられるように設けられており、
前記画像処理部は、前記障害物の高さが前記X線撮影装置本体の高さ以上である場合に、前記水平距離を算出するように構成されている、項目1~3のいずれか1項に記載のX線撮影装置。
【0077】
(項目5)
前記X線撮影装置本体の下端を鉛直方向に移動可能に構成されている鉛直方向移動部をさらに備え、
前記画像処理部は、前記障害物の高さが前記鉛直方向移動部の高さ以上である場合に、前記水平距離を算出するように構成されている、項目4に記載のX線撮影装置。
【0078】
(項目6)
前記撮像部は、ステレオカメラを含む、項目1~5のいずれか1項に記載のX線撮影装置。
【0079】
(項目7)
予め与えられた教師データとしてのX線撮影装置本体の画像を含む2次元画像としての複数の教師用可視画像に基づいて前記X線撮影装置本体を特定する機械学習を行うことにより、前記X線撮影装置本体を特定するステップと、
前記X線撮影装置本体の周囲の同一領域における複数の2次元画像としての可視画像を取得するステップと、
取得された前記複数の可視画像から生成された3次元画像としての視差画像に基づいて、前記X線撮影装置本体と前記X線撮影装置本体の周囲の障害物とを含む前記被検出物を識別するステップと、
前記機械学習の学習結果に基づいて特定された前記X線撮影装置本体を、取得された前記複数の可視画像のうちの少なくとも1つにおいて識別した場合に、前記学習結果に基づいて識別された前記可視画像における前記X線撮影装置本体の画像に基づいて、前記被検出物において前記X線撮影装置本体と前記障害物とを判別するステップと、
判別した前記X線撮影装置本体と前記障害物との間の水平距離を算出するステップと、
算出された前記水平距離に基づいて、前記X線撮影装置本体と前記障害物との接触を回避するための制御を行うステップと、を備える、X線撮影装置の障害物接触回避方法。
【符号の説明】
【0080】
22 支柱部(鉛直方向移動部)
30 ステレオカメラ(撮像部)
30a 教師用可視画像
31 可視画像
32 視差画像
41 画像処理部
42 制御部
100 X線撮影装置
100a X線撮影装置本体
100b (X線撮影装置本体の)下端
200 室内
201 天井面
400 障害物
H1 (障害物の)高さ
H2 (X線撮影装置本体の)高さ
L(La、Lb、Lc) 距離(水平距離)
P 被検出物
R (被検出物が撮影されている)領域
R1 領域(第1領域)
R2 領域(第2領域)
R3 領域(第3領域)
R10 抽出単位領域
図1
図2
図3
図4
図5
図6
図7
図8
図9