中国专利搜索 世界专利搜索 专利分类查询 专利引用检索 专利族检索
登陆 | |

基于数据图谱、信息图谱和知识图谱的图像数据目标识别增强方法
有权
阅读授权文献

Image data target recognition enhancing method based on data map, information map and knowledge map

申请号:201810023920.3 申请日:2018-01-10
CN201810023920
CN108052680A
微信扫码查看/分享专利
摘要:本发明是一种基于数据图谱、信息图谱、知识图谱架构的图像数据目标识别增强方法。主要用于解决现有图像识别方法无法识别训练集中未标注类别的图像识别问题,属于分布式计算和软件工程学技术交叉领域。关键在于从已有的基于深度学习方法的图像类型识别结果出发,根据已有图像资源构建三层图谱,将未识别的图像类别在数据图谱进行特征匹配得到初始匹配结果,将已识别的图像类别在信息图谱上进行关系匹配得到中间匹配结果,最后在知识图谱中进行间接交互关系匹配,计算中间匹配结果的可信度并排序,推荐给用户可信度最高的匹配图像类别。
Abstract: The invention discloses an image data target recognition enhancing method based on a data map, an information map and a knowledge map, mainly aims to solve the problem that existing image recognitionmethods cannot recognize, train and centralize images with types unmarked and belongs to the technical cross field of distributed computing and software engineering. The method includes: starting froman existing image type recognition result based on an in-depth learning method, establishing a three-layer map according to known image resources; subjecting unrecognized image type to feature matching on the data map to obtain an initial matching result; subjecting recognized image type to relation matching on the information map to obtain an intermediate matching result; performing indirect interaction relation matching in the knowledge map, calculating credibility of the intermediate matching result, ranking, and recommending the matching image type with highest credibility to a user.
申请人: 海南大学
Applicant: UNIV HAINAN
地址: 570228 海南省海口市美兰区********(隐藏)
发明(设计)人: 段玉聪 何诗情 靖蓉琦 宋正阳 邵礼旭
Inventor: SHIQING HE; YUCONG DUAN; ZHENGYANG SONG; LIXU SHAO; RONGQI JING
主分类号: G06F17/30(2006.01)I
分类号: G06F17/30(2006.01)I
  • 法律状态
2019-08-23  授权
2018-06-12  实质审查的生效IPC(主分类):G06F 17/30申请日:20180110
2018-05-18  公开
注:本法律状态信息仅供参考,即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
  • 其他信息
主权项  本发明主要是引入数据图谱、信息图谱、知识图谱架构对未标识图像进行知识推理,从而实现自动智能的识别出图片中或者摄像机所拍摄到的图像,本发明将图像的结构,特征,频度以及交互关系,语义关系分别放在数据图谱、信息图谱和知识图谱中,借助于这个架构给出可信度最高的识别结果,具体流程如下:步骤1)根据已有图像资源,建立基于数据图谱、信息图谱、知识图谱的框架;步骤2)获取待识别图像;步骤3)将待识别图像分割成已识别图像集{Bi}和未识别图像A两个模块;步骤4)将基于步骤3获得的未识别图像A与数据图谱的实体Ai进行数据匹配,由公式1得到匹配度R;假设数据图谱中实体属性(包括结构,颜色,特征,频度,局部结构等)与Ai匹配值为说明: 说明: 说明: 说明: 说明: 说明: 说明: 说明: C:\Program Files\gwssi\CPC客户端\cases\inventions\cd41bca3-523f-48ec-9123-3b266b42ca21\new\100001\846574dest_path_image002.jpg说明: 说明: 说明: 说明: 说明: 说明: 说明: 说明: 说明: 说明: C:\Program Files\gwssi\CPC客户端\cases\inventions\cd41bca3-523f-48ec-9123-3b266b42ca21\new\100002\265890dest_path_image010.jpg表示Ai可以与未识别图像匹配的一个属性,x表示所有可以匹配的属性:说明: 说明: 说明: 说明: 说明: 说明: 说明: 说明: 说明: 说明: C:\Program Files\gwssi\CPC客户端\cases\inventions\cd41bca3-523f-48ec-9123-3b266b42ca21\new\100002\64082dest_path_image012.jpg  (1);步骤5)根据经验设定一个初始值n,按照R(Ai)从大到小的顺序选出A1、A2、… An;步骤6)将A1、A2、… An作为初始匹配结果;步骤7)基于步骤6获得的初始匹配结果,结合步骤3获得的未识别图像集{B}对信息图谱进行遍历,找到所对应的交互关系, 由公式2、3得到A1、A2、… An和{B}的关系匹配度Y(A1)、Y(A2)…Y(An);假设信息图谱中Bi与Ai之间的交互关系p匹配度为说明: 说明: 说明: 说明: 说明: 说明: 说明: 说明: 说明: 说明: C:\Program Files\gwssi\CPC客户端\cases\inventions\cd41bca3-523f-48ec-9123-3b266b42ca21\new\100002\262982dest_path_image014.jpg说明: 说明: 说明: 说明: 说明: 说明: 说明: 说明: 说明: 说明: 说明: <math display = 'block'><mrow><mi>&pi;</mi></mrow></math>其中表示一条交互关系,q表示所有关系:说明: 说明: 说明: 说明: 说明: 说明: 说明: 说明: 说明: 说明: C:\Program Files\gwssi\CPC客户端\cases\inventions\cd41bca3-523f-48ec-9123-3b266b42ca21\new\100002\456383dest_path_image018.jpg  (2);说明: 说明: 说明: 说明: 说明: 说明: 说明: 说明: 说明: 说明: C:\Program Files\gwssi\CPC客户端\cases\inventions\cd41bca3-523f-48ec-9123-3b266b42ca21\new\100002\210712dest_path_image020.jpg  (3);步骤8)由公式4得到中间匹配度X(A1)、X(A2)…X(An),其中R(Ai)和Y(Ai)是相互独立的,且r1+r2=1,说明: 说明: 说明: 说明: 说明: 说明: 说明: 说明: 说明: 说明: C:\Program Files\gwssi\CPC客户端\cases\inventions\cd41bca3-523f-48ec-9123-3b266b42ca21\new\100002\478883dest_path_image022.jpg  (4);步骤9)根据经验设定一个初始值k(k<=n),按照X(Ai)从大到小的顺序选出A1、A2、… Ak;步骤10)基于步骤8获得的中间匹配结果A1、A2、… Ak,在知识图谱中通过推理可以得到{B}和A1、A2、… Ak的间接交互关系,得到的新关系的正确度Cr可以由公式5得出;实体1和实体2之间的新关系可以表示为说明: 说明: 说明: 说明: 说明: 说明: 说明: 说明: 说明: 说明: C:\Program Files\gwssi\CPC客户端\cases\inventions\cd41bca3-523f-48ec-9123-3b266b42ca21\new\100002\2268dest_path_image024.jpg,z表示所有新的间接交互关系,说明: 说明: 说明: 说明: 说明: 说明: 说明: 说明: 说明: 说明: C:\Program Files\gwssi\CPC客户端\cases\inventions\cd41bca3-523f-48ec-9123-3b266b42ca21\new\100002\432112dest_path_image026.jpg表示新关系匹配度,说明: 说明: 说明: 说明: 说明: 说明: 说明: 说明: 说明: 说明: C:\Program Files\gwssi\CPC客户端\cases\inventions\cd41bca3-523f-48ec-9123-3b266b42ca21\new\100002\204896dest_path_image028.jpg表示实体1和实体2之间的一个间接关系,当正确度超过一个阈值是认为该关系成立:说明: 说明: 说明: 说明: 说明: 说明: 说明: 说明: 说明: 说明: C:\Program Files\gwssi\CPC客户端\cases\inventions\cd41bca3-523f-48ec-9123-3b266b42ca21\new\100002\480020dest_path_image030.jpg  (5);步骤11)若关系成立,计算可信度(Confidence),其中说明: 说明: 说明: 说明: 说明: 说明: 说明: 说明: 说明: 说明: C:\Program Files\gwssi\CPC客户端\cases\inventions\cd41bca3-523f-48ec-9123-3b266b42ca21\new\100002\654649dest_path_image032.jpg和信息图谱中的交互关系是相互独立的,且y1+y2=1, 由公式6得:说明: 说明: 说明: 说明: 说明: 说明: 说明: 说明: 说明: 说明: C:\Program Files\gwssi\CPC客户端\cases\inventions\cd41bca3-523f-48ec-9123-3b266b42ca21\new\100002\989815dest_path_image034.jpg  (6);步骤12)比较可信度的大小,可信度最大的图像实体就是识别的最终结果。
公开号  108052680A
公开日  2018-05-18
专利代理机构  
代理人  
颁证日  
优先权  
 
国别 优先权号 优先权日 类型
CN  201810023920  20180110 
国际申请  
国际公布  
进入国家日期  
  • 专利对比文献
类型 阶段 文献号 公开日期 涉及权利要求项 相关页数
SEA  US2015331866A1  20151119  全文 
SEA  CN106990973A  20170728  全文 
SEA  CN106997399A  20170801  全文 
SEA  CN107038262A  20170811  全文 
注:不保证该信息的有效性、完整性、准确性,以上信息也不具有任何效力,仅供参考。使用前请另行委托专业机构进一步查核,使用该信息的一切后果由用户自行负责。
X:单独影响权利要求的新颖性或创造性的文件;
Y:与检索报告中其他 Y类文件组合后影响权利要求的创造性的文件;
A:背景技术文件,即反映权利要求的部分技术特征或者有关的现有技术的文件;
R:任何单位或个人在申请日向专利局提交的、属于同样的发明创造的专利或专利申请文件;
P:中间文件,其公开日在申请的申请日与所要求的优先权日之间的文件,或会导致需核实该申请优先权的文件;
E:单独影响权利要求新颖性的抵触申请文件。
  • 期刊对比文献
类型 阶段 期刊文摘名称 作者 标题 涉及权利要求项 相关页数
  • 书籍对比文献
类型 阶段 书名 作者 标题 涉及权利要求项 相关页数