知识图谱数据库

⑴ 知识图谱需要多少数据

需要根据你的应用场景和数据情况来决定。
如果数据量比较小，且图谱节点之间关系较少且不太需要多跳查询，其实mysql就能搞定问题。
如果数据量比较小，且会进行多跳查询，比如“姚明老婆的女儿叫什么？”，这种用图数据neo4j比较合适（它的开源版本是单机版，如果要支持分布式需要用收费版）
如果数据量比较大，且会进行多跳查询，可以考虑用titan，我们是用公司自己研发的分布式图数据库。
RDF存储的那种jena系统，没有见到有工业界同事使用，不做评价。
PS：有时候单一的存储无法满足所有需求，可能需要几个系统搭配使用。比如我们使用图数据库来查多跳查询，使用elasticsearch来进行模糊搜索和相关度排序。

⑵ 知识图谱可以用python构建吗

知识图谱可以用python构建吗？

答案当然是可以的！！！

那么如何使用python构建

什么是知识图谱

从Google搜索，到聊天机器人、金融风控、物联网场景、智能医疗、自适应教育、推荐系统，无一不跟知识图谱相关。它在技术领域的热度也在逐年上升。
互联网的终极形态是万物的互联，而搜索的终极目标是对万物的直接搜索。传统搜索引擎依靠网页之间的超链接实现网页的搜索，而语义搜索是直接对事物进行搜索，如人物、机构、地点等。这些事物可能来自文本、图片、视频、音频、IoT设备等各种信息资源。而知识图谱和语义技术提供了关于这些事物的分类、属性和关系的描述，使得搜索引擎可以直接对事物进行索引和搜索。
知识图谱是由Google公司在2012年提出来的一个新的概念。从学术的角度，我们可以对知识图谱给一个这样的定义：“知识图谱本质上是语义网络（Semantic Network）的知识库”。但这有点抽象，所以换个角度，从实际应用的角度出发其实可以简单地把知识图谱理解成多关系图（Multi-relational Graph）。
那什么叫多关系图呢？ 学过数据结构的都应该知道什么是图（Graph）。图是由节点（Vertex）和边（Edge）来构成，但这些图通常只包含一种类型的节点和边。但相反，多关系图一般包含多种类型的节点和多种类型的边。
本项目利用pandas将excel中数据抽取，以三元组形式加载到neo4j数据库中构建相关知识图谱。

运行环境

基于Neo4j能够很容易构建知识图谱，除了用neo4j自带的cypher，也支持Python包py2neo创建节点和关系从而构建知识图谱。本项目是基于发票信息，将发票数据中结构化数据抽象成三元组，分别创建节点和关系从而构建成知识图谱。
具体包依赖可以参考文件requirements.txt

neo4j-driver==1.6.2numpy==1.15.3pandas==0.23.4parso==0.3.1pickleshare==0.7.5pluggy==0.8.0prompt-toolkit==1.0.15py==1.7.0py2neo==3Pygments==2.2.0pytest==3.9.3python-dateutil==2.7.5wcwidth==0.1.7wincertstore==0.2xlrd==1.1.0

将所需依赖安装到pyton中：pip install -r requirements.txt

Pandas抽取excel数据

python中pandas非常适用于数据分析与处理，可以将excel文件转换成dataframe格式，这种格式类似于Spark中的Dataframe结构，可以用类sql的形式对数据进行处理。
Excel数据结构如下

通过函数data_extraction和函数relation_extrantion分别抽取构建知识图谱所需要的节点数据以及联系数据，构建三元组。
数据提取主要采用pandas将excel数据转换成dataframe类型
invoice_neo4j.py

建立知识图谱所需节点和关系数据

DataToNeo4jClass.py

具体代码请移步到GitHub上下载

详细内容请到github下载，项目名neo4j-python-pandas-py2neo-v3

更多Python知识，请关注：Python自学网！！

⑶ 企业知识图谱可以解决哪些问题

企业知识图谱是从技术层面帮助企业解决各类数据的处理问题，并对业务需求进行精准计算，企业知识图谱可以解决的问题主要有以下三点：

1、对非标准数据的处理存在较高的技术难度：传统的产品和方案聚焦于对企业内部单一系统的数据进行处理，但外部数据的处理缺乏统一的标准，影响企业工作效率。当需要处理的数据规模较大、较复杂时，就需要利用人工智能技术和语义工程技术搭建企业知识图谱加以解决。

2、对非结构化数据的处理存在较高的技术难度：传统的产品和方案通常用来处理结构化数据，也就是数据库内已存储的，计算好的数据。但现实中存在大量的非结构化数据，如语音、PDF等。要先针对业务场景的需求将这些数据结构化，再进行处理。这种针对业务需求将非结构化文本结构化的工作，只有企业知识图谱可以胜任。

3、传统的搜索技术无法针对业务需求进行精准计算：在对非标准和非结构化数据进行处理时，传统的产品和方案通常采取搜索的方式来进行处理，将企业对大量数据进行分析计算的需求，转化为使用若干关键词进行近似查找。但这种方式无法满足在生产环节中对结果的精度和召回率要求，知识图谱技术可以完美解决这一问题。

⑷ 知识图谱的商业价值有哪些

知识图谱是用节点和关系所组成的图谱，为真实世界的各个场景直观地建模，运用“图”这种基础性、通用性的“语言”，“高保真”地表达这个多姿多彩世界的各种关系，并且非常直观、自然、直接和高效，不需要中间过程的转换和处理。

目前知识图谱产品的客户行业，分类主要集中在：社交网络、人力资源与招聘、金融、保险、零售、广告、物流、通信、IT、制造业、传媒、医疗、电子商务和物流等领域。

相比传统数据存储和计算方式，知识图谱的优势显现在以下几个方面：
（1）关系的表达能力强
传统数据库通常通过表格、字段等方式进行读取，而关系的层级及表达方式多种多样，且基于图论和概率图模型，可以处理复杂多样的关联分析，满足企业各种角色关系的分析和管理需要。
（2）像人类思考一样去做分析
基于知识图谱的交互探索式分析，可以模拟人的思考过程去发现、求证、推理，业务人员自己就可以完成全部过程，不需要专业人员的协助。
（3）知识学习
利用交互式机器学习技术，支持根据推理、纠错、标注等交互动作的学习功能，不断沉淀知识逻辑和模型，提高系统智能性，将知识沉淀在企业内部，降低对经验的依赖。
（4）高速反馈
图式的数据存储方式，相比传统存储方式，数据调取速度更快，图库可计算超过百万潜在的实体的属性分布，可实现秒级返回结果，真正实现人机互动的实时响应，让用户可以做到即时决策。

⑸ 图数据库的应用场景

图数据库技术的应用场景比较多，包括但不限于以下几种场景：
1. 欺诈检测
无论面对诈骗集团、勾结团伙还是高知罪犯，图数据库技术可以实时揭露各种重要诈骗模式。所以越来越多的公司使用图数据技术来解决各种关联数据问题，包括欺诈检测。
2. 实时推荐引擎
图技术能够根据用户购买、交互和评论有效跟踪这些关系，以提供对客户需求和产品趋势最有意义的深刻见解。Ebay等购物网站就在使用图技术给用户推荐产品。
3.知识图谱
将图技术用于知识图谱能够精确搜索查询，消除搜索查询的歧义，并且能够适应不断增长的数据资产规模。

⑹ 知识图谱一般存储在什么数据库中

专家推荐用图数据库。

⑺ 知识图谱是什么有哪些应用价值

知识图谱 (Knowledge Graph) 是当前的研究热点。自从2012年Google推出自己第一版知识图谱以来，它在学术界和工业界掀起了一股热潮。各大互联网企业在之后的短短一年内纷纷推出了自己的知识图谱产品以作为回应。比如在国内，互联网巨头网络和搜狗分别推出”知心“和”知立方”来改进其搜索质量。那么与这些传统的互联网公司相比，对处于当今风口浪尖上的行业 - 互联网金融， 知识图谱可以有哪方面的应用呢？

目录
1. 什么是知识图谱？
2. 知识图谱的表示
3. 知识图谱的存储
4. 应用
5. 挑战
6. 结语

1. 什么是知识图谱？

知识图谱本质上是语义网络，是一种基于图的数据结构，由节点(Point)和边(Edge)组成。在知识图谱里，每个节点表示现实世界中存在的“实体”，每条边为实体与实体之间的“关系”。知识图谱是关系的最有效的表示方式。通俗地讲，知识图谱就是把所有不同种类的信息（Heterogeneous Information）连接在一起而得到的一个关系网络。知识图谱提供了从“关系”的角度去分析问题的能力。

知识推理

推理能力是人类智能的重要特征，使得我们可以从已有的知识中发现隐含的知识， 一般的推理往往需要一些规则的支持【3】。例如“朋友”的“朋友”，可以推理出“朋友”关系，“父亲”的“父亲”可以推理出“祖父”的关系。再比如张三的朋友很多也是李四的朋友，那我们可以推测张三和李四也很有可能是朋友关系。当然，这里会涉及到概率的问题。当信息量特别多的时候，怎么把这些信息（side information）有效地与推理算法结合在一起才是最关键的。常用的推理算法包括基于逻辑（Logic） 的推理和基于分布式表示方法（Distributed Representation）的推理。随着深度学习在人工智能领域的地位变得越来越重要，基于分布式表示方法的推理也成为目前研究的热点。如果有兴趣可以参考一下这方面目前的工作进展【4,5,6,7】。

大数据、小样本、构建有效的生态闭环是关键

虽然现在能获取的数据量非常庞大，我们仍然面临着小样本问题，也就是样本数量少。假设我们需要搭建一个基于机器学习的反欺诈评分系统，我们首先需要一些欺诈样本。但实际上，我们能拿到的欺诈样本数量不多，即便有几百万个贷款申请，最后被我们标记为欺诈的样本很可能也就几万个而已。这对机器学习的建模提出了更高的挑战。每一个欺诈样本我们都是以很高昂的“代价”得到的。随着时间的推移，我们必然会收集到更多的样本，但样本的增长空间还是有局限的。这有区别于传统的机器学习系统，比如图像识别，不难拿到好几十万甚至几百万的样本。

在这种小样本条件下，构建有效的生态闭环尤其的重要。所谓的生态闭环，指的是构建有效的自反馈系统使其能够实时地反馈给我们的模型，并使得模型不断地自优化从而提升准确率。为了搭建这种自学习系统，我们不仅要完善已有的数据流系统，而且要深入到各个业务线，并对相应的流程进行优化。这也是整个反欺诈环节必要的过程，我们要知道整个过程都充满着博弈。所以我们需要不断地通过反馈信号来调整我们的策略。

6. 结语

知识图谱在学术界和工业界受到越来越多的关注。除了本文中所提到的应用，知识图谱还可以应用在权限管理，人力资源管理等不同的领域。在后续的文章中会详细地讲到这方面的应用。

参考文献

【1】De Abreu, D., Flores, A., Palma, G., Pestana, V., Pinero, J., Queipo, J., ... & Vidal, M. E. (2013). Choosing Between Graph Databases and RDF Engines for Consuming and Mining Linked Data. In COLD.

【2】User Behavior Tutorial

【3】刘知远 知识图谱——机器大脑中的知识库 第二章 知识图谱——机器大脑中的知识库

【4】Nickel, M., Murphy, K., Tresp, V., & Gabrilovich, E. A Review of Relational Machine Learning for Knowledge Graphs.

【5】Socher, R., Chen, D., Manning, C. D., & Ng, A. (2013). Reasoning with neural tensor networks for knowledge base completion. In Advances in Neural Information Processing Systems (pp. 926-934).

【6】Bordes, A., Usunier, N., Garcia-Duran, A., Weston, J., & Yakhnenko, O. (2013). Translating embeddings for modeling multi-relational data. In Advances in Neural Information Processing Systems (pp. 2787-2795).

【7】Jenatton, R., Roux, N. L., Bordes, A., & Obozinski, G. R. (2012). A latent factor model for highly multi-relational data. In Advances in Neural Information Processing Systems(pp. 3167-3175).

⑻ 学习数据挖掘知识图谱需要哪些知识基础

看看算法、语义相关的
比如分类、聚类、相似度等算法

⑼ 知识图谱有什么用处

“知识图谱的应用涉及到众多行业，尤其是知识密集型行业，目前关注度比较高的领域：医疗、金融、法律、电商、智能家电等。”基于信息、知识和智能形成的闭环，从信息中获取知识，基于知识开发智能应用，智能应用产生新的信息，从新的信息中再获取新的知识，不断迭代，就可以不断产生更加丰富的知识图谱，更加智能的应用。

如果说波士顿动力的翻跟头是在帮机器人锻炼筋骨，那么知识图谱的“绘制”则是在试图“创造”一个能运转的机器人大脑。

“目前，还不能做到让机器理解人的语言。”中国科学院软件所研究员、中国中文信息学会副理事长孙乐说。无论是能逗你一乐的Siri，还是会做诗的小冰，亦或是会“悬丝诊脉”的沃森，它们并不真正明白自己在做什么、为什么这么做。

让机器学会思考，要靠“谱”。这个“谱”被称为知识图谱，意在将人类世界中产生的知识，构建在机器世界中，进而形成能够支撑类脑推理的知识库。

为了在国内构建一个关于知识图谱的全新产学合作模式，知识图谱研讨会日前召开，来自高校院所的研究人员与产业团队共商打造全球化的知识图谱体系，建立世界领先的人工智能基础设施的开拓性工作。

技术原理：把文本转化成知识

“对于‘姚明是上海人’这样一个句子,存储在机器里只是一串字符。而这串字符在人脑中却是‘活’起来的。”孙乐举例说。比如说到“姚明”，人会想到他是前美职篮球员、“小巨人”、中锋等，而“上海”会让人想到东方明珠、繁华都市等含义。但对于机器来说，仅仅说“姚明是上海人”，它不能和人类一样明白其背后的含义。机器理解文本，首先就需要了解背景知识。

那如何将文本转化成知识呢？

“借助信息抽取技术，人们可以从文本中抽取知识，这也正是知识图谱构建的核心技术。”孙乐说，目前比较流行的是使用“三元组”的存储方式。三元组由两个点、一条边构成，点代表实体或者概念，边代表实体与概念之间的各种语义关系。一个点可以延伸出多个边，构成很多关系。例如姚明这个点，可以和上海构成出生地的关系，可以和美职篮构成效力关系，还可以和2.26米构成身高关系。

“如果这些关系足够完善，机器就具备了理解语言的基础。”孙乐说。那么如何让机器拥有这样的“理解力”呢？

“上世纪六十年代，人工智能先驱麻省理工学院的马文·明斯基在一个问答系统项目SIR中，使用了实体间语义关系来表示问句和答案的语义，剑桥语言研究部门的玛格丽特·玛斯特曼在1961年使用Semantic Network来建模世界知识，这些都可被看作是知识图谱的前身。”孙乐说。

随后的Wordnet、中国的知网（Hownet）也进行了人工构建知识库的工作。

“这里包括主观知识，比如社交网站上人们对某个产品的态度是喜欢还是不喜欢；场景知识，比如在某个特定场景中应该怎么做；语言知识，例如各种语言语法；常识知识，例如水、猫、狗，教人认的时候可以直接指着教，却很难让计算机明白。”孙乐解释，从这些初步的分类中就能感受到知识的海量，更别说那些高层次的科学知识了。

构建方式：从手工劳动到自动抽取

“2010年之后，维基网络开始尝试‘众包’的方式，每个人都能够贡献知识。”孙乐说，这让知识图谱的积累速度大大增加，后续网络、互动网络等也采取了类似的知识搜集方式，发动公众使得“积沙”这个环节的时间大大缩短、效率大大增加，无数的知识从四面八方赶来，迅速集聚，只待“成塔”。

面对如此大量的数据，或者说“文本”，知识图谱的构建工作自然不能再手工劳动，“让机器自动抽取结构化的知识，自动生成‘三元组’。”孙乐说，学术界和产业界开发出了不同的构架、体系，能够自动或半自动地从文本中生成机器可识别的知识。

孙乐的演示课件中，有一张生动的图画，一大摞文件纸吃进去，电脑马上转化为“知识”，但事实远没有那么简单。自动抽取结构化数据在不同行业还没有统一的方案。在“网络知识图谱”的介绍中这样写道：对提交至知识图谱的数据转换为遵循Schema的实体对象，并进行统一的数据清洗、对齐、融合、关联等知识计算，完成图谱的构建。“但是大家发现，基于维基网络，结构化半结构化数据挖掘出来的知识图谱还是不够，因此目前所有的工作都集中在研究如何从海量文本中抽取知识。”孙乐说，例如谷歌的Knowledge Vault，以及美国国家标准与技术研究院主办的TAC-KBP评测，也都在推进从文本中抽取知识的技术。

在权威的“知识库自动构建国际评测”中，从文本中抽取知识被分解为实体发现、关系抽取、事件抽取、情感抽取等4部分。在美国NIST组织的TAC-KBP中文评测中，中科院软件所—搜狗联合团队获得综合性能指标第3名，事件抽取单项指标第1名的好成绩。

“我国在这一领域可以和国际水平比肩。”孙乐介绍，中科院软件所提出了基于Co-Bootstrapping的实体获取算法，基于多源知识监督的关系抽取算法等，大幅度降低了文本知识抽取工具构建模型的成本，并提升了性能。

终极目标：将人类知识全部结构化

《圣经·旧约》记载，人类联合起来兴建希望能通往天堂的高塔——“巴别塔”，而今，创造AI的人类正在建造这样一座“巴别塔”，帮助人工智能企及人类智能。

自动的做法让知识量开始形成规模，达到了能够支持实际应用的量级。“但是这种转化，还远远未达到人类的知识水平。”孙乐说，何况人类的知识一直在增加、更新，一直在动态变化，理解也应该与时俱进地体现在机器“脑”中。

“因此知识图谱不会是一个静止的状态，而是要形成一个循环，这也是美国卡耐基梅隆大学等地方提出来的Never Ending Learning（学无止境）的概念。”孙乐说。

资料显示，目前谷歌知识图谱中记载了超过35亿事实；Freebase中记载了4000多万实体，上万个属性关系，24亿多个事实；网络记录词条数1000万个，网络搜索中应用了联想搜索功能。

“在医学领域、人物关系等特定领域，也有专门的知识图谱。”孙乐介绍，Kinships描述人物之间的亲属关系，104个实体，26种关系，10800个事实；UMLS在医学领域描述了医学概念之间的联系，135个实体，49种关系，6800个事实。

“这是一幅充满美好前景的宏伟蓝图。”孙乐说，知识图谱的最终目标是将人类的知识全部形式化、结构化，并用于构建基于知识的自然语言理解系统。

尽管令业内满意的“真正理解语言的系统”还远未出现，目前的“巴别塔”还只是在基础层面，但相关的应用已经显示出广阔的前景。例如，在网络输入“冷冻电镜”，右竖条的关联将出现“施一公”，输入“撒币”，将直接在搜索项中出现“王思聪”等相关项。其中蕴含着机器对人类意图的理解。