知識的存儲結構為知識圖譜嗎
專家推薦用圖資料庫。
B. 圖計算和知識圖譜有什麼關系求解
圖計算經常用於構建網頁鏈接關系、社交網路、商品推薦。比如某信的社交網路,是由節點(個人、公眾號)和邊(關注、點贊)構成的圖;淘寶的交易網路,是由節點(個人、商品)和邊(購買、收藏)構成的圖。如此一來,抽象出來的圖數據構成了研究和商用的基礎。阿里巴巴GraphScope 就是圖計算系統,已經證明在多個關鍵互聯網領域實現價值,其代碼當前已在githubgraphscope 上開源。
知識圖譜是知識計算的一部分,並在知識建模中起到了非常重要的作用。知識計算是華為在2020年全聯接大會上發布的全生命周期知識計算解決方案。知識計算可以將行業知識與AI相結合,是AI深入行業核心生產系統,通往第三代人工智慧的必經之路,知識計算包含知識獲取,知識建模,知識管理,知識應用四個標准步驟,為機理模型與AI的融合提供了一條全新的路徑。
C. 中文知識圖譜的什麼是知識圖譜
允許用戶搜索搜索引擎知道的所有事物,人物或者地方,包括地標,名人,城市, 球隊,建築,地理特徵,電影,天體,藝術作品等等,而且能夠顯示關於你的查詢的實時信息。它是邁向下一代搜索業務關鍵的第一步,使得搜索智能化,根據用戶的意圖給出用戶想要的結果。 知識圖譜本質上是一種語義網路。其結點代表實體(entity)或者概念(concept),邊代表實體/概念之間的各種語義關系 知識圖譜相對於傳統的本體和語義網路而言,實體覆蓋率更高,語義關系也更加復雜而全面
D. 百度知識圖譜和google知識圖譜的區別
知識圖譜(knowledge graph)是Google推出來的一項技術概念,是語義搜索的一個應用,背後涉及到NLP,語義數據分析,語義網技術等等。
目前來說,Google的知識圖譜從三個方面來提高搜索質量,消除歧義、右側知識卡片、知識發現。網路的「網路知心」也是知識圖譜的一個應用。歸根結底知識圖譜的技術基礎都是一樣的,那就是語義數據和語義網,只是在前端應用上兩個公司有所區別。。
E. 什麼是知識圖譜技術知識圖譜系統介紹
知識圖譜就是通過一系列的機器學習技術,把非結構化數據轉化成機器可以理解的結構化知識的過程。機器人基於知識圖譜技術,可以快速的學習和進化到普通人對內容的運用水平。想了解更多相關知識圖譜的技術。可了解下giiso智搜
F. 知識圖譜是什麼有哪些應用價值
知識圖譜 (Knowledge Graph) 是當前的研究熱點。自從2012年Google推出自己第一版知識圖譜以來,它在學術界和工業界掀起了一股熱潮。各大互聯網企業在之後的短短一年內紛紛推出了自己的知識圖譜產品以作為回應。比如在國內,互聯網巨頭網路和搜狗分別推出」知心「和」知立方」來改進其搜索質量。那麼與這些傳統的互聯網公司相比,對處於當今風口浪尖上的行業 - 互聯網金融, 知識圖譜可以有哪方面的應用呢?
目錄
1. 什麼是知識圖譜?
2. 知識圖譜的表示
3. 知識圖譜的存儲
4. 應用
5. 挑戰
6. 結語
1. 什麼是知識圖譜?
知識圖譜本質上是語義網路,是一種基於圖的數據結構,由節點(Point)和邊(Edge)組成。在知識圖譜里,每個節點表示現實世界中存在的「實體」,每條邊為實體與實體之間的「關系」。知識圖譜是關系的最有效的表示方式。通俗地講,知識圖譜就是把所有不同種類的信息(Heterogeneous Information)連接在一起而得到的一個關系網路。知識圖譜提供了從「關系」的角度去分析問題的能力。
知識推理
推理能力是人類智能的重要特徵,使得我們可以從已有的知識中發現隱含的知識, 一般的推理往往需要一些規則的支持【3】。例如「朋友」的「朋友」,可以推理出「朋友」關系,「父親」的「父親」可以推理出「祖父」的關系。再比如張三的朋友很多也是李四的朋友,那我們可以推測張三和李四也很有可能是朋友關系。當然,這里會涉及到概率的問題。當信息量特別多的時候,怎麼把這些信息(side information)有效地與推理演算法結合在一起才是最關鍵的。常用的推理演算法包括基於邏輯(Logic) 的推理和基於分布式表示方法(Distributed Representation)的推理。隨著深度學習在人工智慧領域的地位變得越來越重要,基於分布式表示方法的推理也成為目前研究的熱點。如果有興趣可以參考一下這方面目前的工作進展【4,5,6,7】。
大數據、小樣本、構建有效的生態閉環是關鍵
雖然現在能獲取的數據量非常龐大,我們仍然面臨著小樣本問題,也就是樣本數量少。假設我們需要搭建一個基於機器學習的反欺詐評分系統,我們首先需要一些欺詐樣本。但實際上,我們能拿到的欺詐樣本數量不多,即便有幾百萬個貸款申請,最後被我們標記為欺詐的樣本很可能也就幾萬個而已。這對機器學習的建模提出了更高的挑戰。每一個欺詐樣本我們都是以很高昂的「代價」得到的。隨著時間的推移,我們必然會收集到更多的樣本,但樣本的增長空間還是有局限的。這有區別於傳統的機器學習系統,比如圖像識別,不難拿到好幾十萬甚至幾百萬的樣本。
在這種小樣本條件下,構建有效的生態閉環尤其的重要。所謂的生態閉環,指的是構建有效的自反饋系統使其能夠實時地反饋給我們的模型,並使得模型不斷地自優化從而提升准確率。為了搭建這種自學習系統,我們不僅要完善已有的數據流系統,而且要深入到各個業務線,並對相應的流程進行優化。這也是整個反欺詐環節必要的過程,我們要知道整個過程都充滿著博弈。所以我們需要不斷地通過反饋信號來調整我們的策略。
6. 結語
知識圖譜在學術界和工業界受到越來越多的關注。除了本文中所提到的應用,知識圖譜還可以應用在許可權管理,人力資源管理等不同的領域。在後續的文章中會詳細地講到這方面的應用。
參考文獻
【1】De Abreu, D., Flores, A., Palma, G., Pestana, V., Pinero, J., Queipo, J., ... & Vidal, M. E. (2013). Choosing Between Graph Databases and RDF Engines for Consuming and Mining Linked Data. In COLD.
【2】User Behavior Tutorial
【3】劉知遠 知識圖譜——機器大腦中的知識庫 第二章 知識圖譜——機器大腦中的知識庫
【4】Nickel, M., Murphy, K., Tresp, V., & Gabrilovich, E. A Review of Relational Machine Learning for Knowledge Graphs.
【5】Socher, R., Chen, D., Manning, C. D., & Ng, A. (2013). Reasoning with neural tensor networks for knowledge base completion. In Advances in Neural Information Processing Systems (pp. 926-934).
【6】Bordes, A., Usunier, N., Garcia-Duran, A., Weston, J., & Yakhnenko, O. (2013). Translating embeddings for modeling multi-relational data. In Advances in Neural Information Processing Systems (pp. 2787-2795).
【7】Jenatton, R., Roux, N. L., Bordes, A., & Obozinski, G. R. (2012). A latent factor model for highly multi-relational data. In Advances in Neural Information Processing Systems(pp. 3167-3175).
G. 知識圖譜有什麼用處
「知識圖譜的應用涉及到眾多行業,尤其是知識密集型行業,目前關注度比較高的領域:醫療、金融、法律、電商、智能家電等。」基於信息、知識和智能形成的閉環,從信息中獲取知識,基於知識開發智能應用,智能應用產生新的信息,從新的信息中再獲取新的知識,不斷迭代,就可以不斷產生更加豐富的知識圖譜,更加智能的應用。
如果說波士頓動力的翻跟頭是在幫機器人鍛煉筋骨,那麼知識圖譜的「繪制」則是在試圖「創造」一個能運轉的機器人大腦。
「目前,還不能做到讓機器理解人的語言。」中國科學院軟體所研究員、中國中文信息學會副理事長孫樂說。無論是能逗你一樂的Siri,還是會做詩的小冰,亦或是會「懸絲診脈」的沃森,它們並不真正明白自己在做什麼、為什麼這么做。
讓機器學會思考,要靠「譜」。這個「譜」被稱為知識圖譜,意在將人類世界中產生的知識,構建在機器世界中,進而形成能夠支撐類腦推理的知識庫。
為了在國內構建一個關於知識圖譜的全新產學合作模式,知識圖譜研討會日前召開,來自高校院所的研究人員與產業團隊共商打造全球化的知識圖譜體系,建立世界領先的人工智慧基礎設施的開拓性工作。
技術原理:把文本轉化成知識
「對於『姚明是上海人』這樣一個句子,存儲在機器里只是一串字元。而這串字元在人腦中卻是『活』起來的。」孫樂舉例說。比如說到「姚明」,人會想到他是前美職籃球員、「小巨人」、中鋒等,而「上海」會讓人想到東方明珠、繁華都市等含義。但對於機器來說,僅僅說「姚明是上海人」,它不能和人類一樣明白其背後的含義。機器理解文本,首先就需要了解背景知識。
那如何將文本轉化成知識呢?
「藉助信息抽取技術,人們可以從文本中抽取知識,這也正是知識圖譜構建的核心技術。」孫樂說,目前比較流行的是使用「三元組」的存儲方式。三元組由兩個點、一條邊構成,點代表實體或者概念,邊代表實體與概念之間的各種語義關系。一個點可以延伸出多個邊,構成很多關系。例如姚明這個點,可以和上海構成出生地的關系,可以和美職籃構成效力關系,還可以和2.26米構成身高關系。
「如果這些關系足夠完善,機器就具備了理解語言的基礎。」孫樂說。那麼如何讓機器擁有這樣的「理解力」呢?
「上世紀六十年代,人工智慧先驅麻省理工學院的馬文·明斯基在一個問答系統項目SIR中,使用了實體間語義關系來表示問句和答案的語義,劍橋語言研究部門的瑪格麗特·瑪斯特曼在1961年使用Semantic Network來建模世界知識,這些都可被看作是知識圖譜的前身。」孫樂說。
隨後的Wordnet、中國的知網(Hownet)也進行了人工構建知識庫的工作。
「這里包括主觀知識,比如社交網站上人們對某個產品的態度是喜歡還是不喜歡;場景知識,比如在某個特定場景中應該怎麼做;語言知識,例如各種語言語法;常識知識,例如水、貓、狗,教人認的時候可以直接指著教,卻很難讓計算機明白。」孫樂解釋,從這些初步的分類中就能感受到知識的海量,更別說那些高層次的科學知識了。
構建方式:從手工勞動到自動抽取
「2010年之後,維基網路開始嘗試『眾包』的方式,每個人都能夠貢獻知識。」孫樂說,這讓知識圖譜的積累速度大大增加,後續網路、互動網路等也採取了類似的知識搜集方式,發動公眾使得「積沙」這個環節的時間大大縮短、效率大大增加,無數的知識從四面八方趕來,迅速集聚,只待「成塔」。
面對如此大量的數據,或者說「文本」,知識圖譜的構建工作自然不能再手工勞動,「讓機器自動抽取結構化的知識,自動生成『三元組』。」孫樂說,學術界和產業界開發出了不同的構架、體系,能夠自動或半自動地從文本中生成機器可識別的知識。
孫樂的演示課件中,有一張生動的圖畫,一大摞文件紙吃進去,電腦馬上轉化為「知識」,但事實遠沒有那麼簡單。自動抽取結構化數據在不同行業還沒有統一的方案。在「網路知識圖譜」的介紹中這樣寫道:對提交至知識圖譜的數據轉換為遵循Schema的實體對象,並進行統一的數據清洗、對齊、融合、關聯等知識計算,完成圖譜的構建。「但是大家發現,基於維基網路,結構化半結構化數據挖掘出來的知識圖譜還是不夠,因此目前所有的工作都集中在研究如何從海量文本中抽取知識。」孫樂說,例如谷歌的Knowledge Vault,以及美國國家標准與技術研究院主辦的TAC-KBP評測,也都在推進從文本中抽取知識的技術。
在權威的「知識庫自動構建國際評測」中,從文本中抽取知識被分解為實體發現、關系抽取、事件抽取、情感抽取等4部分。在美國NIST組織的TAC-KBP中文評測中,中科院軟體所—搜狗聯合團隊獲得綜合性能指標第3名,事件抽取單項指標第1名的好成績。
「我國在這一領域可以和國際水平比肩。」孫樂介紹,中科院軟體所提出了基於Co-Bootstrapping的實體獲取演算法,基於多源知識監督的關系抽取演算法等,大幅度降低了文本知識抽取工具構建模型的成本,並提升了性能。
終極目標:將人類知識全部結構化
《聖經·舊約》記載,人類聯合起來興建希望能通往天堂的高塔——「巴別塔」,而今,創造AI的人類正在建造這樣一座「巴別塔」,幫助人工智慧企及人類智能。
自動的做法讓知識量開始形成規模,達到了能夠支持實際應用的量級。「但是這種轉化,還遠遠未達到人類的知識水平。」孫樂說,何況人類的知識一直在增加、更新,一直在動態變化,理解也應該與時俱進地體現在機器「腦」中。
「因此知識圖譜不會是一個靜止的狀態,而是要形成一個循環,這也是美國卡耐基梅隆大學等地方提出來的Never Ending Learning(學無止境)的概念。」孫樂說。
資料顯示,目前谷歌知識圖譜中記載了超過35億事實;Freebase中記載了4000多萬實體,上萬個屬性關系,24億多個事實;網路記錄詞條數1000萬個,網路搜索中應用了聯想搜索功能。
「在醫學領域、人物關系等特定領域,也有專門的知識圖譜。」孫樂介紹,Kinships描述人物之間的親屬關系,104個實體,26種關系,10800個事實;UMLS在醫學領域描述了醫學概念之間的聯系,135個實體,49種關系,6800個事實。
「這是一幅充滿美好前景的宏偉藍圖。」孫樂說,知識圖譜的最終目標是將人類的知識全部形式化、結構化,並用於構建基於知識的自然語言理解系統。
盡管令業內滿意的「真正理解語言的系統」還遠未出現,目前的「巴別塔」還只是在基礎層面,但相關的應用已經顯示出廣闊的前景。例如,在網路輸入「冷凍電鏡」,右豎條的關聯將出現「施一公」,輸入「撒幣」,將直接在搜索項中出現「王思聰」等相關項。其中蘊含著機器對人類意圖的理解。
H. 為什麼知識圖譜可以應用於問答系統
知識圖譜與問答系統
摘要: 領域知識圖譜,是下一代搜索引擎、問答系統等智能應用的基礎設施,目前出現的產品有:網路「知心」、搜狗「知立方」等。本篇將介紹知識圖譜基礎知識,及其在自然語言處理方面(主要是問答系統)的應用。
1. 前言
知識圖譜(knowledge graph),是下一代搜索引擎、問答系統等智能應用的基礎設施,目前出現的產品有:網路「知心」、搜狗「知立方」等。本篇將介紹知識圖譜基礎知識,及其在自然語言處理方面(主要是問答系統)的應用。
2. 知識圖譜概念
知識圖譜,是一種基於有向圖(directed graph)的數據結構,由節點(points)及有向邊(directed edges)組成,圖中的每個節點稱為實體(Entity),邊代表實體間的邏輯關系(Relation)。
舉一個例子,這是一個簡單地描述旅遊景點的知識圖譜:
具體問題與回答之間的邏輯關系邊一開始留空,我們再對語義邊上分類技術,把空餘的邊填補完整,當然也可能誤分類,例如網路例子中的第一個回答,「慎吃」被歸為「能吃」。最後再對這些邊做統計,就可以回答類似問題,利用語料庫做知識推理,學習知識庫里沒有的知識,完善知識圖譜。
Reference
知識圖譜——機器大腦中的知識庫
知識圖譜的應用
知識圖譜,為移動搜索而生
I. 知識圖譜怎樣入門
知識圖譜作為一門學問,絕不是用個圖資料庫寫幾條查詢,或者用規則寫一個表格的提取,就可以稱為成功的運用的。和所有的學科一樣,都需要長期的艱苦的努力,在充分了解前人成果的基礎上,才有可能做出一點點成績。
知識圖譜作為人工智慧(AI)的一個分支,和AI的其他分支一樣,它的成功運用,都是需要知道它的所長,更需要知道它的所短的。特別是AI各個學派林立,經驗主義(機器學習)、連接主義(神經網路)、理性主義(知識工程)、行為主義(機器人)各個方法的優劣,倘若不能有縱覽的理解,也難以做正確的技術選型,往往盲目相信或者排斥一種技術。AI是一個極端需要廣闊視野的學科。
知識圖譜涉及知識提取、表達、存儲、檢索一系列技術,即使想有小成,也需要幾年的功夫探索。如下所列,應該是每個知識圖譜從業者都應該了解的一些基本功:
知道Web的發展史,了解為什麼互聯和開放是知識結構形成最關鍵的一件事。(我把這個列第一條,是我的偏見——但我認為這是最重要的一個insights)
知道RDF,OWL,SPARQL這些W3C技術堆棧,知道它們的長處和局限。會使用RDF資料庫和推理機。
了解一點描述邏輯基礎,知道描述邏輯和一階邏輯的關系。知道模型論,不然完全沒法理解RDF和OWL。
了解圖靈機和基本的演算法復雜性。知道什麼是決策問題、可判定性、完備性和一致性、P、NP、NExpTime。
最好再知道一點邏輯程序(Logic Programming),涉獵一點答集程序(Answer Set Programming),知道LP和ASP的一些小工具。這些東西是規則引擎的核心。如果不滿足於正則表達式和if-then-else,最好學一點這些。
J. 什麼是知識圖譜
知識圖譜,是通過將應用數學、圖形學、信息可視化技術、信息科學等學科的理論與方法與計量學引文分析、共現分析等方法結合,並利用可視化的圖譜形象地展示學科的核心結構、發展歷史、前沿領域以及整體知識架構達到多學科融合目的的現代理論。