erlang與資料庫

『壹』 如何理解erlang的分布式和並發

Erlang的並發性能也並非最強過去曾認為Erlang就代表高並發，高並發就代表高性能，同時認為Erlang就只是高並發的代名詞。其實，Erlang的並發性能也並非最強。首先Erlang的虛擬機是C寫的，其次諸如Haskell、OCaml + JoCaml，以及Python的PyPy，其實都能提供不弱於Erlang的並發能力。

同時Erlang在順序計算上的性能也不佳，甚至不能超過Python、Lua這類腳本語言（也許是和其本身的特殊性質有關）。所以就更落後於Haskell和OCaml這類可編譯的語言。然而即使並發和並行也需要順序計算，所以單從並發性能上來說，Erlang還不是最強的。

Erlang寫的Yaws這個Web伺服器，雖然能承受高並發，但性能，尤其是IO性能依然無法與lighttpd、nginx這種C寫的Web服務相比——Erlang的虛擬機本身也是C寫的。
同時，Erlang本身設計為一個結構化編程語言而非面向對象編程語言。這就令其較難應用更有開發效率的面向對象的項目開發流程和方法。
那麼為何Erlang在並發、分布式編程中如此受推崇？我認為因為它本身是並發和並行在語義、處理上的一致，所以它編寫此類程序更加方便。同時，它提供的是一個關於並發、並行以及分布式的統一的解決方案，而不僅僅是高並發。它的目的是構建有容錯能力、有伸縮性的可靠系統，同時又能最簡化編程工作。這就是它的真正的優勢。

『貳』 關系型資料庫和非關系型區別

一、特點不同

1、關系型資料庫：傳統的關系型資料庫採用表格的儲存方式，數據以行和列的方式進行存儲，要讀取和查詢都十分方便；關系型資料庫按照結構化的方法存儲數據；關系型資料庫採用結構化查詢語言（即SQL）來對資料庫進行查詢。

2、非關系型資料庫：一個Hibari集群是一個分布式系統；個Hibari集群是線性可伸縮的；一個Hibari集群是高度可用；所有的更新都是持久的；所有的更新都是強一致性；所有客戶端操作是無鎖的。

二、功能不同

1、關系型資料庫：關系型資料庫十分強調數據的一致性，並為此降低讀寫性能付出了巨大的代價，雖然關系型資料庫存儲數據和處理數據的可靠性很不錯，但一旦面對海量數據的處理的時候效率就會變得很差，特別是遇到高並發讀寫的時候性能就會下降得非常厲害。

2、非關系型資料庫：可用於雲計算應用，如Web電子郵件、社交網路服務，以及其它日常需要儲存TB和PB級規模數據的服務。

三、應用領域不同

1、關系型資料庫：主要應用於計算機技術，例如在資料庫設計中，指定學生Sstudent，專指本科生。

2、非關系型資料庫：Hibari可用於雲計算環境中，例如 webmail、SNS 和其他要求T/P級數據存儲的環境中。Hibari 支持 java, C/C++, Python, Ruby, 和 Erlang 語言的客戶端。

『叄』 RabbitMQ與redis的區別是什麼呢

首先說RabbitMQ，RabbitMQ是使用Erlang編寫的一個開源的消息隊列，本身支持很多的協議：AMQP，XMPP, SMTP, STOMP，也正因如此，它非常重量級，更適合於企業級的開發。同時實現了Broker構架，這意味著消息在發送給客戶端時先在中心隊列排隊。對路由，負載均衡或者數據持久化都有很好的支持。
其次是Redis，Redis是一個基於Key-Value對的NoSQL資料庫，開發維護很活躍。雖然它是一個Key-Value資料庫存儲系統，但它本身支持MQ功能，所以完全可以當做一個輕量級的隊列服務來使用。對於RabbitMQ和Redis的入隊和出隊操作，各執行100萬次，每10萬次記錄一次執行時間。測試數據分為128Bytes、512Bytes、1K和10K四個不同大小的數據。實驗表明：入隊時，當數據比較小時Redis的性能要高於RabbitMQ，而如果數據大小超過了10K，Redis則慢的無法忍受；出隊時，無論數據大小，Redis都表現出非常好的性能，而RabbitMQ的出隊性能則遠低於Redis。
3.3ZeroMQ
ZeroMQ號稱最快的消息隊列系統，尤其針對大吞吐量的需求場景。ZeroMQ能夠實現RabbitMQ不擅長的高級/復雜的隊列，但是開發人員需要自己組合多種技術框架，技術上的復雜度是對這MQ能夠應用成功的挑戰。ZeroMQ具有一個獨特的非中間件的模式，你不需要安裝和運行一個消息伺服器或中間件，因為你的應用程序將扮演這個伺服器角色。你只需要簡單的引用ZeroMQ程序庫，可以使用NuGet安裝，然後你就可以愉快的在應用程序之間發送消息了。但是ZeroMQ僅提供非持久性的隊列，也就是說如果宕機，數據將會丟失。其中，Twitter的Storm 0.9.0以前的版本中默認使用ZeroMQ作為數據流的傳輸（Storm從0.9版本開始同時支持ZeroMQ和Netty作為傳輸模塊）。
3.4ActiveMQ
ActiveMQ是Apache下的一個子項目。 類似於ZeroMQ，它能夠以代理人和點對點的技術實現隊列。同時類似於RabbitMQ，它少量代碼就可以高效地實現高級應用場景。
3.5Kafka/Jafka
Kafka是Apache下的一個子項目，是一個高性能跨語言分布式發布/訂閱消息隊列系統，而Jafka是在Kafka之上孵化而來的，即Kafka的一個升級版。具有以下特性：快速持久化，可以在O(1)的系統開銷下進行消息持久化；高吞吐，在一台普通的伺服器上既可以達到10W/s的吞吐速率；完全的分布式系統，Broker、Procer、Consumer都原生自動支持分布式，自動實現負載均衡；支持Hadoop數據並行載入，對於像Hadoop的一樣的日誌數據和離線分析系統，但又要求實時處理的限制，這是一個可行的解決方案。Kafka通過Hadoop的並行載入機制統一了在線和離線的消息處理。Apache Kafka相對於ActiveMQ是一個非常輕量級的消息系統，除了性能非常好之外，還是一個工作良好的分布式系統。
上圖中一個topic配置了3個partition。Partition1有兩個offset：0和1。Partition2有4個offset。Partition3有1個offset。副本的id和副本所在的機器的id恰好相同。
如果一個topic的副本數為3，那麼Kafka將在集群中為每個partition創建3個相同的副本。集群中的每個broker存儲一個或多個partition。多個procer和consumer可同時生產和消費數據。

『肆』 java 目前市面上比較火的框架有哪些

Java 始終排在第一位，這使它成為有史以來最著名的軟體編程語言之一。及時的更新和新版本發布使它成為一種充滿活力的、有競爭力的編程語言。

2020年最常用的java框架

十大常用框架：

• 一、SpringMVC

• 二、Spring

• 三、Mybatis

• 四、Dubbo

• 五、Maven

• 六、RabbitMQ

• 七、Log4j

• 八、Ehcache

• 九、Redis

• 十、Shiro

一、SpringMVC

Spring Web MVC是一種基於Java的實現了Web MVC設計模式的請求驅動類型的輕量級Web框架，即使用了MVC架構模式的思想，將web層進行職責解耦，基於請求驅動指的就是使用請求-響應模型，框架的目的就是幫助我們簡化開發，Spring Web MVC也是要簡化我們日常Web開發的。

• 模型（Model ）封裝了應用程序的數據和一般他們會組成的POJO。

• 視圖（View）是負責呈現模型數據和一般它生成的HTML輸出，客戶端的瀏覽器能夠解釋。

• 控制器（Controller ）負責處理用戶的請求，並建立適當的模型，並把它傳遞給視圖渲染。

• Spring的web模型 - 視圖 - 控制器（MVC）框架是圍繞著處理所有的HTTP請求和響應的DispatcherServlet的設計。

Spring Web MVC處理請求的流程



具體執行步驟如下：

1、 首先用戶發送請求————>前端控制器，前端控制器根據請求信息（如URL）來決定選擇哪一個頁面控制器進行處理並把請求委託給它，即以前的控制器的控制邏輯部分；圖2-1中的1、2步驟；

2、 頁面控制器接收到請求後，進行功能處理，首先需要收集和綁定請求參數到一個對象，這個對象在Spring Web MVC中叫命令對象，並進行驗證，然後將命令對象委託給業務對象進行處理；處理完畢後返回一個ModelAndView（模型數據和邏輯視圖名）；圖2-1中的3、4、5步驟；

3、 前端控制器收回控制權，然後根據返回的邏輯視圖名，選擇相應的視圖進行渲染，並把模型數據傳入以便視圖渲染；圖2-1中的步驟6、7；

4、 前端控制器再次收回控制權，將響應返回給用戶，圖2-1中的步驟8；至此整個結束。

二、Spring

2.1、IOC容器：

IOC容器就是具有依賴注入功能的容器，IOC容器負責實例化、定位、配置應用程序中的對象及建立這些對象間的依賴。應用程序無需直接在代碼中new相關的對象，應用程序由IOC容器進行組裝。在Spring中BeanFactory是IOC容器的實際代表者。

2.2、AOP：

簡單地說，就是將那些與業務無關，卻為業務模塊所共同調用的邏輯或責任封裝起來，便於減少系統的重復代碼，降低模塊間的耦合度，並有利於未來的可操作性和可維護性。AOP代表的是一個橫向的關系

AOP用來封裝橫切關注點，具體可以在下面的場景中使用:

• Authentication 許可權

• Caching 緩存

• Context passing 內容傳遞

• Error handling 錯誤處理

• Lazy loading懶載入

• Debugging 調試

• logging, tracing, profiling and monitoring記錄跟蹤優化校準

• Performance optimization性能優化

• Persistence 持久化

• Resource pooling資源池

• Synchronization同步

• Transactions 事務

三、Mybatis

MyBatis 是支持普通 SQL查詢，存儲過程和高級映射的優秀持久層框架。MyBatis 消除了幾乎所有的JDBC代碼和參數的手工設置以及結果集的檢索。MyBatis 使用簡單的 XML或註解用於配置和原始映射，將介面和 Java 的POJOs（Plain Old Java Objects，普通的 Java對象）映射成資料庫中的記錄。

總體流程：

(1)載入配置並初始化

觸發條件：載入配置文件

將SQL的配置信息載入成為一個個MappedStatement對象（包括了傳入參數映射配置、執行的SQL語句、結果映射配置），存儲在內存中。

(2)接收調用請求

觸發條件：調用Mybatis提供的API

傳入參數：為SQL的ID和傳入參數對象

處理過程：將請求傳遞給下層的請求處理層進行處理。

(3)處理操作請求

觸發條件：API介面層傳遞請求過來

傳入參數：為SQL的ID和傳入參數對象

處理過程：

(A)根據SQL的ID查找對應的MappedStatement對象。

(B)根據傳入參數對象解析MappedStatement對象，得到最終要執行的SQL和執行傳入參數。

©獲取資料庫連接，根據得到的最終SQL語句和執行傳入參數到資料庫執行，並得到執行結果。

(D)根據MappedStatement對象中的結果映射配置對得到的執行結果進行轉換處理，並得到最終的處理結果。

(E)釋放連接資源。

(4)返回處理結果將最終的處理結果返回

MyBatis 最強大的特性之一就是它的動態語句功能。如果您以前有使用JDBC或者類似框架的經歷，您就會明白把SQL語句條件連接在一起是多麼的痛苦，要確保不能忘記空格或者不要在columns列後面省略一個逗號等。動態語句能夠完全解決掉這些痛苦。

四、Dubbo

Dubbo是一個分布式服務框架，致力於提供高性能和透明化的RPC（遠程過程調用協議）遠程服務調用方案，以及SOA服務治理方案。簡單的說，bbo就是個服務框架，如果沒有分布式的需求，其實是不需要用的，只有在分布式的時候，才有bbo這樣的分布式服務框架的需求，並且本質上是個服務調用的東東，說白了就是個遠程服務調用的分布式框架。

1、透明化的遠程方法調用，就像調用本地方法一樣調用遠程方法，只需簡單配置，沒有任何API侵入。

2、軟負載均衡及容錯機制，可在內網替代F5等硬體負載均衡器，降低成本，減少單點。

3、 服務自動注冊與發現，不再需要寫死服務提供方地址，注冊中心基於介面名查詢服務提供者的IP地址，並且能夠平滑添加或刪除服務提供者。

節點角色說明：

• Provider: 暴露服務的服務提供方。

• Consumer: 調用遠程服務的服務消費方。

• Registry: 服務注冊與發現的注冊中心。

• Monitor: 統計服務的調用次調和調用時間的監控中心。

• Container: 服務運行容器。

五、Maven

Maven這個個項目管理和構建自動化工具，越來越多的開發人員使用它來管理項目中的jar包。但是對於我們程序員來說，我們最關心的是它的項目構建功能。

六、RabbitMQ

消息隊列一般是在項目中，將一些無需即時返回且耗時的操作提取出來，進行了非同步處理，而這種非同步處理的方式大大的節省了伺服器的請求響應時間，從而提高了系統的吞吐量。

RabbitMQ是用Erlang實現的一個高並發高可靠AMQP消息隊列伺服器。

Erlang是一門動態類型的函數式編程語言。對應到Erlang里，每個Actor對應著一個Erlang進程，進程之間通過消息傳遞進行通信。相比共享內存，進程間通過消息傳遞來通信帶來的直接好處就是消除了直接的鎖開銷(不考慮Erlang虛擬機底層實現中的鎖應用)。

AMQP(Advanced Message Queue Protocol)定義了一種消息系統規范。這個規范描述了在一個分布式的系統中各個子系統如何通過消息交互。

七、Log4j

日誌記錄的優先順序，分為OFF、FATAL、ERROR、WARN、INFO、DEBUG、ALL或者您定義的級別。

八、Ehcache

EhCache 是一個純Java的進程內緩存框架，具有快速、精乾等特點，是Hibernate中默認的CacheProvider。Ehcache是一種廣泛使用的開源Java分布式緩存。主要面向通用緩存,Java EE和輕量級容器。它具有內存和磁碟存儲，緩存載入器,緩存擴展，緩存異常處理程序，一個gzip緩存servlet過濾器，支持REST和SOAP api等特點。

優點：

1、 快速

2、 簡單

3、 多種緩存策略

4、緩存數據有兩級：內存和磁碟，因此無需擔心容量問題

5、 緩存數據會在虛擬機重啟的過程中寫入磁碟

6、可以通過RMI、可插入API等方式進行分布式緩存

7、 具有緩存和緩存管理器的偵聽介面

8、支持多緩存管理器實例，以及一個實例的多個緩存區域

9、提供Hibernate的緩存實現

缺點：

1、使用磁碟Cache的時候非常佔用磁碟空間：這是因為DiskCache的演算法簡單，該演算法簡單也導致Cache的效率非常高。它只是對元素直接追加存儲。因此搜索元素的時候非常的快。如果使用DiskCache的，在很頻繁的應用中，很快磁碟會滿。

2、不能保證數據的安全：當突然kill掉java的時候，可能會產生沖突，EhCache的解決方法是如果文件沖突了，則重建cache。這對於Cache數據需要保存的時候可能不利。當然，Cache只是簡單的加速，而不能保證數據的安全。如果想保證數據的存儲安全，可以使用Bekeley DB Java Edition版本。這是個嵌入式資料庫。可以確保存儲安全和空間的利用率。

九、Redis

redis是一個key-value存儲系統。和Memcached類似，它支持存儲的value類型相對更多，包括string(字元串)、list(鏈表)、set(集合)、zset(sorted set –有序集合)和hash（哈希類型）。這些數據類型都支持push/pop、add/remove及取交集並集和差集及更豐富的操作，而且這些操作都是原子性的。在此基礎上，redis支持各種不同方式的排序。與memcached一樣，為了保證效率，數據都是緩存在內存中。區別的是redis會周期性的把更新的數據寫入磁碟或者把修改操作寫入追加的記錄文件，並且在此基礎上實現了master-slave(主從)同步。

Redis資料庫完全在內存中，使用磁碟僅用於持久性。相比許多鍵值數據存儲，Redis擁有一套較為豐富的數據類型。Redis可以將數據復制到任意數量的從伺服器。

1.2、Redis優點：

（1）異常快速：Redis的速度非常快，每秒能執行約11萬集合，每秒約81000+條記錄。

（2）支持豐富的數據類型：Redis支持最大多數開發人員已經知道像列表，集合，有序集合，散列數據類型。這使得它非常容易解決各種各樣的問題，因為我們知道哪些問題是可以處理通過它的數據類型更好。

（3）操作都是原子性：所有Redis操作是原子的，這保證了如果兩個客戶端同時訪問的Redis伺服器將獲得更新後的值。

（4）多功能實用工具：Redis是一個多實用的工具，可以在多個用例如緩存，消息，隊列使用(Redis原生支持發布/訂閱)，任何短暫的數據，應用程序，如Web應用程序會話，網頁命中計數等。

1.3、Redis缺點：

（1）單線程

（2）耗內存

十、Shiro

Apache Shiro是Java的一個安全框架，旨在簡化身份驗證和授權。Shiro在JavaSE和JavaEE項目中都可以使用。它主要用來處理身份認證，授權，企業會話管理和加密等。Shiro的具體功能點如下：

（1）身份認證/登錄，驗證用戶是不是擁有相應的身份；

（2）授權，即許可權驗證，驗證某個已認證的用戶是否擁有某個許可權；即判斷用戶是否能做事情，常見的如：驗證某個用戶是否擁有某個角色。或者細粒度的驗證某個用戶對某個資源是否具有某個許可權；

（3）會話管理，即用戶登錄後就是一次會話，在沒有退出之前，它的所有信息都在會話中；會話可以是普通JavaSE環境的，也可以是如Web環境的；

（4）加密，保護數據的安全性，如密碼加密存儲到資料庫，而不是明文存儲；

（5）Web支持，可以非常容易的集成到Web環境；

Caching：緩存，比如用戶登錄後，其用戶信息、擁有的角色/許可權不必每次去查，這樣可以提高效率；

（6）shiro支持多線程應用的並發驗證，即如在一個線程中開啟另一個線程，能把許可權自動傳播過去；

（7）提供測試支持；

（8）允許一個用戶假裝為另一個用戶（如果他們允許）的身份進行訪問；

（9）記住我，這個是非常常見的功能，即一次登錄後，下次再來的話不用登錄了。

文字描述可能並不能讓猿友們完全理解具體功能的意思。下面我們以登錄驗證為例，向猿友們介紹Shiro的使用。至於其他功能點，猿友們用到的時候再去深究其用法也不遲。

十一、設計模式

這個算不上框架，可自行忽略，不過我認為設計模式的思想很有必要了解一下。

思想：

開閉原則：

開閉原則就是說對擴展開放，對修改關閉。在程序需要進行拓展的時候，不能去修改原有的代碼。

針對介面編程，針對介面編程，依賴於抽象而不依賴於具體。

盡量使用合成/聚合的方式，而不是使用繼承。

一個實體應當盡量少的與其他實體之間發生相互作用，使得系統功能模塊相對獨立。

使用多個隔離的介面，比使用單個介面要好。

里氏代換原則：

（1）子類的能力必須大於等於父類，即父類可以使用的方法，子類都可以使用。

（2）返回值也是同樣的道理。假設一個父類方法返回一個List，子類返回一個ArrayList，這當然可以。如果父類方法返回一個ArrayList，子類返回一個List，就說不通了。這里子類返回值的能力是比父類小的。

（3）還有拋出異常的情況。任何子類方法可以聲明拋出父類方法聲明異常的子類。 而不能聲明拋出父類沒有聲明的異常。