PHProcketmq
① 零基礎應該選擇學習 java、php、前端 還是 python
這三門當中，首推Java。真的，Python當然是好，但是對於一個新入門的人，最重要的是先找到工作不是嗎?而找工作的話，Java無疑是最容易的。相比較PHP與Python而言，Java程序員的崗位需求要大的很多，對於跨行業的人而言，最困難的其實是第一步，那就是如何進入這個行業。如果你連進都進不來，第一份工作遲遲無法開始，那麼好好努力，補上數據結構，設計模式，演算法設計這些差距就根本無從說起，不是嗎?
接著，我來談談具體的規劃。
1.
了解Java的運行環境。搞清楚path和classpath是干什麼的，怎麼在命令行進行編譯，執行。知道IDE的各個按鈕後面真正發生了什麼事情。
2.
掌握Java的語法。搞清楚包，介面，類，繼承這些基本概念。掌握多態，overwrite，死背下IO的介面，包括InputStream/OutputStream和Writer/Reader，死背下網路編程和GUI編程的介面，背JDBC介面。這一步，推薦的書是《
瘋狂Java講義》。
3.
掌握多線程編程。弄明白ConcurrencyHashMap是怎麼實現的，搞清楚synchronized是怎麼回事，弄明白為什麼要有Runnable介面。
在第二步和第三步掌握到80%的時候，你就可以考慮找工作了。
4. 在工作中體會一下設計模式。推薦《輕量級Java
EE企業應用實戰》這本書。看完裡面的Decorator，IO介面你再也不會去死記硬背了。用的時候，根據Adaptor和Decorator的命名規則，自己臨時推都推得出來。
5. 惡補數據結構。 搞清楚 LinkedList和
ArrayList的實現機制，了解它們的每一個介面的時間復雜度。同樣的還有其他容器，Map啊，Set啊，都是一樣的。棧，隊列，二叉樹，圖貫穿編程始終，如果這一步你邁不過去，那就只能在低階程序員里打轉。
6.
如果有可能，最好對一些演算法設計也有所涉獵。比如動態規則的思路，貪心演算法，諸如KMP這種奇妙的演算法等。這一步沒有數據結構那麼重要，學得好當然好，學不好也不用太挫敗。
到了這一步，你和科班程序員之間的差距就不大了。可以在工作中獨立承擔開發任務了。
瘋狂軟體教育中心專注於Java培訓，瘋狂軟體Java培訓可以有效的幫助你提升相關技能。名師講解Java設計和編程、Web前端開發、JavaEE進階、大數據核心知識等，讓你在5個半月內快速獲得理論和實踐的雙重提升。
7.
進階，這時候就可以有自己的思考了。Java發展到現在，被用在各種各樣的情景之中，說它是應用最廣泛的編程語言並不過分。你在打好基礎以後，就可以考慮應該向哪個方向發展了。比如服務端的架構，最好能學習一下JavaEE。JEE一直以來，都是讓人覺得門檻太高。這個其實可以從Spring入手，搞清楚反射，控制反轉，依賴注射都是什麼鬼(這些神叨叨的名詞其實都是為了解決Java本身不夠動態這個缺陷而出現的，這里不展開，我只想提醒的是，這些概念沒有什麼大不了的東西，不要被愛裝逼的傢伙嚇住了)。還有消息這個東西，還有ORM這個東西，都去搞搞清楚。想一下它們要解決什麼問題，再猜一下他們是怎麼實現的。我面試的時候發現，其實大多數優秀的開發者，即使以前沒思考過這個問題，讓他現場設計一下Hibernate，都能設計得差不多。這說明，這些框架性的東沒有什麼大不了的。有了基礎，你也能設計出來。關鍵是要去動腦筋想。以上是以服務端開發舉例，那麼對於客戶端，你就去思考事件響應機制是如何工作的(這個我不熟悉，就不再多說了)。還可以深入研究一下JVM的源代碼，以及其實現機制，了解一下垃圾回收演算法等等。
到了這一步，你就可以應聘Java高級開發了。如果運氣好，年薪30萬是有可能的。保底也要20萬了。
8.
架構。到了這一步，你就算是登堂入室，真正邁入高級開發人員了。這一步，你要思考更多的東西，比如，如何處理高並發，如何應對分布式系統，如何提供更健壯的數據服務。到了這一步，那就沒有什麼可以參考的，現成的東西了。全靠自己的悟性了。那最後能達到什麼高度，就不是我這個層次能點評的了。
編程的世界永遠向所有熱愛編程的人開放，這是一個自由，平等，共享的世界，我始終是這樣堅信的。
② 大型的PHP應用，通常使用什麼應用做消息隊列
一、消息隊列概述x0dx0a消息隊列中間件是分布式系統中重要的組件，主要解決應用耦合，非同步消息，流量削鋒等問題。實現高性能，高可用，可伸縮和最終一致性架構。是大型分布式系統不可缺少的中間件。x0dx0a目前在生產環境，使用較多的消息隊列有ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ，RocketMQ等。x0dx0a二、消息隊列應用場景x0dx0a以下介紹消息隊列在實際應用中常用的使用場景。非同步處理，應用解耦，流量削鋒和消息通訊四個場景。x0dx0a2.1非同步處理x0dx0a場景說明：用戶注冊後，需要發注冊郵件和注冊簡訊。傳統的做法有兩種1.串列的方式；2.並行方式。x0dx0a（1）串列方式：將注冊信息寫入資料庫成功後，發送注冊郵件，再發送注冊簡訊。以上三個任務全部完成後，返回給客戶端。（架構KKQ：466097527，歡迎加入）x0dx0a（2）並行方式：將注冊信息寫入資料庫成功後，發送注冊郵件的同時，發送注冊簡訊。以上三個任務完成後，返回給客戶端。與串列的差別是，並行的方式可以提高處理的時間。x0dx0a假設三個業務節點每個使用50毫秒鍾，不考慮網路等其他開銷，則串列方式的時間是150毫秒，並行的時間可能是100毫秒。x0dx0a因為CPU在單位時間內處理的請求數是一定的，假設CPU1秒內吞吐量是100次。則串列方式1秒內CPU可處理的請求量是7次（1000/150）。並行方式處理的請求量是10次（1000/100）。x0dx0a小結：如以上案例描述，傳統的方式系統的性能（並發量，吞吐量，響應時間）會有瓶頸。如何解決這個問題呢？x0dx0a引入消息隊列，將不是必須的業務邏輯，非同步處理。改造後的架構如下：x0dx0a按照以上約定，用戶的響應時間相當於是注冊信息寫入資料庫的時間，也就是50毫秒。注冊郵件，發送簡訊寫入消息隊列後，直接返回，因此寫入消息隊列的速度很快，基本可以忽略，因此用戶的響應時間可能是50毫秒。因此架構改變後，系統的吞吐量提高到每秒20 QPS。比串列提高了3倍，比並行提高了兩倍。x0dx0a2.2應用解耦x0dx0a場景說明：用戶下單後，訂單系統需要通知庫存系統。傳統的做法是，訂單系統調用庫存系統的介面。如下圖：x0dx0a傳統模式的缺點：x0dx0a1） 假如庫存系統無法訪問，則訂單減庫存將失敗，從而導致訂單失敗；x0dx0a2） 訂單系統與庫存系統耦合；x0dx0a如何解決以上問題呢？引入應用消息隊列後的方案，如下圖：x0dx0a訂單系統：用戶下單後，訂單系統完成持久化處理，將消息寫入消息隊列，返回用戶訂單下單成功。x0dx0a庫存系統：訂閱下單的消息，採用拉/推的方式，獲取下單信息，庫存系統根據下單信息，進行庫存操作。x0dx0a假如：在下單時庫存系統不能正常使用。也不影響正常下單，因為下單後，訂單系統寫入消息隊列就不再關心其他的後續操作了。實現訂單系統與庫存系統的應用解耦。x0dx0a2.3流量削鋒x0dx0a流量削鋒也是消息隊列中的常用場景，一般在秒殺或團搶活動中使用廣泛。x0dx0a應用場景：秒殺活動，一般會因為流量過大，導致流量暴增，應用掛掉。為解決這個問題，一般需要在應用前端加入消息隊列。x0dx0a可以控制活動的人數；x0dx0a可以緩解短時間內高流量壓垮應用；x0dx0a用戶的請求，伺服器接收後，首先寫入消息隊列。假如消息隊列長度超過最大數量，則直接拋棄用戶請求或跳轉到錯誤頁面；x0dx0a秒殺業務根據消息隊列中的請求信息，再做後續處理。x0dx0a2.4日誌處理x0dx0a日誌處理是指將消息隊列用在日誌處理中，比如Kafka的應用，解決大量日誌傳輸的問題。架構簡化如下：x0dx0a日誌採集客戶端，負責日誌數據採集，定時寫受寫入Kafka隊列；x0dx0aKafka消息隊列，負責日誌數據的接收，存儲和轉發；x0dx0a日誌處理應用：訂閱並消費kafka隊列中的日誌數據；x0dx0a以下是新浪kafka日誌處理應用案例：x0dx0a(1)Kafka：接收用戶日誌的消息隊列。x0dx0a(2)Logstash：做日誌解析，統一成JSON輸出給Elasticsearch。x0dx0a(3)Elasticsearch：實時日誌分析服務的核心技術，一個schemaless，實時的數據存儲服務，通過index組織數據，兼具強大的搜索和統計功能。x0dx0a(4)Kibana：基於Elasticsearch的數據可視化組件，超強的數據可視化能力是眾多公司選擇ELK stack的重要原因。x0dx0a2.5消息通訊x0dx0a消息通訊是指，消息隊列一般都內置了高效的通信機制，因此也可以用在純的消息通訊。比如實現點對點消息隊列，或者聊天室等。x0dx0a點對點通訊：x0dx0a客戶端A和客戶端B使用同一隊列，進行消息通訊。x0dx0a聊天室通訊：x0dx0a客戶端A，客戶端B，客戶端N訂閱同一主題，進行消息發布和接收。實現類似聊天室效果。x0dx0a以上實際是消息隊列的兩種消息模式，點對點或發布訂閱模式。模型為示意圖，供參考。x0dx0a三、消息中間件示例x0dx0a3.1電商系統x0dx0a消息隊列採用高可用，可持久化的消息中間件。比如Active MQ，Rabbit MQ，Rocket Mq。（1）應用將主幹邏輯處理完成後，寫入消息隊列。消息發送是否成功可以開啟消息的確認模式。（消息隊列返回消息接收成功狀態後，應用再返回，這樣保障消息的完整性）x0dx0a（2）擴展流程（發簡訊，配送處理）訂閱隊列消息。採用推或拉的方式獲取消息並處理。x0dx0a（3）消息將應用解耦的同時，帶來了數據一致性問題，可以採用最終一致性方式解決。比如主數據寫入資料庫，擴展應用根據消息隊列，並結合資料庫方式實現基於消息隊列的後續處理。x0dx0a3.2日誌收集系統x0dx0a分為Zookeeper注冊中心，日誌收集客戶端，Kafka集群和Storm集群（OtherApp）四部分組成。x0dx0aZookeeper注冊中心，提出負載均衡和地址查找服務；x0dx0a日誌收集客戶端，用於採集應用系統的日誌，並將數據推送到kafka隊列；x0dx0a四、JMS消息服務x0dx0a講消息隊列就不得不提JMS 。JMS（Java Message Service,Java消息服務）API是一個消息服務的標准/規范，允許應用程序組件基於JavaEE平台創建、發送、接收和讀取消息。它使分布式通信耦合度更低，消息服務更加可靠以及非同步性。x0dx0a在EJB架構中，有消息bean可以無縫的與JM消息服務集成。在J2EE架構模式中，有消息服務者模式，用於實現消息與應用直接的解耦。x0dx0a4.1消息模型x0dx0a在JMS標准中，有兩種消息模型P2P（Point to Point）,Publish/Subscribe(Pub/Sub)。x0dx0a4.1.1 P2P模式x0dx0aP2P模式包含三個角色：消息隊列（Queue），發送者(Sender)，接收者(Receiver)。每個消息都被發送到一個特定的隊列，接收者從隊列中獲取消息。隊列保留著消息，直到他們被消費或超時。x0dx0aP2P的特點x0dx0a每個消息只有一個消費者（Consumer）(即一旦被消費，消息就不再在消息隊列中)x0dx0a發送者和接收者之間在時間上沒有依賴性，也就是說當發送者發送了消息之後，不管接收者有沒有正在運行，它不會影響到消息被發送到隊列x0dx0a接收者在成功接收消息之後需向隊列應答成功x0dx0a如果希望發送的每個消息都會被成功處理的話，那麼需要P2P模式。（架構KKQ：466097527，歡迎加入）x0dx0a4.1.2 Pub/sub模式x0dx0a包含三個角色主題（Topic），發布者（Publisher），訂閱者（Subscriber） 。多個發布者將消息發送到Topic,系統將這些消息傳遞給多個訂閱者。x0dx0aPub/Sub的特點x0dx0a每個消息可以有多個消費者x0dx0a發布者和訂閱者之間有時間上的依賴性。針對某個主題（Topic）的訂閱者，它必須創建一個訂閱者之後，才能消費發布者的消息。x0dx0a為了消費消息，訂閱者必須保持運行的狀態。x0dx0a為了緩和這樣嚴格的時間相關性，JMS允許訂閱者創建一個可持久化的訂閱。這樣，即使訂閱者沒有被激活（運行），它也能接收到發布者的消息。x0dx0a如果希望發送的消息可以不被做任何處理、或者只被一個消息者處理、或者可以被多個消費者處理的話，那麼可以採用Pub/Sub模型。x0dx0a4.2消息消費x0dx0a在JMS中，消息的產生和消費都是非同步的。對於消費來說，JMS的消息者可以通過兩種方式來消費消息。x0dx0a（1）同步x0dx0a訂閱者或接收者通過receive方法來接收消息，receive方法在接收到消息之前（或超時之前）將一直阻塞；x0dx0a（2）非同步x0dx0a訂閱者或接收者可以注冊為一個消息監聽器。當消息到達之後，系統自動調用監聽器的onMessage方法。x0dx0aJNDI：Java命名和目錄介面,是一種標準的Java命名系統介面。可以在網路上查找和訪問服務。通過指定一個資源名稱，該名稱對應於資料庫或命名服務中的一個記錄，同時返回資源連接建立所必須的信息。x0dx0aJNDI在JMS中起到查找和訪問發送目標或消息來源的作用。（架構KKQ：466097527，歡迎加入）x0dx0a4.3JMS編程模型x0dx0a(1) ConnectionFactoryx0dx0a創建Connection對象的工廠，針對兩種不同的jms消息模型，分別有QueueConnectionFactory和TopicConnectionFactory兩種。可以通過JNDI來查找ConnectionFactory對象。x0dx0a(2) Destinationx0dx0aDestination的意思是消息生產者的消息發送目標或者說消息消費者的消息來源。對於消息生產者來說，它的Destination是某個隊列（Queue）或某個主題（Topic）;對於消息消費者來說，它的Destination也是某個隊列或主題（即消息來源）。x0dx0a所以，Destination實際上就是兩種類型的對象：Queue、Topic可以通過JNDI來查找Destination。x0dx0a(3) Connectionx0dx0aConnection表示在客戶端和JMS系統之間建立的鏈接（對TCP/IP socket的包裝）。Connection可以產生一個或多個Session。跟ConnectionFactory一樣，Connection也有兩種類型：QueueConnection和TopicConnection。x0dx0a(4) Sessionx0dx0aSession是操作消息的介面。可以通過session創建生產者、消費者、消息等。Session提供了事務的功能。當需要使用session發送/接收多個消息時，可以將這些發送/接收動作放到一個事務中。同樣，也分QueueSession和TopicSession。x0dx0a(5) 消息的生產者x0dx0a消息生產者由Session創建，並用於將消息發送到Destination。同樣，消息生產者分兩種類型：QueueSender和TopicPublisher。可以調用消息生產者的方法（send或publish方法）發送消息。x0dx0a(6) 消息消費者x0dx0a消息消費者由Session創建，用於接收被發送到Destination的消息。兩種類型：QueueReceiver和TopicSubscriber。可分別通過session的createReceiver(Queue)或createSubscriber(Topic)來創建。當然，也可以session的creatDurableSubscriber方法來創建持久化的訂閱者。x0dx0a(7) MessageListenerx0dx0a消息監聽器。如果注冊了消息監聽器，一旦消息到達，將自動調用監聽器的onMessage方法。EJB中的MDB（Message-Driven Bean）就是一種MessageListener。x0dx0a深入學習JMS對掌握JAVA架構，EJB架構有很好的幫助，消息中間件也是大型分布式系統必須的組件。本次分享主要做全局性介紹，具體的深入需要大家學習，實踐，總結，領會。x0dx0a五、常用消息隊列x0dx0a一般商用的容器，比如WebLogic，JBoss，都支持JMS標准，開發上很方便。但免費的比如Tomcat，Jetty等則需要使用第三方的消息中間件。本部分內容介紹常用的消息中間件（Active MQ,Rabbit MQ，Zero MQ,Kafka）以及他們的特點。x0dx0a5.1 ActiveMQx0dx0aActiveMQ 是Apache出品，最流行的，能力強勁的開源消息匯流排。ActiveMQ 是一個完全支持JMS1.1和J2EE 1.4規范的 JMS Provider實現，盡管JMS規范出台已經是很久的事情了，但是JMS在當今的J2EE應用中間仍然扮演著特殊的地位。x0dx0aActiveMQ特性如下：x0dx0a⒈ 多種語言和協議編寫客戶端。語言: Java,C,C++,C#,Ruby,Perl,Python,PHP。應用協議： OpenWire,Stomp REST,WS Notification,XMPP,AMQPx0dx0a⒉ 完全支持JMS1.1和J2EE 1.4規范 （持久化，XA消息，事務)x0dx0a⒊ 對spring的支持，ActiveMQ可以很容易內嵌到使用Spring的系統裡面去，而且也支持Spring2.0的特性x0dx0a⒋ 通過了常見J2EE伺服器（如 Geronimo,JBoss 4,GlassFish,WebLogic)的測試，其中通過JCA 1.5 resource adaptors的配置，可以讓ActiveMQ可以自動的部署到任何兼容J2EE 1.4 商業伺服器上x0dx0a⒌ 支持多種傳送協議：in-VM,TCP,SSL,NIO,UDP,JGroups,JXTAx0dx0a⒍ 支持通過JDBC和journal提供高速的消息持久化x0dx0a⒎ 從設計上保證了高性能的集群，客戶端-伺服器，點對點x0dx0a⒏ 支持Ajaxx0dx0a⒐ 支持與Axis的整合x0dx0a⒑ 可以很容易得調用內嵌JMS provider，進行測試x0dx0a5.2 RabbitMQx0dx0aRabbitMQ是流行的開源消息隊列系統，用erlang語言開發。RabbitMQ是AMQP（高級消息隊列協議）的標准實現。支持多種客戶端，如：Python、Ruby、.NET、Java、JMS、C、PHP、ActionScript、XMPP、STOMP等，支持AJAX，持久化。用於在分布式系統中存儲轉發消息，在易用性、擴展性、高可用性等方面表現不俗。x0dx0a幾個重要概念：x0dx0aBroker：簡單來說就是消息隊列伺服器實體。x0dx0aExchange：消息交換機，它指定消息按什麼規則，路由到哪個隊列。x0dx0aQueue：消息隊列載體，每個消息都會被投入到一個或多個隊列。x0dx0aBinding：綁定，它的作用就是把exchange和queue按照路由規則綁定起來。x0dx0aRouting Key：路由關鍵字，exchange根據這個關鍵字進行消息投遞。x0dx0avhost：虛擬主機，一個broker里可以開設多個vhost，用作不同用戶的許可權分離。x0dx0aprocer：消息生產者，就是投遞消息的程序。x0dx0aconsumer：消息消費者，就是接受消息的程序。x0dx0achannel：消息通道，在客戶端的每個連接里，可建立多個channel，每個channel代表一個會話任務。x0dx0a消息隊列的使用過程，如下：x0dx0a（1）客戶端連接到消息隊列伺服器，打開一個channel。x0dx0a（2）客戶端聲明一個exchange，並設置相關屬性。x0dx0a（3）客戶端聲明一個queue，並設置相關屬性。x0dx0a（4）客戶端使用routing key，在exchange和queue之間建立好綁定關系。x0dx0a（5）客戶端投遞消息到exchange。x0dx0aexchange接收到消息後，就根據消息的key和已經設置的binding，進行消息路由，將消息投遞到一個或多個隊列里。x0dx0a5.3 ZeroMQx0dx0a號稱史上最快的消息隊列，它實際類似於Socket的一系列介面，他跟Socket的區別是：普通的socket是端到端的（1:1的關系），而ZMQ卻是可以N：M 的關系，人們對BSD套接字的了解較多的是點對點的連接，點對點連接需要顯式地建立連接、銷毀連接、選擇協議（TCP/UDP）和處理錯誤等，而ZMQ屏蔽了這些細節，讓你的網路編程更為簡單。ZMQ用於node與node間的通信，node可以是主機或者是進程。x0dx0a引用官方的說法： 「ZMQ(以下ZeroMQ簡稱ZMQ)是一個簡單好用的傳輸層，像框架一樣的一個socket library，他使得Socket編程更加簡單、簡潔和性能更高。是一個消息處理隊列庫，可在多個線程、內核和主機盒之間彈性伸縮。ZMQ的明確目標是「成為標准網路協議棧的一部分，之後進入linux內核」。現在還未看到它們的成功。但是，它無疑是極具前景的、並且是人們更加需要的「傳統」BSD套接字之上的一 層封裝。ZMQ讓編寫高性能網路應用程序極為簡單和有趣。」x0dx0a特點是：x0dx0a高性能，非持久化；x0dx0a跨平台：支持Linux、Windows、OS X等。x0dx0a多語言支持； C、C++、Java、.NET、Python等30多種開發語言。x0dx0a可單獨部署或集成到應用中使用；x0dx0a可作為Socket通信庫使用。x0dx0a與RabbitMQ相比，ZMQ並不像是一個傳統意義上的消息隊列伺服器，事實上，它也根本不是一個伺服器，更像一個底層的網路通訊庫，在Socket API之上做了一層封裝，將網路通訊、進程通訊和線程通訊抽象為統一的API介面。支持「Request-Reply 「，」Publisher-Subscriber「，」Parallel Pipeline」三種基本模型和擴展模型。x0dx0aZeroMQ高性能設計要點：x0dx0a1、無鎖的隊列模型x0dx0a對於跨線程間的交互（用戶端和session）之間的數據交換通道pipe，採用無鎖的隊列演算法CAS；在pipe兩端注冊有非同步事件，在讀或者寫消息到pipe的時，會自動觸發讀寫事件。x0dx0a2、批量處理的演算法x0dx0a對於傳統的消息處理，每個消息在發送和接收的時候，都需要系統的調用，這樣對於大量的消息，系統的開銷比較大，zeroMQ對於批量的消息，進行了適應性的優化，可以批量的接收和發送消息。x0dx0a3、多核下的線程綁定，無須CPU切換x0dx0a區別於傳統的多線程並發模式，信號量或者臨界區， zeroMQ充分利用多核的優勢，每個核綁定運行一個工作者線程，避免多線程之間的CPU切換開銷。x0dx0a5.4 Kafkax0dx0aKafka是一種高吞吐量的分布式發布訂閱消息系統，它可以處理消費者規模的網站中的所有動作流數據。 這種動作（網頁瀏覽，搜索和其他用戶的行動）是在現代網路上的許多社會功能的一個關鍵因素。 這些數據通常是由於吞吐量的要求而通過處理日誌和日誌聚合來解決。 對於像Hadoop的一樣的日誌數據和離線分析系統，但又要求實時處理的限制，這是一個可行的解決方案。Kafka的目的是通過Hadoop的並行載入機制來統一線上和離線的消息處理，也是為了通過集群機來提供實時的消費。x0dx0aKafka是一種高吞吐量的分布式發布訂閱消息系統，有如下特性：x0dx0a通過O(1)的磁碟數據結構提供消息的持久化，這種結構對於即使數以TB的消息存儲也能夠保持長時間的穩定性能。（文件追加的方式寫入數據，過期的數據定期刪除）x0dx0a高吞吐量：即使是非常普通的硬體Kafka也可以支持每秒數百萬的消息。x0dx0a支持通過Kafka伺服器和消費機集群來分區消息。x0dx0a支持Hadoop並行數據載入。x0dx0aKafka相關概念x0dx0aBrokerx0dx0aKafka集群包含一個或多個伺服器，這種伺服器被稱為broker[5]x0dx0aTopicx0dx0a每條發布到Kafka集群的消息都有一個類別，這個類別被稱為Topic。（物理上不同Topic的消息分開存儲，邏輯上一個Topic的消息雖然保存於一個或多個broker上但用戶只需指定消息的Topic即可生產或消費數據而不必關心數據存於何處）x0dx0aPartitionx0dx0aParition是物理上的概念，每個Topic包含一個或多個Partition.x0dx0aProcerx0dx0a負責發布消息到Kafka brokerx0dx0aConsumerx0dx0a消息消費者，向Kafka broker讀取消息的客戶端。x0dx0aConsumer Groupx0dx0a每個Consumer屬於一個特定的Consumer Group（可為每個Consumer指定group name，若不指定group name則屬於默認的group）。x0dx0a一般應用在大數據日誌處理或對實時性（少量延遲），可靠性（少量丟數據）要求稍低的場景使用。
③ 系統架構師崗位職責
系統架構師崗位職責（精選17篇）
在我們平凡的日常里，越來越多地方需要用到崗位職責，任何崗位職責都是一個責任、權力與義務的綜合體，有多大的權力就應該承擔多大的責任，有多大的權力和責任應該盡多大的義務，任何割裂開來的做法都會發生問題。到底應如何制定崗位職責呢？下面是我幫大家整理的系統架構師崗位職責，歡迎大家借鑒與參考，希望對大家有所幫助。
系統架構師崗位職責 篇1
崗位職責 ：
1、深入研究地圖及相關行業需求變化與發展趨勢，發現機會，規劃戰略方向並推進實施落地，提高地圖整體價值。
2、深刻了解地圖業務，負責把控地圖產品的整體方向，同時確保各個協作部門對產品業務充分理解，協同指導各業務線產品、研發、運營等多角色確保戰略實施落地。
3、系統性思考在戰略規劃當中地圖的商業價值，整體提高地圖To B端的賦能輸出能力和商業變現能力。
任職要求 ：
1、在用戶產品領域經驗豐富，熟悉O2O，有地圖相關行業從業經驗優先。
2、有整體產品規劃和產品設計能力。
3、具備敏銳的行業洞察力，創新能力。
4、具備優秀的用戶思維注重用戶體驗。
5、優秀的溝通能力，協同能力。
系統架構師崗位職責 篇2
職位描述 ：
1、負責整體技術架構優化和工程能力提升。規劃設計實施地圖整體的日誌統計、用戶畫像、定位指紋、場景識別等基礎挖掘加工及服務系統，提升海量數據吞吐和服務能力，支撐地圖整體業務高效快速迭代提升。
2、基於海量路網數據、用戶個體特徵，實時變化的動態交通信息，構建可擴展、高性能、高時效、高穩定性的路線規劃系統，支持百億用戶不同場景下的出行需求。
3、負責相應技術方向的難點攻關、前瞻研究以及初級工程師的指導。
任職資格
1、有豐富的架構設計與研發實施能力，精通常用的圖論演算法，有多年系統分析和設計的實踐經驗。
2、本科以上學歷，至少5年以上工作經驗，精通Linux/Unix平台上的C/C++編程。
3、具有寬廣的技術視野，精深的技術功底，優秀的分析和解決問題能力。
4、為人正直，良好的團隊合作能力和溝通能力，抗壓能力強，具有較強的自我驅動力，有導航，地圖從業經驗者優先。
系統架構師崗位職責 篇3
1、根據產品和項目需求，分析、設計與實現系統架構方案，保障系統架構的合理性、可擴展性及經濟性；
2、負責產品架構分析，提出軟硬體架構整體設計，資料庫存儲設計方案，指導其他工程師的設計工作；
3 、對相關產品系統架構方案進行評審及改進，控制產品系統架構質量；
4、負責核心技術問題的攻關，系統優化；協助解決項目開發過程中的技術難題；
5、制定開發規范，參與制定技術標准，編寫相應的技術文檔，並對通用技術進行整理，提高技術復用。
6、積極了解業界發展、相關新技術及趨勢，促進技術進步和創新。
國內某上市公司招聘系統架構師的崗位職責
1、完成B/S系統的架構設計
2、編寫設計文檔
3、可以獨立完成模塊開發工作。
4、完成和開發相關的文檔編寫。
5、參與系統設計。
系統架構師崗位職責 篇4
職位描述 ：
1、負責導航服務端產品功能開發。
2、負責導航服務端工程架構的設計，研發以及優化，技術攻堅等工作。
3、負責路徑規劃引擎的架構和設計，研發以及優化工作。
崗位職責：
1、計算機或者相關碩士以上學歷，5年以上的工作經驗。
2、精通linux下C/C++語言編程，有高並發開發經驗。
3、精通網路編程，多線程編程技術，有大規模系統設計、開發和優化經驗。
4、對數據結構和演算法設計有深刻的理解，熟悉常用的圖論演算法。
5、具有寬廣的.技術視野，精深的技術功底，優秀的分析和解決問題能力，有讓技術產生更大影響力的理想和使命感。
6、為人正直，良好的團隊合作能力和溝通能力，抗壓能力強，具有較強的自我驅動力。
7、對產品有較強的責任心，有導航，地圖開發經驗者優先。
系統架構師崗位職責 篇5
系統架構師崗位職責
1、負責公司系統的架構設計、研發工作;
2、承擔從業務向技術轉換的橋梁作用;
3、協助項目經理制定項目計劃和控制項目進度;
4、負責輔助並指導sa開展設計工作;
5、負責組織技術研究和攻關工作;
6、負責組織和管理公司內部的技術培訓工作;
7、負責組織及帶領公司內部員工研究與項目相關的新技術;
8、管理技術支撐團隊並給項目、產品開發實施團隊提供技術保障;
9、對系統框架相關技術和業務進行培訓，指導開發人員開發，並解決系統開發、運行中出現的各種問題。
系統架構師崗位要求
1、對oracle資料庫設計和開發有一定了解，能根據較復雜業務邏輯獨立設計數據模型和數據間關系;
2、具有良好的溝通表達能力，有一定的用戶需求分析和理解能力;
3、熟練使用ruml visio 、rational rose、powerdesign等，有一定的功能設計和數據設計能力，熟悉軟體設計模式，能夠使用其中的一些建模工具;
4、扎實的java或、net技術，熟悉技術體系;
5、熟悉rup、xp、cmmi等項目開發管理規范;
6、具有良好文檔編寫能力;
7、工作細致，具有良好的團隊合作精神，高度的責任感，較強的適應、溝通、表達能力。
系統架構師關鍵技能
專業能力
系統整體架構設計代碼編寫項目管理
個人能力
自學能力分析能力溝通表達
系統架構師升職空間
系統架構師→資深架構師→項目經理→項目總監→ cto(首席技術官)
系統架構師薪情概況
應屆畢業生￥4600.00
1年經驗￥4700.00
2年經驗￥5300.00
3年經驗￥7000.00
系統架構師工作內容
1、參與軟體產品的業務分析、系統分析;
2、指導開發人員進行產品開發;
3、負責主要功能和核心代碼的編寫和指導;
4、解決關鍵問題和技術難題;
5、協助技術總監進行業務系統分析和架構;
6、指導核心文檔的編寫。
系統架構師崗位職責 篇6
任職要求：
1、28-35歲,本科及以上學歷;
2、4年以上從事金融、互聯網系統開發經驗;
3、3年以上大型軟體或系統架構或設計經驗;
4、主動思考、積極向上,有較強的邏輯分析能力和學習能力;
5、良好的溝通協調能力,認真細致的工作作風的知識和技能
專業技能要求：
1.金融、互聯網行業架構設計的工作經驗三年以上,設計架構的軟體項目四個以上(每個項目至少十萬有效代碼行)。
2.精通ood設計方法;
3.精通j2ee下的b/w/as/ds架構設計,精通springmvc+mybatis、xml、ajax技術;
4.熟練掌握tomcat或jboss、appache等中間件的使用;
5.熟練掌握oracle、mysql數據表設計;
6.精通金融安全標准
7.具有b2c、c2c商務網站的設計、開發經驗優先;
8.誠懇,踏實,穩重,具備良好的職業操守、信譽,具有良好的團隊協作、溝通能力,責任心強,溝通良好,學習能力好,可承受較強的工作壓力。
系統架構師崗位職責 篇7
職責描述：
1.負責分析、設計和搭建公司相關系統的伺服器系統架構,解決開發中各種架構及技術相關問題;
2、負責產品核心框架及功能的開發;
3、解決產品研發過程中的關鍵技術問題;
4、研究應用架構的發展方向,提出架構改進方案;
5、診斷和解決現行系統可能存在的問題,保證公司系統的安全、穩定、高效率運行;
6.制定相應的設計規范和開發規范;
7.負責對技術團隊成員的培訓及指導;
任職要求：
1、5年以上java研發經驗,優秀的分析、架構設計和文檔編寫能力
2、從事過產品研發,具有全面、深刻架構原理、架構技術,有豐富經驗;
3、具有分布式、高並發、高負載、高可用性系統經驗;
4、熟悉linux操作系統、nosql資料庫、springcloud和bbo等微服務框架;
5、有較強的技術實施能力和創新能力;
6、熱愛技術,對技術有不懈的追求;
7、良好的抽象思維和邏輯思維能力,獨立分析問題和解決問題的能力。
8、具備良好的溝通協作能力、團隊合作精神。
系統架構師崗位職責 篇8
崗位職責：
1.負責產品線軟體架構設計工作,包括系統的總體規劃、架構設計、系統分析、軟體實現、性能優化;
2.負責公司主要項目的技術評審;
3.驗證軟體產品與架構的符合性,並能及時優化架構;
4.負責產品開發技術研究及其實現方面的技術分析和架構;
5.對業界新技術保持敏銳的感知,積極探索新技術在公司產品上的應用;
6.良好的抽象思維和邏輯思維能力,獨立分析問題和解決問題的能力。
任職資格：
1.本科及以上學歷(985,211院校優先),計算機、軟體工程、電子通信相關專業;
2.7年以上軟體開發經驗,含4年以上系統分析、架構設計經驗,且有大型項目經驗,熟悉軟體開發與設計流程;
3.精通架構設計理論、實踐和工具,掌握多種參考構架、主要的可重用構架機制和各種設計模式,精通流行的技術框架或者工具;
4.大量核心代碼編寫實踐;精通操作系統驅動、內核、應用層等各類開發特性;熟知業界前沿技術並具備快速學習能力;
5.良好的文檔撰寫能力,編寫習慣;
6.具備優秀的獨立分析問題、解決問題能力。
系統架構師崗位職責 篇9
職位要求：
(1)5年以上工作經驗,3年以上j2ee應用架構設計經驗。
(2)有超過2年以上大型b/s項目的架構設計經驗,熟悉常見java開源框架,如spring、springmvc、struts、mybatis、hibernate、springsecurity、springsocial、apacheshiro等。
(3)深入了解設計模式,精通java,熟悉io、多線程、集合等基礎框架,熟悉分布式、緩存、消息等機制。
(4)熟悉分布式服務架構設計、熟悉相關技術,如緩存(redis)、消息中間件(kafka、rabbitmq、rocketmq)並有實際使用經驗。
(5)熟悉分布式資料庫設計、熟悉mysql,mongodb等資料庫,並具有較好的sql編寫及優化能力。
(6)熟悉大數據量、高並發、高性能的分布式系統的設計、實施、調優。
(7)熟悉linux,nginx,熟練配置維護tomcat,jetty等應用伺服器。
(8)熟練使用相關工具,包括開發工具、資料庫工具、版本控制工具等。
(9)能夠解決反爬蟲、網路異常等各種常見爬蟲問題,有實戰經驗者優先;
(10)熟悉數字圖像與視頻處理演算法原理,熟悉opencv等開源演算法庫;
(11)掌握模式識別相關基礎理論,掌握各種常用模式識別演算法(如神經網路,svm,cnn,rnn等)的設計和使用方法
公司福利：
1、我們提供有競爭力的薪資
3、享有年終獎金、營收分紅
4、為員工繳納五險及住房公積金
5、生日驚喜、節假日福利
6、專享來往探親車票報銷待遇
7、定期組織戶外拓展活動以及聚餐活動
8、廣闊的晉升空間
系統架構師崗位職責 篇10
職責描述：
1.負責視頻監控存儲生態、解決方案、技術路線研究和規劃;
2.負責視頻監控存儲產品需求分析和實現;
3.負責視頻監控存儲產品的系統設計與優化;
4.針對子系統關鍵技術點,進行方案和概要設計,指導研發;
5.負責核心/關鍵技術的攻關以及疑難問題的解決;
任職要求：
1.具有6年以上企業存儲/視頻監控領域相關工作經驗,3年以上相關存儲產品設計經驗;
2.具備視頻監控存儲系統架構設計能力和子系統概要設計能力;
3.精通c/c++,掌握linux下編程技術,熟悉內核存儲子系統;
4.熟悉分布式存儲(文件,塊,對象)/san,有存儲性能調優經驗;
5.具有較強的責任心;具備一定的承壓能力;具有強有力的自驅力和良好的團隊合作精神
系統架構師崗位職責 篇11
崗位職責：
1.負責.net應用系統平台架構、技術發展戰略規劃及產品體系規劃,完成相關的工作計劃制定並達成工作目標;
2.負責.net項目的整體框架設計、核心代碼開發,制定合理的技術路線,解決系統建設,開發效率,運行質量,用戶體驗中的問題;
3.負責新技術的研究與技術積累、關鍵技術的驗證,並能服務於相關業務發展,使應用系統在技術應用上保持一定的領先地位;
4.開發和維護統一的軟體開發架構和軟體開發規范,對系統的重用、擴展、安全、性能、伸縮性、簡潔等做系統級的把握,為技術決策提供規則;
5.通過開發工具或開發方法的改進,提高開發效率,並對開發人員的技術培訓培訓與技術支持並解決技術難題
任職要求：
1.本科及以上學歷,5年以上.net項目開發經驗,3年以上.net平台產品設計、架構經驗;
2.對負載均衡,非同步消息隊列,反向代理,緩存等大型項目採用高性能系統架構及技術有比較全面系統的理解和實際的應用經驗。
3.精通.net下的b/s系統開發,精通.net框架類庫,如wcf、asp.netmvc,ado.net,具有soa/esb、大數據等項目經驗者優先,有wcf、webservice、servicestack等中間件開發經驗者優先;
4.熟悉主流開發庫、框架的實現原理;
5.對資料庫優化有比較深入的理解。
6.具備memcahced集群,redis集群,nginx集群,sqlserver集群等2種以上實際配置部署經驗。
7.具備系統性能瓶頸分析經驗,並能根據實際情況制定系統架構調整、擴容方案。
8.具備較強的計劃、組織、協調、溝通及分析能力,優秀的職業素養和團隊協作精神、敬業精神,能承受工作壓力;
9.具備較強的技術培訓能力和技術領導能力,對技術充滿熱情,勇於嘗試,具有創新精神
系統架構師崗位職責 篇12
職位描述
1、參與軟體系統的需求調研和需求分析,軟體框架設計;
2、負責系統的分析和設計,並對系統加工進行持續優化;
3、參與系統模塊的程序核心代碼及技術難點攻關;
4、負責公司軟體產品升級,對軟體功能及性能提出建設性方案及落實;
5、指導其他開發成員完成開發工作;
崗位要求：
1、計算機相關專業,5年以上c++項目開發經驗,10年以上更佳;
2、精通linux/windows下c/c++程序開發,熟練使用shell腳本;
4、精通數據結構和演算法,有很好的面向對象分析和設計能力,精通常用設計模式和主流設計工具,進行系統建模和總體設計;
5、能夠進行網路應用的設計與開發,熟悉各種網路協議,精通tcp/ip協議,熟悉socket服務程序開發;
6、良好的文檔撰寫能力,能熟練編寫項目的需求分析和設計文檔;
7、熟練使用svn或git等版本管理工具,有良好的分支版本管理意識;
8、有良好的溝通能力,協作精神和進取心,有良好的職業道德和工作態度,具有獨立分析問題和解決問題的能力,工作認真、踏實,責任心強,有團隊合作精神;
9、測繪產品或三維數據處理軟體開發經驗優先。
系統架構師崗位職責 篇13
崗位職責：
1、負責醫療信息化技術架構的設計,確定技術路線和開發方向,設計符合業務需求的解決方案和技術發展規劃;
2、將技術實現及醫院業務場景聯系起來,根據需求提出技術解決方案;
3、完善公司醫療信息化平台架構設計和持續完善;
4、負責制定開發規范,適當引入和推行新技術,為研發部門的業務發展做好技術儲備;
5、負責管控技術架構和重要技術解決方案;
任職條件：
1、全日制本科以及上學歷,5年以上醫療衛生信息系統(平台)設計/研發、his、lis、pacs、emr等醫療信息系統工作經歷(必需)
2、優秀的java基礎,深入學習java常用框架spring,mybatis等,了解微服務架構體系,熟悉容器以及容器編排技術,有實戰項目經驗
3、精通高可用、高並發分布式系統設計,熟悉多線程、分布式中間件,大數據和框架等相關技術;
4、對網路安全和業務安全有清晰的認識,有成熟的的傳輸安全,存儲安全解決能力;
5、良好的業務建模水平,熟悉各種文檔撰寫;
加分項：
1、有過知名醫療信息系統廠商工作背景。
2、有院內信息集成系統背景。
3、豐富的醫療信息系統知識。
系統架構師崗位職責 篇14
崗位職責：
1、對家庭大屏產品競爭力負責,能夠根據市場發展趨勢,業界競品,並基於產品策略進行方案選型、硬體方案選擇和軟體方案配套
2、主導家庭大屏產品需求分析,並協調各個領域,對產品進行規格定義和系統和dfx設計,並進行產品各領域問題的技術決策。產品se可依據自身情況承擔特定領域的分析與設計
3、以ipd-se流程為工作框架,負責產品技術領域的端到端設計交付。負責維護產品項目的需求規格定義。
4、作為產品的對外技術介面,承擔重點項目的答標支撐和對外技術交流。
崗位要求：
1、熟悉安卓大屏操作系統。
2、具有完備的多媒體系統知識,精通主流編解碼方案,對音質音效畫質相關技術方案有一定了解。
3、熟悉智能大屏產品中人工智慧的系統框架。
4、掌握產品ux交互知識,能根據用戶習慣制定合理的交互方案。
5、對業界大屏產品主流晶元軟硬體方案熟悉,有相關產品開發經驗。
6、熟悉大屏產品相關認證標准。
系統架構師崗位職責 篇15
職位職責：
負責伺服器後端平台的架構研發;
參與項目需求分析、業務邏輯流程設計、文檔編寫;
負責主要程序代碼編寫。
職位要求：
3年以上python/go開發經驗,或者5年以上為java開發經驗;
有大型網路服務開發,在高並發,高穩定性方面有經驗者優先考慮;
熟練使用redis等分布式緩存系統;熟練使用消息隊列系統;
精通docker在生產環境的部署與優化;
精通linux環境下的開發與系統部署;
精通mysql關系型資料庫與資料庫集群,良好的資料庫設計和優化能力;
扎實的計算機基礎,較強的軟體架構或演算法理解能力;
擁有優秀的學習能力,邏輯思維能力;
有較好的溝通交流能力,能夠迅速融入團隊;
有良好的編碼習慣及開發文檔書寫習慣.
系統架構師崗位職責 篇16
分布式系統架構師崗位職責：
負責後台分布式緩存系統的設計和開發
負責後台分布式系統框架的設計和開發
負責分布式系統前沿技術的跟蹤、調研
任職要求：
本科及以上學歷,計算機相關專業,5年以上工作經驗
扎實的計算機、網路相關基礎知識
精通c/c++、熟悉tcp/ip協議,熟悉linux系統
熟悉分布式系統相關原理,在高可用、高可靠、高性能等方面有豐富的經驗
良好的分析問題、解決問題的能力
良好的團隊工作和協作能力
在分布式緩存一致性、快速容災方面有大項目經驗者優先
在分布式系統框架實現方面有大項目經驗者優先崗位職責：
負責後台分布式緩存系統的設計和開發
負責後台分布式系統框架的設計和開發
負責分布式系統前沿技術的跟蹤、調研
任職要求：
本科及以上學歷,計算機相關專業,5年以上工作經驗
扎實的計算機、網路相關基礎知識
精通c/c++、熟悉tcp/ip協議,熟悉linux系統
熟悉分布式系統相關原理,在高可用、高可靠、高性能等方面有豐富的經驗
良好的分析問題、解決問題的能力
良好的團隊工作和協作能力
在分布式緩存一致性、快速容災方面有大項目經驗者優先
在分布式系統框架實現方面有大項目經驗者優先
系統架構師崗位職責 篇17
應用系統架構師工作內容：
1.參與公司技術願景和戰略等重大問題決策,把握總體技術方向,對技術選型以及開發實施等問題進行指導和把關;
2.負責應用系統的架構設計和核心代碼的編寫;制定系統相關的技術介面和規范;負責業務模型到技術模型的轉換;負責核心技術問題的攻關,系統優化;
3.負責系統總體架構設計,包括資料庫、分布式架構、前後端api;評估並掌握新的技術方案、引進基礎設施,為業務發展、技術運營提供強有力技術支持;
4.技術上指導團隊;制定開發規范,參與制定技術標准,編寫相應的技術文檔,並對通用技術進行整理,提高技術復用。
5.配合市場與戰略部門工作,承擔對外咨詢項目並為公司內部提供技術支持。
6.能按時保質完成上級交辦的其他任務。
任職資格：
1、本科及以上學歷,計算機專業或信息技術專業;
2、熟悉互聯網開發,4年以上技術+管理工作經驗,其中至少2年大型互聯網總體架構經驗;
3、掌握基於java/c++/php/python的一種或多種後端技術、有前端開發經驗;
4、邏輯思維能力強,具備較好的抽象能力、架構分析能力、設計能力及良好的技術文檔寫作能力;
5、溝通協調能力強,具備良好的團隊合作精神;
6、學習力強;
7、具備大數據、機器學習、雲化部署實施等技能優先。
;④ 大型的PHP應用，通常使用什麼應用做消息隊列
一、消息隊列概述
消息隊列中間件是分布式系統中重要的組件，主要解決應用耦合，非同步消息，流量削鋒等問題。實現高性能，高可用，可伸縮和最終一致性架構。是大型分布式系統不可缺少的中間件。
目前在生產環境，使用較多的消息隊列有ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ，RocketMQ等。
二、消息隊列應用場景
以下介紹消息隊列在實際應用中常用的使用場景。非同步處理，應用解耦，流量削鋒和消息通訊四個場景。
2.1非同步處理
場景說明：用戶注冊後，需要發注冊郵件和注冊簡訊。傳統的做法有兩種1.串列的方式；2.並行方式。
（1）串列方式：將注冊信息寫入資料庫成功後，發送注冊郵件，再發送注冊簡訊。以上三個任務全部完成後，返回給客戶端。（架構KKQ：466097527，歡迎加入）
（2）並行方式：將注冊信息寫入資料庫成功後，發送注冊郵件的同時，發送注冊簡訊。以上三個任務完成後，返回給客戶端。與串列的差別是，並行的方式可以提高處理的時間。
假設三個業務節點每個使用50毫秒鍾，不考慮網路等其他開銷，則串列方式的時間是150毫秒，並行的時間可能是100毫秒。
因為CPU在單位時間內處理的請求數是一定的，假設CPU1秒內吞吐量是100次。則串列方式1秒內CPU可處理的請求量是7次（1000/150）。並行方式處理的請求量是10次（1000/100）。
小結：如以上案例描述，傳統的方式系統的性能（並發量，吞吐量，響應時間）會有瓶頸。如何解決這個問題呢？
引入消息隊列，將不是必須的業務邏輯，非同步處理。改造後的架構如下：
按照以上約定，用戶的響應時間相當於是注冊信息寫入資料庫的時間，也就是50毫秒。注冊郵件，發送簡訊寫入消息隊列後，直接返回，因此寫入消息隊列的速度很快，基本可以忽略，因此用戶的響應時間可能是50毫秒。因此架構改變後，系統的吞吐量提高到每秒20 QPS。比串列提高了3倍，比並行提高了兩倍。
2.2應用解耦
場景說明：用戶下單後，訂單系統需要通知庫存系統。傳統的做法是，訂單系統調用庫存系統的介面。如下圖：
傳統模式的缺點：
1） 假如庫存系統無法訪問，則訂單減庫存將失敗，從而導致訂單失敗；
2） 訂單系統與庫存系統耦合；
如何解決以上問題呢？引入應用消息隊列後的方案，如下圖：
訂單系統：用戶下單後，訂單系統完成持久化處理，將消息寫入消息隊列，返回用戶訂單下單成功。
庫存系統：訂閱下單的消息，採用拉/推的方式，獲取下單信息，庫存系統根據下單信息，進行庫存操作。
假如：在下單時庫存系統不能正常使用。也不影響正常下單，因為下單後，訂單系統寫入消息隊列就不再關心其他的後續操作了。實現訂單系統與庫存系統的應用解耦。
2.3流量削鋒
流量削鋒也是消息隊列中的常用場景，一般在秒殺或團搶活動中使用廣泛。
應用場景：秒殺活動，一般會因為流量過大，導致流量暴增，應用掛掉。為解決這個問題，一般需要在應用前端加入消息隊列。
可以控制活動的人數；
可以緩解短時間內高流量壓垮應用；
用戶的請求，伺服器接收後，首先寫入消息隊列。假如消息隊列長度超過最大數量，則直接拋棄用戶請求或跳轉到錯誤頁面；
秒殺業務根據消息隊列中的請求信息，再做後續處理。
2.4日誌處理
日誌處理是指將消息隊列用在日誌處理中，比如Kafka的應用，解決大量日誌傳輸的問題。架構簡化如下：
日誌採集客戶端，負責日誌數據採集，定時寫受寫入Kafka隊列；
Kafka消息隊列，負責日誌數據的接收，存儲和轉發；
日誌處理應用：訂閱並消費kafka隊列中的日誌數據；
以下是新浪kafka日誌處理應用案例：
(1)Kafka：接收用戶日誌的消息隊列。
(2)Logstash：做日誌解析，統一成JSON輸出給Elasticsearch。
(3)Elasticsearch：實時日誌分析服務的核心技術，一個schemaless，實時的數據存儲服務，通過index組織數據，兼具強大的搜索和統計功能。
(4)Kibana：基於Elasticsearch的數據可視化組件，超強的數據可視化能力是眾多公司選擇ELK stack的重要原因。
2.5消息通訊
消息通訊是指，消息隊列一般都內置了高效的通信機制，因此也可以用在純的消息通訊。比如實現點對點消息隊列，或者聊天室等。
點對點通訊：
客戶端A和客戶端B使用同一隊列，進行消息通訊。
聊天室通訊：
客戶端A，客戶端B，客戶端N訂閱同一主題，進行消息發布和接收。實現類似聊天室效果。
以上實際是消息隊列的兩種消息模式，點對點或發布訂閱模式。模型為示意圖，供參考。
三、消息中間件示例
3.1電商系統
消息隊列採用高可用，可持久化的消息中間件。比如Active MQ，Rabbit MQ，Rocket Mq。（1）應用將主幹邏輯處理完成後，寫入消息隊列。消息發送是否成功可以開啟消息的確認模式。（消息隊列返回消息接收成功狀態後，應用再返回，這樣保障消息的完整性）
（2）擴展流程（發簡訊，配送處理）訂閱隊列消息。採用推或拉的方式獲取消息並處理。
（3）消息將應用解耦的同時，帶來了數據一致性問題，可以採用最終一致性方式解決。比如主數據寫入資料庫，擴展應用根據消息隊列，並結合資料庫方式實現基於消息隊列的後續處理。
3.2日誌收集系統
分為Zookeeper注冊中心，日誌收集客戶端，Kafka集群和Storm集群（OtherApp）四部分組成。
Zookeeper注冊中心，提出負載均衡和地址查找服務；
日誌收集客戶端，用於採集應用系統的日誌，並將數據推送到kafka隊列；
四、JMS消息服務
講消息隊列就不得不提JMS 。JMS（Java Message Service,Java消息服務）API是一個消息服務的標准/規范，允許應用程序組件基於JavaEE平台創建、發送、接收和讀取消息。它使分布式通信耦合度更低，消息服務更加可靠以及非同步性。
在EJB架構中，有消息bean可以無縫的與JM消息服務集成。在J2EE架構模式中，有消息服務者模式，用於實現消息與應用直接的解耦。
4.1消息模型
在JMS標准中，有兩種消息模型P2P（Point to Point）,Publish/Subscribe(Pub/Sub)。
4.1.1 P2P模式
P2P模式包含三個角色：消息隊列（Queue），發送者(Sender)，接收者(Receiver)。每個消息都被發送到一個特定的隊列，接收者從隊列中獲取消息。隊列保留著消息，直到他們被消費或超時。
P2P的特點
每個消息只有一個消費者（Consumer）(即一旦被消費，消息就不再在消息隊列中)
發送者和接收者之間在時間上沒有依賴性，也就是說當發送者發送了消息之後，不管接收者有沒有正在運行，它不會影響到消息被發送到隊列
接收者在成功接收消息之後需向隊列應答成功
如果希望發送的每個消息都會被成功處理的話，那麼需要P2P模式。（架構KKQ：466097527，歡迎加入）
4.1.2 Pub/sub模式
包含三個角色主題（Topic），發布者（Publisher），訂閱者（Subscriber） 。多個發布者將消息發送到Topic,系統將這些消息傳遞給多個訂閱者。
Pub/Sub的特點
每個消息可以有多個消費者
發布者和訂閱者之間有時間上的依賴性。針對某個主題（Topic）的訂閱者，它必須創建一個訂閱者之後，才能消費發布者的消息。
為了消費消息，訂閱者必須保持運行的狀態。
為了緩和這樣嚴格的時間相關性，JMS允許訂閱者創建一個可持久化的訂閱。這樣，即使訂閱者沒有被激活（運行），它也能接收到發布者的消息。
如果希望發送的消息可以不被做任何處理、或者只被一個消息者處理、或者可以被多個消費者處理的話，那麼可以採用Pub/Sub模型。
4.2消息消費
在JMS中，消息的產生和消費都是非同步的。對於消費來說，JMS的消息者可以通過兩種方式來消費消息。
（1）同步
訂閱者或接收者通過receive方法來接收消息，receive方法在接收到消息之前（或超時之前）將一直阻塞；
（2）非同步
訂閱者或接收者可以注冊為一個消息監聽器。當消息到達之後，系統自動調用監聽器的onMessage方法。
JNDI：Java命名和目錄介面,是一種標準的Java命名系統介面。可以在網路上查找和訪問服務。通過指定一個資源名稱，該名稱對應於資料庫或命名服務中的一個記錄，同時返回資源連接建立所必須的信息。
JNDI在JMS中起到查找和訪問發送目標或消息來源的作用。（架構KKQ：466097527，歡迎加入）
4.3JMS編程模型
(1) ConnectionFactory
創建Connection對象的工廠，針對兩種不同的jms消息模型，分別有QueueConnectionFactory和TopicConnectionFactory兩種。可以通過JNDI來查找ConnectionFactory對象。
(2) Destination
Destination的意思是消息生產者的消息發送目標或者說消息消費者的消息來源。對於消息生產者來說，它的Destination是某個隊列（Queue）或某個主題（Topic）;對於消息消費者來說，它的Destination也是某個隊列或主題（即消息來源）。
所以，Destination實際上就是兩種類型的對象：Queue、Topic可以通過JNDI來查找Destination。
(3) Connection
Connection表示在客戶端和JMS系統之間建立的鏈接（對TCP/IP socket的包裝）。Connection可以產生一個或多個Session。跟ConnectionFactory一樣，Connection也有兩種類型：QueueConnection和TopicConnection。
(4) Session
Session是操作消息的介面。可以通過session創建生產者、消費者、消息等。Session提供了事務的功能。當需要使用session發送/接收多個消息時，可以將這些發送/接收動作放到一個事務中。同樣，也分QueueSession和TopicSession。
(5) 消息的生產者
消息生產者由Session創建，並用於將消息發送到Destination。同樣，消息生產者分兩種類型：QueueSender和TopicPublisher。可以調用消息生產者的方法（send或publish方法）發送消息。
(6) 消息消費者
消息消費者由Session創建，用於接收被發送到Destination的消息。兩種類型：QueueReceiver和TopicSubscriber。可分別通過session的createReceiver(Queue)或createSubscriber(Topic)來創建。當然，也可以session的creatDurableSubscriber方法來創建持久化的訂閱者。
(7) MessageListener
消息監聽器。如果注冊了消息監聽器，一旦消息到達，將自動調用監聽器的onMessage方法。EJB中的MDB（Message-Driven Bean）就是一種MessageListener。
深入學習JMS對掌握JAVA架構，EJB架構有很好的幫助，消息中間件也是大型分布式系統必須的組件。本次分享主要做全局性介紹，具體的深入需要大家學習，實踐，總結，領會。
五、常用消息隊列
一般商用的容器，比如WebLogic，JBoss，都支持JMS標准，開發上很方便。但免費的比如Tomcat，Jetty等則需要使用第三方的消息中間件。本部分內容介紹常用的消息中間件（Active MQ,Rabbit MQ，Zero MQ,Kafka）以及他們的特點。
5.1 ActiveMQ
ActiveMQ 是Apache出品，最流行的，能力強勁的開源消息匯流排。ActiveMQ 是一個完全支持JMS1.1和J2EE 1.4規范的 JMS Provider實現，盡管JMS規范出台已經是很久的事情了，但是JMS在當今的J2EE應用中間仍然扮演著特殊的地位。
ActiveMQ特性如下：
⒈ 多種語言和協議編寫客戶端。語言: Java,C,C++,C#,Ruby,Perl,Python,PHP。應用協議： OpenWire,Stomp REST,WS Notification,XMPP,AMQP
⒉ 完全支持JMS1.1和J2EE 1.4規范 （持久化，XA消息，事務)
⒊ 對spring的支持，ActiveMQ可以很容易內嵌到使用Spring的系統裡面去，而且也支持Spring2.0的特性
⒋ 通過了常見J2EE伺服器（如 Geronimo,JBoss 4,GlassFish,WebLogic)的測試，其中通過JCA 1.5 resource adaptors的配置，可以讓ActiveMQ可以自動的部署到任何兼容J2EE 1.4 商業伺服器上
⒌ 支持多種傳送協議：in-VM,TCP,SSL,NIO,UDP,JGroups,JXTA
⒍ 支持通過JDBC和journal提供高速的消息持久化
⒎ 從設計上保證了高性能的集群，客戶端-伺服器，點對點
⒏ 支持Ajax
⒐ 支持與Axis的整合
⒑ 可以很容易得調用內嵌JMS provider，進行測試
5.2 RabbitMQ
RabbitMQ是流行的開源消息隊列系統，用erlang語言開發。RabbitMQ是AMQP（高級消息隊列協議）的標准實現。支持多種客戶端，如：Python、Ruby、.NET、Java、JMS、C、PHP、ActionScript、XMPP、STOMP等，支持AJAX，持久化。用於在分布式系統中存儲轉發消息，在易用性、擴展性、高可用性等方面表現不俗。
幾個重要概念：
Broker：簡單來說就是消息隊列伺服器實體。
Exchange：消息交換機，它指定消息按什麼規則，路由到哪個隊列。
Queue：消息隊列載體，每個消息都會被投入到一個或多個隊列。
Binding：綁定，它的作用就是把exchange和queue按照路由規則綁定起來。
Routing Key：路由關鍵字，exchange根據這個關鍵字進行消息投遞。
vhost：虛擬主機，一個broker里可以開設多個vhost，用作不同用戶的許可權分離。
procer：消息生產者，就是投遞消息的程序。
consumer：消息消費者，就是接受消息的程序。
channel：消息通道，在客戶端的每個連接里，可建立多個channel，每個channel代表一個會話任務。
消息隊列的使用過程，如下：
（1）客戶端連接到消息隊列伺服器，打開一個channel。
（2）客戶端聲明一個exchange，並設置相關屬性。
（3）客戶端聲明一個queue，並設置相關屬性。
（4）客戶端使用routing key，在exchange和queue之間建立好綁定關系。
（5）客戶端投遞消息到exchange。
exchange接收到消息後，就根據消息的key和已經設置的binding，進行消息路由，將消息投遞到一個或多個隊列里。
5.3 ZeroMQ
號稱史上最快的消息隊列，它實際類似於Socket的一系列介面，他跟Socket的區別是：普通的socket是端到端的（1:1的關系），而ZMQ卻是可以N：M 的關系，人們對BSD套接字的了解較多的是點對點的連接，點對點連接需要顯式地建立連接、銷毀連接、選擇協議（TCP/UDP）和處理錯誤等，而ZMQ屏蔽了這些細節，讓你的網路編程更為簡單。ZMQ用於node與node間的通信，node可以是主機或者是進程。
引用官方的說法： 「ZMQ(以下ZeroMQ簡稱ZMQ)是一個簡單好用的傳輸層，像框架一樣的一個socket library，他使得Socket編程更加簡單、簡潔和性能更高。是一個消息處理隊列庫，可在多個線程、內核和主機盒之間彈性伸縮。ZMQ的明確目標是「成為標准網路協議棧的一部分，之後進入Linux內核」。現在還未看到它們的成功。但是，它無疑是極具前景的、並且是人們更加需要的「傳統」BSD套接字之上的一 層封裝。ZMQ讓編寫高性能網路應用程序極為簡單和有趣。」
特點是：
高性能，非持久化；
跨平台：支持Linux、Windows、OS X等。
多語言支持； C、C++、Java、.NET、Python等30多種開發語言。
可單獨部署或集成到應用中使用；
可作為Socket通信庫使用。
與RabbitMQ相比，ZMQ並不像是一個傳統意義上的消息隊列伺服器，事實上，它也根本不是一個伺服器，更像一個底層的網路通訊庫，在Socket API之上做了一層封裝，將網路通訊、進程通訊和線程通訊抽象為統一的API介面。支持「Request-Reply 「，」Publisher-Subscriber「，」Parallel Pipeline」三種基本模型和擴展模型。
ZeroMQ高性能設計要點：
1、無鎖的隊列模型
對於跨線程間的交互（用戶端和session）之間的數據交換通道pipe，採用無鎖的隊列演算法CAS；在pipe兩端注冊有非同步事件，在讀或者寫消息到pipe的時，會自動觸發讀寫事件。
2、批量處理的演算法
對於傳統的消息處理，每個消息在發送和接收的時候，都需要系統的調用，這樣對於大量的消息，系統的開銷比較大，zeroMQ對於批量的消息，進行了適應性的優化，可以批量的接收和發送消息。
3、多核下的線程綁定，無須CPU切換
區別於傳統的多線程並發模式，信號量或者臨界區， zeroMQ充分利用多核的優勢，每個核綁定運行一個工作者線程，避免多線程之間的CPU切換開銷。
5.4 Kafka
Kafka是一種高吞吐量的分布式發布訂閱消息系統，它可以處理消費者規模的網站中的所有動作流數據。 這種動作（網頁瀏覽，搜索和其他用戶的行動）是在現代網路上的許多社會功能的一個關鍵因素。 這些數據通常是由於吞吐量的要求而通過處理日誌和日誌聚合來解決。 對於像Hadoop的一樣的日誌數據和離線分析系統，但又要求實時處理的限制，這是一個可行的解決方案。Kafka的目的是通過Hadoop的並行載入機制來統一線上和離線的消息處理，也是為了通過集群機來提供實時的消費。
Kafka是一種高吞吐量的分布式發布訂閱消息系統，有如下特性：
通過O(1)的磁碟數據結構提供消息的持久化，這種結構對於即使數以TB的消息存儲也能夠保持長時間的穩定性能。（文件追加的方式寫入數據，過期的數據定期刪除）
高吞吐量：即使是非常普通的硬體Kafka也可以支持每秒數百萬的消息。
支持通過Kafka伺服器和消費機集群來分區消息。
支持Hadoop並行數據載入。
Kafka相關概念
Broker
Kafka集群包含一個或多個伺服器，這種伺服器被稱為broker[5]
Topic
每條發布到Kafka集群的消息都有一個類別，這個類別被稱為Topic。（物理上不同Topic的消息分開存儲，邏輯上一個Topic的消息雖然保存於一個或多個broker上但用戶只需指定消息的Topic即可生產或消費數據而不必關心數據存於何處）
Partition
Parition是物理上的概念，每個Topic包含一個或多個Partition.
Procer
負責發布消息到Kafka broker
Consumer
消息消費者，向Kafka broker讀取消息的客戶端。
Consumer Group
每個Consumer屬於一個特定的Consumer Group（可為每個Consumer指定group name，若不指定group name則屬於默認的group）。
一般應用在大數據日誌處理或對實時性（少量延遲），可靠性（少量丟數據）要求稍低的場景使用。