elasticsearch源碼

① solr和elasticsearch對比，有啥差別嗎

從兩個方面對ElasticSearch和Solr進行對比，從關系型資料庫中的導入速度和模糊查詢的速度。

單機對比

1. Solr 發布了4.0-alpha，試了一下，發現需要自己修改schema，好處是它自帶一個data importer。在自己的計算機上測試了一下，導入的性能大概是：14分鍾導入 3092730 條記錄，約合 3682條/秒。

2. 3百萬條記錄的情況下，模糊查詢和排序基本都在1秒內返回

3. 剛才的測試，是每個field單獨存儲，現在修改了一下配置文件，增加了一個Field，所有的field都拷貝一份到text這個field裡面去，導入的性能大概是：19分鍾導入了3092730 條記錄，約合 2713條/秒

4. 3百萬條記錄的情況下，針對text的模糊查詢基本在1秒內返回，但是針對所有記錄的排序，大概要2~3秒

5. 使用 elasticsearch 0.19.8，預設配置，用單任務導入，導入性能是：20分鍾導入了3092730 條記錄，約合2577條/秒

6. 3百萬條記錄的情況下，查詢基本上在1秒內返回，但是模糊查詢比較慢，第一次要10秒，後來大概要1~3秒。加上排序大概需要5秒，整體排序基本100ms

查詢及排序的指令：

{

"query": {

"query_string": {

"query": "*999*"

}

},

"sort": [

{

"TIME_UP": {

"order": "asc"

}

}

]

}

7. Es0.19.8，用兩個任務導入，導入性能是：13分鍾導入了3092730 條記錄，約合3965條/秒

8. Solr全部建好索引後，佔用磁碟空間是1.2G，es佔用磁碟空間是4G

單機對比2

在一台Intel i7，32G內存的機器上，重新跑這兩個的對比。不過有個重大的區別在於，Solr是在這台性能很好的機器上跑，而es的導入進程則是在一台Intel 四核 2.5G，4G內存的機器上跑的，也許會有性能的差異。ES版本0.19.8，Solr版本4.0-ALPHA。

1. Solr的導入性能：3400萬條記錄，用時62分鍾，平均9140條/秒，佔用空間12.75G

2. 使用 *999* 這樣的模糊查詢，3秒以內返回，稍長一點的查詢條件 *00100014*，也是2~3秒返回

3. Es的導入性能（設置Xmx為10G）：3400萬條記錄，用時40分鍾，平均14167條/秒，佔用空間33.26G，客戶端採用4個並發。

4. 使用 *999* 這樣的模糊查詢，9秒返回，稍長一點的查詢條件 *00100014*，11.8秒返回

5. 如果不是針對所有欄位查詢，而是針對某個特定欄位，比如 SAM_CODE: *00100014*，那麼也是1秒以內返回。

6. 結論：es的查詢效率也可以很高，只是我們還不會用。

7. 結論2：es有個設置是把所有欄位放一塊的那個，預設是放一起，但是不知道為什麼沒起到應有的作用。

備註：

1. Solr第一次的那個內存使用的是預設設置，這次改為10G，結果導入性能反而變差了，400萬條記錄，用了8分鍾，平均8333條/秒，不知道為什麼。

2. 改回預設的內存配置，導入速度仍然慢。

3. 重啟Linux，用10G的內存配置，再導入，5030萬條記錄，用時92分，約9112條/秒，說明導入速度和內存配置沒有大差別

4. 在10G配置的情況下，檢索速度也差別不大。

5. 為了搞清楚lucene4.0和solr4.0的進步有多大，下載了solr3.6.1，所幸的是4.0的配置文件在3.6.1上也可以用，所以很快就搭起來進行測試，導入性能為：3400萬條記錄，用時55分鍾，約10303條/秒，佔用空間13.85G。查詢性能：*999*第一次11.6s，*00100014* 27.3s，相比4.0ALPHA的結果（5000萬結果當中，*999*第一次2.6s，*00100014*第一次2.5s）來說，慢了很多，與es的性能差不多，因此，也許lucene4.0真的對性能有大幅提升？

集群對比：

採用4台同樣配置（Intel i7，32G內存）的Centos 6.3組成的集群，進行對比。

1. 首先是es，很方便的就組成了一個Cluster，等上一個3400萬條的Index全部均衡負載之後進行測試，導入到另外一個Index當中。

2. 導入性能：8500萬條記錄，用時72分鍾，約為19676條/秒。在前5千萬條記錄導入時的速度在2萬/條以上，初始的速度在2.2萬/條。佔用空間78.6G（由於有冗餘，實際佔用空間為157.2G）

3. 查詢性能：

*999*第一次13.5秒，第二次19.5秒，第三次7.4秒，第四次7.1秒，第五次7.1秒

*00100014*第一次17.2秒，第二次16.6秒，第三次17.9秒，第四次16.7秒，第五次17.1秒

SAM_CODE:*999*，0.8s，1.3s，0.02s，0.02s，0.02s

SAM_CODE: *00100014*，0.1s，0.1s，0.02s，0.03s，0.05s

4. Solr4.0-ALPHA，SolrCloud的配置還算簡單，啟動一個ZooKeeper，然後其他三台機器訪問這個地址，就可以組成一個Cloud：

機器1： nohup java -Xms10G -Xmx10G -Xss256k -Djetty.port=8983 -Dsolr.solr.home="./example-DIH/solr/" -Dbootstrap_confdir=./example-DIH/solr/db/conf/ -Dcollection.configName=xabconf3 -DzkRun -DnumShards=4 -jar start.jar &

其他機器：nohup java -Xms10G -Xmx10G -Dsolr.solr.home="./example-DIH/solr/" -DzkHost=192.168.2.11:9983 -jar start.jar &

但是在執行 data import 的時候，頻繁出現 OutOfMemoryError: unable to create new native thread。查了很多資料，把Linux的ulimit當中的nproc改成10240，把Xss改成256K，都解決不了問題。暫時沒有辦法進行。

結論

1. 導入性能，es更強

2. 查詢性能，solr 4.0最好，es與solr 3.6持平，可以樂觀的認為，等es採用了lucene4之後，性能會有質的提升

3. Es採用SAM_CODE這樣的查詢性能很好，但是用_all性能就很差，而且差別非常大，因此，個人認為在目前的es情況下，仍然有性能提升的空間，只是現在還沒找到方法。

② elasticsearch 用什麼語言開發

Elasticsearch也使用Java開發並使用Lucene作為其核心來實現所有索引和搜索的功能，但是它的目的是通過簡單的RESTful API來隱藏Lucene的復雜性，從而讓全文搜索變得簡單。

③ GitHub上面有哪些經典的java框架源碼

• Bazel：來自Google的構建工具，可以快速、可靠地構建代碼。官網

• Gradle：使用Groovy（非XML）進行增量構建，可以很好地與Maven依賴管理配合工作。官網

• Buck：Facebook構建工具。官網

位元組碼操作

編程方式操作位元組碼的開發庫。

• ASM：通用底層位元組碼操作和分析開發庫。官網

• Byte Buddy：使用流式API進一步簡化位元組碼生成。官網

• Byteman：在運行時通過DSL（規則）操作位元組碼進行測試和故障排除。官網

• Javassist：一個簡化位元組碼編輯嘗試。官網

集群管理

在集群內動態管理應用程序的框架。

• Apache Aurora：Apache Aurora是一個Mesos框架，用於長時間運行服務和定時任務（cron job）。官網

• Singularity：Singularity是一個Mesos框架，方便部署和操作。它支持Web Service、後台運行、調度作業和一次性任務。官網

代碼分析

測量代碼指標和質量工具。

• Checkstyle：代碼編寫規范和標准靜態分析工具。官網

• Error Prone：將常見編程錯誤作為運行時錯誤報告。官網

• FindBugs：通過位元組碼靜態分析查找隱藏bug。官網

• jQAssistant：使用基於Neo4J查詢語言進行代碼靜態分析。官網

• PMD：對源代碼分析查找不良的編程習慣。官網

• SonarQube：通過插件集成其它分析組件，對過去一段時間內的數據進行統計。官網

編譯器生成工具

用來創建解析器、解釋器或編譯器的框架。

• ANTLR：復雜的全功能自頂向下解析框架。官網

• JavaCC：JavaCC是更加專門的輕量級工具，易於上手且支持語法超前預測。官網

外部配置工具

支持外部配置的開發庫。

• config：針對JVM語言的配置庫。官網

• owner：減少冗餘配置屬性。官網

約束滿足問題求解程序

幫助解決約束滿足問題的開發庫。

• Choco：可直接使用的約束滿足問題求解程序，使用了約束規劃技術。官網

• JaCoP：為FlatZinc語言提供了一個介面，可以執行MiniZinc模型。官網

• OptaPlanner：企業規劃與資源調度優化求解程序。官網

• Sat4J：邏輯代數與優化問題最先進的求解程序。官網

持續集成

• Bamboo：Atlassian解決方案，可以很好地集成Atlassian的其他產品。可以選擇開源許可，也可以購買商業版。官網

• CircleCI：提供託管服務，可以免費試用。官網

• Codeship：提供託管服務，提供有限的免費模式。官網

• fabric8：容器集成平台。官網

• Go：ThoughtWork開源解決方案。官網

• Jenkins：支持基於伺服器的部署服務。官網

• TeamCity：JetBrain的持續集成解決方案，有免費版。官網

• Travis：通常用作開源項目的託管服務。官網

• Buildkite: 持續集成工具，用簡單的腳本就能設置pipeline，而且能快速構建，可以免費試用。官網

CSV解析

簡化CSV數據讀寫的框架與開發庫

• uniVocity-parsers：速度最快功能最全的CSV開發庫之一，同時支持TSV與固定寬度記錄的讀寫。官網

資料庫

簡化資料庫交互的相關工具。

• Apache Phoenix：HBase針對低延時應用程序的高性能關系資料庫層。官網

• Crate：實現了數據同步、分片、縮放、復制的分布式數據存儲。除此之外還可以使用基於sql的語法跨集群查詢。官網

• Flyway：簡單的資料庫遷移工具。官網

• H2：小型SQL資料庫，以可以作為內存資料庫使用著稱。官網

• HikariCP：高性能JDBC連接工具。官網

• JDBI：便捷的JDBC抽象。官網

• Protobuf：Google數據交換格式。官網

• SBE：簡單二進制編碼，是最快速的消息格式之一。官網

• Wire：整潔輕量級協議緩存。官網

幫實現依賴翻轉範式的開發庫。官網

• Apache DeltaSpike：CDI擴展框架。官網

• Dagger2：編譯時注入框架，不需要使用反射。官網

• Guice：可以匹敵Dagger的輕量級注入框架。官網

• HK2：輕量級動態依賴注入框架。官網

開發流程增強工具

從最基本的層面增強開發流程。

• ADT4J：針對代數數據類型的JSR-269代碼生成器。官網

• AspectJ：面向切面編程（AOP）的無縫擴展。官網

• Auto：源代碼生成器集合。官網

• DCEVM：通過修改JVM在運行時支持對已載入的類進行無限次重定義。官網

• HotswapAgent：支持無限次重定義運行時類與資源。官網

• Immutables：類似Scala的條件類。官網

• JHipster：基於Spring Boot與AngularJS應用程序的Yeoman源代碼生成器。官網

• JRebel：無需重新部署，可以即時重新載入代碼與配置的商業軟體。官網

• Lombok：減少冗餘的代碼生成器。官網

• Spring Loaded：類重載代理。官網

• vert.x：多語言事件驅動應用框架。官網

分布式應用

用來編寫分布式容錯應用的開發庫和框架。

• Akka：用來編寫分布式容錯並發事件驅動應用程序的工具和運行時。官網

• Apache Storm：實時計算系統。官網

• Apache ZooKeeper：針對大型分布式系統的協調服務，支持分布式配置、同步和名稱注冊。官網

• Hazelcast：高可擴展內存數據網格。官網

• Hystrix：提供延遲和容錯。官網

• JGroups：提供可靠的消息傳遞和集群創建的工具。官網

• Orbit：支持虛擬角色（Actor），在傳統角色的基礎上增加了另外一層抽象。官網

• Quasar：為JVM提供輕量級線程和角色。官網

分布式資料庫

對應用程序而言，在分布式系統中的資料庫看起來就像是只有一個數據源。

• Apache Cassandra：列式資料庫，可用性高且沒有單點故障。官網

• Apache HBase：針對大數據的Hadoop資料庫。官網

• Druid：實時和歷史OLAP數據存儲，在聚集查詢和近似查詢方面表現不俗。官網

• Infinispan：針對緩存的高並發鍵值對數據存儲。官網

發布

以本機格式發布應用程序的工具。

• Bintray：發布二進制文件版本控制工具。可以於Maven或Gradle一起配合使用。提供開源免費版本和幾種商業收費版本。官網

• Central Repository：最大的二進制組件倉庫，面向開源社區提供免費服務。Apache Maven默認使用Central官網Repository，也可以在所有其他構建工具中使用。

• IzPack：為跨平台部署建立創作工具（Authoring Tool）。官網

• JitPack：打包GitHub倉庫的便捷工具。可根據需要構建Maven、Gradle項目，發布可立即使用的組件。官網

• Launch4j：將JAR包裝為輕量級本機Windows可執行程序。官網

• Nexus：支持代理和緩存功能的二進制管理工具。官網

• packr：將JAR、資源和JVM打包成Windows、Linux和Mac OS X本地發布文件。官網

文檔處理工具

處理Office文檔的開發庫。

• Apache POI：支持OOXML規范（XLSX、DOCX、PPTX）以及OLE2規范（XLS、DOC、PPT）。官網

• documents4j：使用第三方轉換器進行文檔格式轉換，轉成類似MS Word這樣的格式。官網

• jOpenDocument：處理OpenDocument格式（由Sun公司提出基於XML的文檔格式）。官網

函數式編程

函數式編程支持庫。

• Cyclops：支持一元（Monad）操作和流操作工具類、comprehension（List語法）、模式匹配、trampoline等特性。官網

• Fugue：Guava的函數式編程擴展。官網

• Functional Java：實現了多種基礎和高級編程抽象，用來輔助面向組合開發（composition-oriented development）。官網

• Javaslang：一個函數式組件庫，提供持久化數據類型和函數式控制結構。官網

• jOOλ：旨在填補Java 8 lambda差距的擴展，提供了眾多缺失的類型和一組豐富的順序流API。官網

游戲開發

游戲開發框架。

• jMonkeyEngine：現代3D游戲開發引擎。官網

• libGDX：全面的跨平台高級框架。官網

• LWJGL：對OpenGL/CL/AL等技術進行抽象的健壯框架。官網

GUI

現代圖形化用戶界面開發庫。

• JavaFX：Swing的後繼者。官網

• Scene Builder：開發JavaFX應用的可視化布局工具。官網

高性能計算

涵蓋了從集合到特定開發庫的高性能計算相關工具。

• Agrona：高性能應用中常見的數據結構和工具方法。官網

• Disruptor：線程間消息傳遞開發庫。官網

• fastutil：快速緊湊的特定類型集合（Collection）。官網

• GS Collections：受Smalltalk啟發的集合框架。官網

• HPPC：基礎類型集合。官網

• Javolution：實時和嵌入式系統的開發庫。官網

• JCTools：JDK中缺失的並發工具。官網

• Koloboke：Hash set和hash map。官網

• Trove：基礎類型集合。官網

• High-scale-bli:Cliff Click 個人開發的高性能並發庫官網

IDE

簡化開發的集成開發環境。

• Eclipse：老牌開源項目，支持多種插件和編程語言。官網

• IntelliJ IDEA：支持眾多JVM語言，是安卓開發者好的選擇。商業版主要針對企業客戶。官網

• NetBeans：為多種技術提供集成化支持，包括Java SE、Java EE、資料庫訪問、HTML5

• Imgscalr：純Java 2D實現，簡單、高效、支持硬體加速的圖像縮放開發庫。官網

• Picasso：安卓圖片下載和圖片緩存開發庫。官網

• Thumbnailator：Thumbnailator是一個高質量Java縮略圖開發庫。官網

• ZXing：支持多種格式的一維、二維條形碼圖片處理開發庫。官網

• im4java: 基於ImageMagick或GraphicsMagick命令行的圖片處理開發庫，基本上ImageMagick能夠支持的圖片格式和處理方式都能夠處理。官網

• Apache Batik：在Java應用中程序以SVG格式顯示、生成及處理圖像的工具集，包括SVG解析器、SVG生成器、SVG DOM等模塊，可以集成使用也可以單獨使用，還可以擴展自定義的SVG標簽。官網

JSON

簡化JSON處理的開發庫。

• Genson：強大且易於使用的Java到JSON轉換開發庫。官網

• Gson：谷歌官方推出的JSON處理庫，支持在對象與JSON之間雙向序列化，性能良好且可以實時調用。官網

• Jackson：與GSON類似，在頻繁使用時性能更佳。官網

• LoganSquare：基於Jackson流式API，提供對JSON解析和序列化。比GSON與Jackson組合方式效果更好。官網

• Fastjson：一個Java語言編寫的高性能功能完善的JSON庫。官網

• Kyro：快速、高效、自動化的Java對象序列化和克隆庫。官網

JVM與JDK

目前的JVM和JDK實現。

• JDK 9：JDK 9的早期訪問版本。官網

• OpenJDK：JDK開源實現。官網

基於JVM的語言

除Java外，可以用來編寫JVM應用程序的編程語言。

• Scala：融合了面向對象和函數式編程思想的靜態類型編程語言。官網

• Groovy：類型可選（Optionally typed）的動態語言，支持靜態類型和靜態編譯。目前是一個Apache孵化器項目。官網

• Clojure：可看做現代版Lisp的動態類型語言。官網

• Ceylon：RedHat開發的面向對象靜態類型編程語言。官網

• Kotlin：JetBrain針對JVM、安卓和瀏覽器提供的靜態類型編程語言。官網

• Xtend：一種靜態編程語言，能夠將其代碼轉換為簡潔高效的Java代碼，並基於JVM運行。官網

日誌

記錄應用程序行為日誌的開發庫。

• Apache Log4j 2：使用強大的插件和配置架構進行完全重寫。官網

• kibana：分析及可視化日誌文件。官網

• Logback：強健的日期開發庫，通過Groovy提供很多有趣的選項。官網

• logstash：日誌文件管理工具。官網

• Metrics：通過JMX或HTTP發布參數，並且支持存儲到資料庫。官網

• SLF4J：日誌抽象層，需要與具體的實現配合使用。官網

機器學習

提供具體統計演算法的工具。其演算法可從數據中學習。

• Apache Flink：快速、可靠的大規模數據處理引擎。官網

• Apache Hadoop：在商用硬體集群上用來進行大規模數據存儲的開源軟體框架。官網

• Apache Mahout：專注協同過濾、聚類和分類的可擴展演算法。官網

• Apache Spark：開源數據分析集群計算框架。官網

• DeepDive：從非結構化數據建立結構化信息並集成到已有資料庫的工具。官網

• Deeplearning4j：分布式多線程深度學習開發庫。官網

• H2O：用作大數據統計的分析引擎。官網

• Weka：用作數據挖掘的演算法集合，包括從預處理到可視化的各個層次。官網

• QuickML：高效機器學習庫。官網、GitHub

消息傳遞

在客戶端之間進行消息傳遞，確保協議獨立性的工具。

• Aeron：高效可擴展的單播、多播消息傳遞工具。官網

• Apache ActiveMQ：實現JMS的開源消息代理（broker），可將同步通訊轉為非同步通訊。官網

• Apache Camel：通過企業級整合模式（Enterprise Integration Pattern EIP）將不同的消息傳輸API整合在一起。官網

• Apache Kafka：高吞吐量分布式消息系統。官網

• Hermes：快速、可靠的消息代理（Broker），基於Kafka構建。官網

• JBoss HornetQ：清晰、准確、模塊化，可以方便嵌入的消息工具。官網

• JeroMQ：ZeroMQ的純Java實現。官網

• Smack：跨平台XMPP客戶端函數庫。官網

• Openfire：是開源的、基於XMPP、採用Java編程語言開發的實時協作伺服器。 Openfire安裝和使用都非常簡單，並可利用Web界面進行管理。官網GitHub

• Spark：是一個開源，跨平台IM客戶端。它的特性支持集組聊天，電話集成和強大安全性能。如果企業內部部署IM使用Openfire+Spark是最佳的組合。官網GitHub

• Tigase： 是一個輕量級的可伸縮的 Jabber/XMPP 伺服器。無需其他第三方庫支持，可以處理非常高的復雜和大量的用戶數，可以根據需要進行水平擴展。官網

雜項

未分類其它資源。

• Design Patterns：實現並解釋了最常見的設計模式。官網

• Jimfs：內存文件系統。官網

• Lanterna：類似curses的簡單console文本GUI函數庫。官網

• LightAdmin：可插入式CRUD UI函數庫，可用來快速應用開發。官網

• OpenRefine：用來處理混亂數據的工具，包括清理、轉換、使用Web Service進行擴展並將其關聯到資料庫。官網

• RoboVM：Java編寫原生iOS應用。官網

• Quartz：強大的任務調度庫.官網

應用監控工具

監控生產環境中應用程序的工具。

• AppDynamics：性能監測商業工具。官網

• JavaMelody：性能監測和分析工具。官網

• Kamon：Kamon用來監測在JVM上運行的應用程序。官網

• New Relic：性能監測商業工具。官網

• SPM：支持對JVM應用程序進行分布式事務追蹤的性能監測商業工具。官網

• Takipi：產品運行時錯誤監測及調試商業工具。官網

原生開發庫

用來進行特定平台開發的原生開發庫。

• JNA：不使用JNI就可以使用原生開發庫。此外，還為常見系統函數提供了介面。官網

自然語言處理

用來專門處理文本的函數庫。

• Apache OpenNLP：處理類似分詞等常見任務的工具。官網

• CoreNLP：斯坦佛CoreNLP提供了一組基礎工具，可以處理類似標簽、實體名識別和情感分析這樣的任務。官網

• LingPipe：一組可以處理各種任務的工具集，支持POS標簽、情感分析等。官網

• Mallet：統計學自然語言處理、文檔分類、聚類、主題建模等。官網

網路

網路編程函數庫。

• Async Http Client：非同步HTTP和WebSocket客戶端函數庫。官網

• Grizzly：NIO框架，在Glassfish中作為網路層使用。官網

• Netty：構建高性能網路應用程序開發框架。官網

• OkHttp：一個Android和Java應用的HTTP+SPDY客戶端。官網

• Undertow：基於NIO實現了阻塞和非阻塞API的Web伺服器，在WildFly中作為網路層使用。官網

ORM

處理對象持久化的API。

• Ebean：支持快速數據訪問和編碼的ORM框架。官網

• EclipseLink：支持許多持久化標准，JPA、JAXB、JCA和SDO。官網

• Hibernate：廣泛使用、強健的持久化框架。Hibernate的技術社區非常活躍。官網

• MyBatis：帶有存儲過程或者SQL語句的耦合對象（Couples object）。官網

• OrmLite：輕量級開發包，免除了其它ORM產品中的復雜性和開銷。官網

• Nutz：另一個SSH。官網，Github

• JFinal：JAVA WEB + ORM框架。官網，Github

PDF

用來幫助創建PDF文件的資源。

• Apache FOP：從XSL-FO創建PDF。官網

• Apache PDFBox：用來創建和操作PDF的工具集。官網

• DynamicReports：JasperReports的精簡版。官網

• flyingsaucer：XML/XHTML和CSS 2.1渲染器。官網

• iText：一個易於使用的PDF函數庫，用來編程創建PDF文件。注意，用於商業用途時需要許可證。官網

• JasperReports：一個復雜的報表引擎。官網

性能分析

性能分析、性能剖析及基準測試工具。

• jHiccup：提供平台中JVM暫停的日誌和記錄。官網

• JMH：JVM基準測試工具。官網

• JProfiler：商業分析器。官網

• LatencyUtils：測量和報告延遲的工具。官網

• VisualVM：對運行中的應用程序信息提供了可視化界面。官網

• YourKit Java Profiler：商業分析器。官網

響應式開發庫

用來開發響應式應用程序的開發庫。

• Reactive Streams：非同步流處理標准，支持非阻塞式反向壓力（backpressure）。官網

• Reactor：構建響應式快速數據（fast-data）應用程序的開發庫。官網

• RxJava：通過JVM可觀察序列（observable sequence）構建非同步和基於事件的程序。官網

REST框架

用來創建RESTful 服務的框架。

• Dropwizard：偏向於自己使用的Web框架。用來構建Web應用程序，使用了Jetty、Jackson、Jersey和Metrics。官網

• Feign：受Retrofit、JAXRS-2.0和WebSocket啟發的HTTP客戶端連接器（binder）。官網

• Jersey：JAX-RS參考實現。官網

• RESTEasy：經過JAX-RS規范完全認證的可移植實現。官網

• RestExpress：一個Java類型安全的REST客戶端。官網

• RestX：基於註解處理和編譯時源碼生成的框架。官網

• Retrofit：類型安全的REST客戶端。官網

• Spark：受到Sinatra啟發的Java REST框架。官網

• Swagger：Swagger是一個規范且完整的框架，提供描述、生產、消費和可視化RESTful Web Service。官網

• Blade：國人開發的一個輕量級的MVC框架. 它擁有簡潔的代碼，優雅的設計。官網

科學計算與分析

用於科學計算和分析的函數庫。

• DataMelt：用於科學計算、數據分析及數據可視化的開發環境。官網

• JGraphT：支持數學圖論對象和演算法的圖形庫。官網

• JScience：用來進行科學測量和單位的一組類。官網

搜索引擎

文檔索引引擎，用於搜索和分析。

• Apache Solr：一個完全的企業搜索引擎。為高吞吐量通信進行了優化。官網

• Elasticsearch：一個分布式、支持多租戶（multitenant）全文本搜索引擎。提供了RESTful Web介面和無schema的JSON文檔。官網

• Apache Lucene：是一個開放源代碼的全文檢索引擎工具包，是一個全文檢索引擎的架構，提供了完整的查詢引擎和索引引擎，部分文本分析引擎。官網

安全

用於處理安全、認證、授權或會話管理的函數庫。

• Apache Shiro：執行認證、授權、加密和會話管理。官網

• Bouncy Castle，涵蓋了從基礎的幫助函數到PGP/SMIME操作。官網：多途加密開發庫。支持JCA提供者（JCA provider)

• Cryptomator：在雲上進行客戶端跨平台透明加密。官網

• Keycloak：為瀏覽器應用和RESTful Web Service集成SSO和IDM。目前還處於beta版本，但是看起來非常有前途。官網

• PicketLink：PicketLink是一個針對Java應用進行安全和身份認證管理的大型項目（Umbrella Project）。官網

序列化

用來高效處理序列化的函數庫。

• FlatBuffers：高效利用內存的序列化函數庫，無需解包和解析即可高效訪問序列化數據。官網

• Kryo：快速、高效的對象圖形序列化框架。官網

• FST：提供兼容JDK的高性能對象圖形序列化。官網

• MessagePack：一種高效的二進制序列化格式。官網

應用伺服器

用來部署應用程序的伺服器。

• Apache Tomcat：針對Servlet和JSP的應用伺服器，健壯性好且適用性強。官網

• Apache TomEE：Tomcat加Java EE。官網

• Jetty：輕量級、小巧的應用伺服器，通常會嵌入到項目中。官網

• WebSphere Liberty：輕量級、模塊化應用伺服器，由IBM開發。官網

• WildFly：之前被稱作JBoss，由Red Hat開發。支持很多Java EE功能。官網

模板引擎

在模板中替換表達式的工具。

• Apache Velocity：提供HTML頁面模板、email模板和通用開源代碼生成器模板。官網

• FreeMarker：通用模板引擎，不需要任何重量級或自己使用的依賴關系。官網

• Handlebars.java：使用Java編寫的模板引擎，邏輯簡單，支持語義擴展（semantic Mustache）。官網

• Thymeleaf：旨在替換JSP，支持XML文件的工具。官網

測試

測試內容從對象到介面，涵蓋性能測試和基準測試工具。

• Apache JMeter：功能性測試和性能評測。官網

• Arquillian：集成測試和功能行測試平台，集成Java EE容器。官網

• AssertJ：支持流式斷言提高測試的可讀性。官網

• Awaitility：用來同步非同步操作的DSL。官網

• Cucumber：BDD測試框架。官網

• Gatling：設計為易於使用、可維護的和高性能負載測試工具。官網

• Hamcrest：可用來靈活創建意圖（intent）表達式的匹配器。官網

• JMockit：用來模擬靜態、final方法等。官網

• JUnit：通用測試框架。官網

• Mockito：在自動化單元測試中創建測試對象，為TDD或BDD提供支持。官網

• PowerMock： 支持模擬靜態方法、構造函數、final類和方法、私有方法以及移除靜態初始化器的模擬工具。官網

• REST Assured：為REST/HTTP服務提供方便測試的Java DSL。官網

• Selenide：為Selenium提供精準的周邊API，用來編寫穩定且可讀的UI測試。官網

• Selenium：為Web應用程序提供可移植軟體測試框架。官網

• Spock：JUnit-compatible framework featuring an expressive Groovy-derived specification language.官網兼容JUnit框架，支持衍生的Groovy范的語言。

• TestNG：測試框架。官網

• Truth：Google的斷言和命題（proposition）框架。官網

• Unitils：模塊化測試函數庫，支持單元測試和集成測試。官網

• WireMock：Web Service測試樁（Stub）和模擬函數。官網

通用工具庫

通用工具類函數庫。

• Apache Commons：提供各種用途的函數，比如配置、驗證、集合、文件上傳或XML處理等。官網

• args4j：命令行參數解析器。官網

• CRaSH：為運行進行提供CLI。官網

• Gephi：可視化跨平台網路圖形化操作程序。官網

• Guava：集合、緩存、支持基本類型、並發函數庫、通用註解、字元串處理、I/O等。官網

• JADE：構建、調試多租戶系統的框架和環境。官網

• javatuples：正如名字表示的那樣，提供tuple支持。盡管目前tuple的概念還有留有爭議。官網

• JCommander：命令行參數解析器。官網

• Protégé：提供存在論（ontology）編輯器以及構建知識系統的框架。官網

網路爬蟲

用於分析網站內容的函數庫。

• Apache Nutch：可用於生產環境的高度可擴展、可伸縮的網路爬蟲。官網

• Crawler4j：簡單的輕量級網路爬蟲。官網

• JSoup：刮取、解析、操作和清理HTML。官網

Web框架

用於處理Web應用程序不同層次間通訊的框架。

• Apache Tapestry：基於組件的框架，使用Java創建動態、強健的、高度可擴展的Web應用程序。官網

• Apache Wicket：基於組件的Web應用框架，與Tapestry類似帶有狀態顯示GUI。官網

• Google Web Toolkit：一組Web開發工具集，包含在客戶端將Java代碼轉為JavaScript的編譯器、XML解析器、RCP官網API、JUnit集成、國際化支持和GUI控制項。

• Grails：Groovy框架，旨在提供一個高效開發環境，使用約定而非配置、沒有XML並支持混入（mixin）。官網

• Ninja：Java全棧Web開發框架。非常穩固、快速和高效。官網

• Pippo：小型、高度模塊化的類Sinatra框架。官網

• Play：使用約定而非配置，支持代碼熱載入並在瀏覽器中顯示錯誤。官網

• PrimeFaces：JSF框架，提供免費和帶支持的商業版本。包括若干前端組件。官網

• Ratpack：一組Java開發函數庫，用於構建快速、高效、可擴展且測試完備的HTTP應用程序。官網

• Spring Boot：微框架，簡化了Spring新程序的開發過程。官網

• Spring：旨在簡化Java EE的開發過程，提供依賴注入相關組件並支持面向切面編程。官網

• Vaadin：基於GWT構建的事件驅動框架。使用服務端架構，客戶端使用Ajax。官網

• Blade：國人開發的一個輕量級的MVC框架. 它擁有簡潔的代碼，優雅的設計。官網

業務流程管理套件

流程驅動的軟體系統構建。

• jBPM：非常靈活的業務流程管理框架，致力於構建開發與業務分析人員之間的橋梁。官網

• Activity：輕量級工作流和業務流程管理框架。官網github

資源

社區

④ 如何查看elasticsearch版本

查看elasticsearch版本的方法：

1、elasticsearch已經啟動的情況下

使用curl-XGETlocalhost:9200命令查看：

"version":{

"number":"1.7.2",

"build_hash":"",

"build_timestamp":"2015-09-14T09:49:53Z",

"build_snapshot":false,

"lucene_version":"4.10.4"

}

在輸出的json中有版本信息version中的number-1.7.2即為其版本號。

2、在elasticsearch沒有啟動的情況下

通過在es的安裝目錄下的lib目錄中查看jar包來確定版本號：

lslib/|grep-P'elasticsearch-d.d.d.jar'

輸出elasticsearch-1.7.2.jar。

通過jar包可知es版本號為1.7.2

(4)elasticsearch源碼擴展閱讀

elasticsearch的特點

1、天然分片，天然集群

es把數據分成多個shard，下圖中的P0-P2，多個shard可以組成一份完整的數據，這些shard可以分布在集群中的各個機器節點中。隨著數據的不斷增加，集群可以增加多個分片，把多個分片放到多個機子上，已達到負載均衡，橫向擴展。

2、天然索引

ES 所有數據都是默認進行索引的，這點和mysql正好相反，mysql是默認不加索引，要加索引必須特別說明，ES只有不加索引才需要說明。

⑤ 什麼是Elasticsearch

ElasticSearch是一個基於Lucene的搜索伺服器。它提供了一個分布式多用戶能力的全文搜索引擎，基於RESTful web介面。Elasticsearch是用Java開發的，並作為Apache許可條款下的開放源碼發布，是第二最流行的企業搜索引擎。