遺傳演算法分簇

A. 大數據分析需要哪些工具

稍微整理了下常用到的大數據分析工具，看下能不能幫到你
1.專業的大數據分析工具
2.各種Python數據可視化第三方庫
3.其它語言的數據可視化框架
一、專業的大數據分析工具
1、FineReport
FineReport是一款純java編寫的、集數據展示(報表)和數據錄入(表單)功能於一身的企業級web報表工具，只需要簡單的拖拽操作便可以設計復雜的中國式報表，搭建數據決策分析系統。
2、FineBI
FineBI是新一代自助大數據分析的商業智能產品，提供了從數據准備、自助數據處理、數據分析與挖掘、數據可視化於一體的完整解決方案，也是我比較推崇的可視化工具之一。
FineBI的使用感同Tableau類似，都主張可視化的探索性分析，有點像加強版的數據透視表。上手簡單，可視化庫豐富。可以充當數據報表的門戶，也可以充當各業務分析的平台。
二、Python的數據可視化第三方庫
Python正慢慢地成為數據分析、數據挖掘領域的主流語言之一。在Python的生態里，很多開發者們提供了非常豐富的、用於各種場景的數據可視化第三方庫。這些第三方庫可以讓我們結合Python語言繪制出漂亮的圖表。
1、pyecharts
Echarts(下面會提到)是一個開源免費的javascript數據可視化庫，它讓我們可以輕松地繪制專業的商業數據圖表。當Python遇上了Echarts，pyecharts便誕生了，它是由chenjiandongx等一群開發者維護的Echarts Python介面，讓我們可以通過Python語言繪制出各種Echarts圖表。
2、Bokeh
Bokeh是一款基於Python的互動式數據可視化工具，它提供了優雅簡潔的方法來繪制各種各樣的圖形，可以高性能地可視化大型數據集以及流數據，幫助我們製作互動式圖表、可視化儀錶板等。
三、其他數據可視化工具
1、Echarts
前面說過了，Echarts是一個開源免費的javascript數據可視化庫，它讓我們可以輕松地繪制專業的商業數據圖表。
大家都知道去年春節以及近期央視大規劃報道的網路大數據產品，如網路遷徙、網路司南、網路大數據預測等等，這些產品的數據可視化均是通過ECharts來實現的。
2、D3
D3（Data Driven Documents）是支持SVG渲染的另一種JavaScript庫。但是D3能夠提供大量線性圖和條形圖之外的復雜圖表樣式，例如Voronoi圖、樹形圖、圓形集群和單詞雲等。

B. 數據挖掘技術在客戶關系管理中的應用

數據挖掘技術在客戶關系管理中的應用

隨著計算機技術、網路技術、通訊技術和Internet技術的發展，電子商務中 企業內部會產生了大量業務數據，如何從豐富的客戶數據中挖掘有價值的信息，為企業管理者提供有效的輔助決策，是企業真正關心的問題。其中，客戶分類是分析 型客戶關系管理的重要功能之一。通過客戶分類，區分客戶的霞要程度，並針對不同霞要級別的客戶制定專門的營銷方案和客戶關系管理策略，可以幫助企業降低營 銷成本，提高利潤和企業競爭力。客戶也可從食業制定的專門的營銷方案和客戶關系管理策略中獲得適合的交易體驗。數據挖掘是分析型CRM實現其「分析」功能 的必要手段，也是實現客戶分類的有效工具。
1 客戶關系管理(CRM)
CRM(Customer Relation Managemen)是一種旨在改善企業與客戶之間關系的新型管理機制，它實施於企業的市場營銷、銷售、服務與技術支持等領域，它的目標是提供更優質、更快捷的服務吸引並保持客戶，通過業務流程的全面管理降低倉業成本。
在電子商務環 境下，CRM使網站企業在所有的業務環節下更好地滿足客戶需求以及提供更優質的服務，從而使站點企業在這種不存在時空差異的新型商務環境中保留現有客戶和 發掘潛在客戶。以提高市場競爭力。同時CRM又可以提供客戶需求、市場分布、回饋信息等重要信息，為企業和經營活動提供智能化分析的依據，因此，CRM為 企業帶來了成功實現電子商務的基礎。
個性化服務是增強競爭力的有力武器，CRM就是以客戶為中心並為客戶提供最合適的服務。互聯網成為 實施客戶關系管理應用的理想渠道，記住顧客的名字及他們的偏好，根據顧客的不同而提供不同內容，顧客再次光顧的可能性會大大增加。CRM可以增加客戶忠誠 度，提高購買比率，使每個顧客產生更多的購買需求，及更長時間的需求，並提高顧客滿意度。
2 數據挖掘技術
如何對這些海量的數據進行分析發現，為商業決策提供有價值的信息，使企業獲得利潤，強有力的工具就是數據挖掘。
在分析型CRM系統中，數據挖掘是其中的核心技術，數據挖掘是從大量的數據中，抽取出潛在的、有價值的知識、模型或規則的過程。對於企業而言，數據挖掘 可以有助於發現業務發展的趨勢，揭示已知的事實，預測未知的結果，並幫助企業分析出完成任務所需的關鍵因素，以達到增加收入、降低成本，使企業處於更有利 的競爭位置的目的。
2.1 數據挖掘常用的演算法
(1)決策樹(decision tree)決策演算法。決策樹是一個類似於流程圖的樹結構。其中每個內部節點表示在一個屬性上的測試，每個分枝代表一個測試輸出，而每個樹葉節點代表類或類 分布。決策樹演算法包括樹的構造和樹的剪枝，有兩種常用的剪枝方法：先剪枝和後剪枝。
(2)神經網路(Neural Network)。神經網路是一組連接的輸入，輸出單元，其中每個連接都與一個權相連，在學習階段，通過調整神經網路的權，使得能夠預測輸入樣本的正確類標號來學習。
(3)遺傳演算法(Genetic Algorithms)。遺傳演算法根據適者生存的原則，形成由當前群體巾最適合的規則組成新的群體，以及這些規則的後代。遺傳演算法用於分類和其他優化問題。
(4)粗糙集方法。粗糙集方法基於給定訓練數據內部的等價類的建立。它將知識理解為對數據的劃分，每一被劃分的集合稱為概念，利用已知的知識庫來處理或刻臧不精確或不確定的知識。粗糙集用於特徵歸約和相關分析。
(5)模糊集方法。基於規則的分類系統有一個缺點：對於連續屬性，他們有陡峭的截斷。將模糊邏輯引入，允許定義「模糊」邊界，提供了在高抽象層處理的便利。
其它還有貝葉斯網路、可視化技術、臨近搜索方法和公式發現等方法。
2.2 數據挖掘常用的分析方法
(1)分類和預測。主要用於客戶細分(分群)處理，如價值客戶群的分級，分類和預測是兩種數據分析形式，可以用於提取描述重要數據類的模型或預測未來的 數姑趨勢。數據分類(data elassfication)是一個兩步過程，第一步，建立一個模型，描述預定的數據類集或概念集，通過分析有屬性描述的資料庫元組來構造模型。第二步， 使用模型進行分類。首先評估模犁的預測准確率，如果認為模型的准確率可以接受，就可以用來對類標號未知的數據遠祖或對象進行分類。
預測 技術，主要用於對客戶未來行為的發現，如客戶流失分析中，用神經元網路方法學習各種客戶流失前的行為變化，進而預測(預警)可能出現的存價值客戶的流失。 預測足構造和使用模型評估無標號樣本類，或評估給定樣本可能具有的屬性值或值區間。分類和預測具有廣泛的應用，如信譽證實、醫療診斷、性能預測和選擇購 物。分類和預測常用的演算法包括決策樹歸納、貝葉斯分類、貝葉斯網路、神經網路、K-最臨近分類、遺傳演算法、粗糙集和模糊集技術。
(2) 聚類分析。聚類是將數據對象分組成為多個類或簇(cluster)，在同一個簇中的對象之同具有較高的相似度，而不周簇中的對象差別較大。作為統計學的一 個分支，聚類分析已被廣泛的研究了許多年，現在主要集中在基於距離的聚類分析，基於k-means(k-平均值)、k-medoids(k-中心點)和其 他的一些聚類分析工具也有不少的應用。
(3)關聯規則。關聯規則挖掘給定數據集中項之間的有趣聯系。設I＝{i1，i2，…im}是項 的集合，任務相關的數據D是資料庫事務的集合，其中每個事務T是項的集合，使得T包含於I。關聯規則是形如A=>B的蘊涵式，其中A∈I，B∈I， 並且A∩B為空。關聯規則的挖掘分成兩步：①找出所有頻繁項集，這些項集出現的頻繁性至少和預定義的最小支持計數一樣。②由頻繁項集產生強關聯規則。這些 規則必須滿足最小支持度和最小置信度。
(4)序列模式。序列模式分析和關聯規則分析類似，也是為了挖掘數據項之間的聯系，不過序列模式分析的是數據項在時間維上的先後序列關系，如一個顧客在購買了計算機半年後可能再購買財務分析軟體。
(5)孤立點分析。孤立點是度量錯誤或固有的數據變異性的結果。許多數據挖掘演算法都試圖使孤立點的影響最小，或排除它們。一個人的雜訊可能是另一個人的 信號，在有些時候。孤立點是非常有用的。孤立點挖掘可以描述如下：給定一個n個數據點或對象的集合，以及預期的孤立點的數目k，發現與剩餘的數據相比是顯 著相異的或不一致的頭k個對象。孤立點探測方法可分為三類：統計學方法，基於距離的方法和基於偏移的方法。
3 應用方法
3.1 了解業務
最初的階段，著眼於了解業務特點，並把它還原成為數據分析的條件和參數。例如：在零售行業中，我們的第一個步驟是了解客戶購買的頻率，購買頻率和每次消費金額之間是否有明顯的相關關系。
3.2 分析數據
這個階段著眼於對現有的數據進行規整。我們發現，在不少行業中，可分析的數據和前面提出的分析目標是不匹配的。例如：消費者的月收入水平可能與許多購買 行為相關，但是，原始的數據積累中卻不一定具備這螳數據。對這一問題的解決方法是從其它的相關數據中進行推理，例如，通過抽樣調查，我們發現，一次性購買 大量衛生紙的客戶，其月收入水平集中在1000-3000RMB的檔次，如果這一結論基本成立。我們可以從消費習慣中推理出現有客戶有多大的百分比是月收 入水平在這個檔次中的；另外，可以根據抽樣調查的方法。在問卷調查的基礎上推理整個樣本人群的收入水平曲線。
3.3 數據准備
這個階段的著眼點是轉換、清理和導入數據，可能從多個數據源抽取並加以組合，以形成data cube。對於缺失的少量數據，是用均值補齊，還是忽略，還是按照現有樣本分配，這是在這個階段需要處理的問題之一。
3.4 建模
現在已經有各種各樣的模型方法可以利用。讓最好的一種應用於我們要著眼的主要問題中。是這個階段的主要任務。例如，對於利潤的預測是否應當採用回歸方式預測，預測的基礎是什麼等，這些問題需要行業專家和數據分析專家協商並達成共識。
3.5 評估與應用
優秀的評估方法是利用不同的時間段，讓系統對已經發生的消費情況進行預測，然後比較預測結果和實際狀況，這樣模型的評估就容易進行了。完成了上述的步驟 之後，多數的分析工具都支持保存並重復應用已經建立起來的模型。更為重要的是，在這個過程中，對數據分析的方法和知識應當已經由客戶方的市場分析人員或決 策者所了解，我們提供的，不僅僅是最終結果，而且是獲得這一結果的方法。「要把金針度與人」正是TurboCRM咨詢服務不同於單純的軟體提供商的區別所 在。
最後，在軟體架構方面，分析資料庫與運營資料庫應當是分離的，避免影響運營資料庫在操作方面的的實時響應速度。
4 結束語
數據挖掘可以把大量的客戶分成不同的類，在每個類里的客戶擁有相似的屬性，而不同類里的客戶的屬性也不同，可以給這兩類客戶提供完全不同的服務來提高客戶的滿意度，細致而切實可行的客戶分類對企業的經營策略有很大益處。

C. 什麼是進化計算它包括哪些內容它們的出發點是什麼

1、准確的說應該叫進化演算法或演化演算法。是一個「演算法簇」，盡管它有很多的變化，有不同的遺傳基因表達方式，不同的交叉和變異運算元，特殊運算元的引用，以及不同的再生和選擇方法。與傳統的基於微積分的方法和窮舉法等優化演算法相比，進化計算是一種成熟的具有高魯棒性和廣泛適用性的全局優化方法，具有自組織、自適應、自學習的特性，能夠不受問題性質的限制，有效地處理傳統優化演算法難以解決的復雜問題。

2、進化演算法內容包括遺傳演算法(Genetic Algorithms)、遺傳規劃（Genetic Programming）、進化策略(Evolution Strategies)和進化規劃(Evolution Programming)等等。進化演算法的基本框架還是簡單遺傳演算法所描述的框架，但在進化的方式上有較大的差異，選擇、交叉、變異、種群控制等有很多變化。

3、它們產生的出發點（或者說靈感）都來自於大自然的生物進化。

D. 進化演算法入門讀書筆記（一）

這里我參考學習的書籍是：

《進化計算的理論和方法》，王宇平，科學出版社

《進化優化演算法：基於仿生和種群的計算機智能方法》，[美]丹·西蒙，清華大學出版社。

進化演算法是 求解優化問題 的一種演算法，它是 模仿生物進化與遺傳原理 而設計的一類隨機搜索的優化演算法。

不同的作者稱進化演算法有不同的術語，以下。註：這里僅列舉出了我自己比較容易混淆的一些，並未全部列出。

進化計算： 這樣能強調演算法需要在 計算機上 實施，但進化計算也可能指不用於優化的演算法（最初的遺傳演算法並不是用於優化本身，而是想用來研究自然選擇的過程）。因此，進化優化演算法比進化計算更具體。

基於種群的優化： 它強調進化演算法一般是讓問題的候選解 種群 隨著時間的進化以得到問題的更好的解。然而許多進化演算法每次迭代只有單個候選解。因此，進化演算法比基於種群的優化更一般化。

計算機智能/計算智能： 這樣做常常是為了區分進化演算法與專家系統，在傳統上專家系統一直被稱為人工智慧。專家系統模仿演繹推理，進化演算法則模仿歸納推理。進化演算法有時候也被看成是人工智慧的一種。計算機智能是比進化演算法更一般的詞，它包括神經計算、模糊系統、人工生命這樣的一些技術，這些技術可應用於優化之外的問題。因此，進化計算可能比計算機智能更一般化或更具體。

由自然啟發的計算/仿生計算： 像差分進化和分布估計演算法這些進化演算法可能並非源於自然，像進化策略和反向學習這些進化演算法與自然過程聯系甚微。因此，進化演算法比由自然啟發的演算法更一般化，因為進化演算法包括非仿生演算法。

機器學習： 機器學習研究由經驗學到的計算機演算法，它還包括很多不是進化計算的演算法，如強化學習、神經網路、分簇、SVM等等。因此，機器學習比進化演算法更廣。

群智能演算法： 一些人認為群智能演算法應與進化演算法區分開，一些人認為群智能演算法是進化演算法的一個子集。因為群智能演算法與進化演算法有相同的執行方式，即，每次迭代都改進問題的候選解的性能從而讓解的種群進化。因此，我們認為群智能演算法是一種進化演算法。

進化演算法的簡單定義可能並不完美。在進化演算法領域術語的不統一會讓人困惑，一個演算法是進化演算法如果它通常被認為是進化演算法，這個戲謔的、循環的定義一開始有些麻煩，但是一段時間後，這個領域工作的人就會習慣了。

優化幾乎適用於生活中的所有領域。除了對如計算器做加法運算這種過於簡單的問題，不必用進化演算法的軟體，因為有更簡單有效的演算法。此外對於每個復雜的問題，至少應該考慮採用進化演算法。

一個優化野兆問題可以寫成最小化問題或最大化問題，這兩個問題在形式上很容易互相轉化：

函數 被稱為目標函數，向量 被稱為獨立變數，或決策變數。我們稱 中元素的個數為問題的維數。

優化問題常常帶有約束。即在最小化某個函數 時，對 可取的值加上約束。不舉例。

實際的優化問題不僅帶有約束，還有多個目標。這意味著我們想要同時最小化不止一個量。

例子：

這里評估這個問題的一種方式是繪制 作為函數 的函數的圖：

如圖，對在實線上的 的值，找不到能同時使 和 減小的 的其他值，此實線被稱為 帕累托前沿 ，而相應的 的值的集合被稱為帕累托集。（此處的帕累托最優問題十分重要，可以參考這個鏈接來學習和理解： 多目標優化之帕累托最優 - 知乎 ，非常清晰易懂。）

該例子是一個非常簡單的多目標優化問題，它只有兩個目標。實際的優化問題通常涉及兩個以上的模目標，因此很難得到它的帕累托前沿，由於它是高維的，我們也無法將它可視化。後面的章節將會仔細討論多目標進化優化。

多峰優化問題是指問題不止一個局部最小值。上例中的 就有兩個局部最小值，處理起來很容易，有些問題有很多局部最小值，找出其中的全局最小值就頗具挑戰性。

對於前面的簡單例子，我們能用圖形的方法或微積分的方法求解，但是許豎隱多實際問題除了有更多獨立變數、多目標，以及帶約束之外更像上面的Ackley函數這樣，對於這類問題，基於微積分或圖形的方法就不夠用了，而進化演算法卻能給出更好的結果。

到現在為余脊廳止我們考慮的都是連續優化問題，也就是說，允許獨立變數連續地變化。但有許多優化問題中的獨立變數智能在一個離散集合上取值。這類問題被稱為組合優化問題。如旅行商問題。

對於有 個城市的旅行商問題，有 個可能的解。對於一些過大的問題，硬算的方法不可行，像旅行商這樣的組合問題沒有連續的獨立變數，因此不能利用導數求解。除非對每個可能的解都試一遍，不然就無法確定所得到的組合問題的解是否就是最好的解。進化演算法對這類大規模、多維的問題，它至少能幫我們找出一個好的解（不一定是最好的）。

E. tSp Concorder演算法原理

tsp問題遺傳演算法將多目標按照線性加權的方式轉化為單目標，然後應用傳統遺傳演算法求解
其中w_i表示第i個目標的權重，f_k表示歸一化之後的第i個目標值。我們很容易知道，這類方法的關鍵是怎麼設計權重。比如，Random Weight Genetic Algorithm (RWGA) 採用隨機權重的方式，每次計算適應度都對所有個體隨機地產生不同目標的權重，然後進行選擇操作。Vector-Evaluated Genetic Algorithm (VEGA) 也是基於線性加權的多目標遺傳演算法。如果有K個目標，VEGA 會隨機地將種群分為K個同等大小子種群，在不同的子種群按照不同的目標函數設定目標值，然後再進行選擇操作。VEGA 實質上是基於線性加權的多目標遺傳演算法。VEGA 是第一個多目標遺傳演算法，開啟了十幾年的研究潮流。
1.TSP問題是指假設有一個旅行商人要拜訪n個城市，他必須選擇所要走的路徑，路徑的限制是每個城市只能拜訪一次，而且最後要回到原來出發的城市。路徑的選擇目標是要求得的路徑路程為所有路徑之中的最小值。本文使用遺傳演算法解決att30問題，即30個城市的旅行商問題。旅行商問題是一個經典的組合優化問題。一個經典的旅行商問題可以描述為：一個商品推銷員要去若干個城市推銷商品，該推銷員從一個城市出發，需要經過所有城市後，回到出發地。應如何選擇行進路線，以使總的行程最短。從圖論的角度來看，該問題實質是在一個帶權完全無向圖中，找一個權值最小的Hamilton迴路。由於該問題的可行解是所有頂點的全排列，隨著頂點數的增加，會產生組合爆炸，它是一個NP完全問題。TSP問題可以分為對稱和不對稱。在對稱TSP問題中，兩座城市之間來回的距離是相等的，形成一個無向圖，而不對稱TSP則形成有向圖。對稱性TSP問題可以將解的數量減少了一半。所以本次實驗的TSP問題使用att48數據，可在tsplib中下載數據包。演化演算法是一類模擬自然界遺傳進化規律的仿生學演算法，它不是一個具體的演算法，而是一個演算法簇。遺傳演算法是演化演算法的一個分支，由於遺傳演算法的整體搜索策略和優化計算是不依賴梯度信息，所以它的應用比較廣泛。我們本次實驗同樣用到了遺傳演算法（用MATLAB編寫）來解決TSP問題。