pythonclusterby

㈠ 大型網站技術架構 核心原理與案例分析 有用么

編輯推薦
編輯
本書作者是阿里巴巴網站構建的親歷者，擁有核心技術部門的一線工作經驗，直接體驗了大型網站構建與發展過程中的種種生與死，蛻與變，見證了一個網站架構從幼稚走向成熟穩定的歷程。
沒有晦澀難懂的術語，沒有詰屈聱牙的文句，沒有故弄玄虛的觀點……
明明白白的語句，清清楚楚的文法，干凈利落的建議——讓讀者直接體會網站架構的緊要處，不容馬虎的關鍵點——這恰好是一個優秀的網站架構所必備的要素。
如果說「水不在深，有龍則靈」，那麼對於想了解網站架構的讀者而言，這本書恰好是「書不在多，有它則行！」
還猶豫什麼呢？

內容簡介
編輯
本書通過梳理大型網站技術發展歷程，剖析大型網站技術架構模式，深入講述大型互聯網架構設計的核心原理，並通過一組典型網站技術架構設計案例，為讀者呈現一幅包括技術選型、架構設計、性能優化、Web 安全、系統發布、運維監控等在內的大型網站開發全景視圖。
本書不僅適用於指導網站工程師、架構師進行網站技術架構設計，也可用於指導產品經理、項目經理、測試運維人員等了解網站技術架構的基礎概念；還可供包括企業系統開發人員在內的各類軟體開發從業人員借鑒，了解大型網站的解決方案和開發理念。

㈡ python 文本文件 格式轉換 行列 位置 調換

Step by step:

#!/usr/bin/envpython
#coding:utf-8

defgetLines(filename):
"""step1:readfromfileinto{"capture":..,"blocks":[..]}"""
withopen(filename)ashandle:
capture=handle.readline().strip()
handle.readline()#skip2line
handle.readline()
blocks=[[]]
forlninhandle:
ifnotln.strip():#emptylinebreakablock
blocks.append([])
else:
blocks[-1].append(ln.strip('
'))
returndict(
capture=capture,
blocks=blocks
)


defblockparser(block):
"""step2:parserablock:"""
rule=block[-1]
idx=rule.index('*')
rows=[(ln[:idx],ln[idx:])forlninblock[:-1]]
returnrows


forblockingetLines("file_in.txt")["blocks"]:
rows=blockparser(block)
printrows

㈢ 如何從Mysql遷移到MariaDB

本來 MariaDB 的描繪初衷之一即是徹底兼容 MySQL，包含 API 和客戶端協議，使之能輕松變成 MySQL 的代替品，所以由 MySQL 搬遷到MariaDB 基本上能夠稱之為「晉級」，就如同軟體晉級版別一樣。MariaDB 的技能文檔上是這樣寫的：
若是是一樣的根底版別（如5.5），能夠直接卸載 MySQL 然後裝置MariaDB，這樣就能夠用了。乃至不需求備份然後復原資料庫。當然，穩妥起見，晉級前將一切的資料庫都備份一下仍是十分有必要的，以防萬一。
若是MariaDB 的主版別高，在通過上面的卸載 MySQL 再裝置 MariaDB 操作之後，需求運用 mysql_upgrade晉級一下。是的，乃至連命令行都與運用 MySQL 的時分一樣。
一切原先的客戶端和連接器（php、Perl、Python、java等）都不需求做任何改動就能正常作業，由於 MariaDB 與 MySQL 運用的是一樣的客戶端協議，而且客戶端庫文件也是二進制兼容的。上面用 *來匹配刪去一切 mysql 數據包（包含因包依靠而刪去的別的包，如 postfix）。由於直接裝置的時分會呈現抵觸，例如：
file
/usr/share/mysql/ukrainian/errmsg.sys from install of
MariaDB-server-5.5.31-1.i686 conflicts with file from package
mysql-libs-5.5.32-1.el6.remi.i686
嗯，如同由於將 php-mysql 也給刪去了（實際上這個不應刪去的），所以phpMyAdmin 也由於依靠聯系而被刪去了，我沒仔細看。所以最佳不要用通配符 *，而是選擇性刪去幾個首要的，
# yum remove
mysql mysql-server mysql-libs
可是這個我沒有再測驗，由於後邊有非常好的辦法。
C. 然後裝置 MARIADB 及相應
PHP 拓展。
也是指定幾個首要的裝置包，剩餘的讓 yum 自個進行依靠聯系查看。
# yum install
MariaDB-server MariaDB-client php-mysql
或許不裝置 MariaDB-server
而改為具有同步多主群集特性（synchronous multi-master cluster）的 MariaDB Galera Cluster：

# yum install MariaDB-Galera-server MariaDB-client galera
這里對比搞笑的是，沒注意前面把
php-mysql 給卸載了，成果運轉資料庫之後拜訪 WordPress，成果遭受下面的過錯：
Your PHP installation appears
to be missing the MySQL extension which is required by WordPress.
D.
完結，修補
不論版別是不是晉級了，履行一下資料庫晉級指令總沒有害處：
# mysql_upgrade -p

看看資料庫版別是不是晉級了：
# mysql -u root -p -e 'show global variables like
"version";'
Enter password:
+---------------+----------------+

| Variable_name | Value |
+---------------+----------------+

| version | 5.5.31-MariaDB |
+---------------+----------------+

將 MariaDB 參加隨體系自發動列表，
# chkconfig --levels 345 mysql on
嗯，曾經
MySQL 的時分是 mysqld，現在是 mysql，就差了一個字母 d。
發動它，
# service mysql start

這個時分伺服器上的網站大概現已能夠正常作業了，拜訪資料庫沒有疑問。
若是有必要，裝置完 MariaDB 之後能夠重新裝置 postfix。若是發現
phpMyAdmin 提示無拜訪許可權了，那即是被卸載了，需求重新裝置和裝備 phpMyAdmin。
別的，由於之前進行了卸載操作，所以本來的 MySQL
和 phpMyAdmin 的裝備文件都被清除了，也需求重新裝備。特別是 MySQL 的裝備文件 /etc/my.cnf，由於 MariaDB
盡管創建了一個my.cnf.d 文件夾來存儲自個的裝備文件，可是它會首要載入 my.cnf，且本來 MySQL 的裝備的 [mysqld]
那一節的內容仍是有用的。
3. 較好的晉級辦法
仍是在上面介紹的體系裝備下，先增加 MariaDB 裝置源，然後直接履行體系晉級，
# yum
update --skip-broken
MariaDB 有關裝置包會被裝置，不需求的 MySQL
包將被卸載，而且晉級之後不需求對體系進行修補了。看看輸出的前面一部分：

==============================================================================================================

Package Arch Version Repository Size

==============================================================================================================

Installing:
MariaDB-Galera-server i686 5.5.29-1 mariadb 19 M

replacing mysql.i686 5.5.21-1.el6.remi
replacing
mysql-server.i686 5.5.21-1.el6.remi
MariaDB-server i686 5.5.31-1 mariadb
32 M
replacing mysql-server.i686 5.5.21-1.el6.remi

MariaDB-shared i686 5.5.31-1 mariadb 1.0 M
replacing
mysql-libs.i686 5.5.21-1.el6.remi
kernel i686 2.6.32-358.11.1.el6
updates 24 M
libjpeg-turbo i686 1.2.1-1.el6 base 176 k
replacing
libjpeg.i686 6b-46.el6
Updating:

㈣ 如何將MySQL的數據遷移到MariaDB裡面去

本來 MariaDB 的描繪初衷之一即是徹底兼容 MySQL，包含 API 和客戶端協議，使之能輕松變成 MySQL 的代替品，所以由 MySQL 搬遷到
MariaDB 基本上能夠稱之為「晉級」，就如同軟體晉級版別一樣。MariaDB 的技能文檔上是這樣寫的：
若是是一樣的根底版別（如
5.5），能夠直接卸載 MySQL 然後裝置
MariaDB，這樣就能夠用了。乃至不需求備份然後復原資料庫。當然，穩妥起見，晉級前將一切的資料庫都備份一下仍是十分有必要的，以防萬一。
若是
MariaDB 的主版別高，在通過上面的卸載 MySQL 再裝置 MariaDB 操作之後，需求運用 mysql_upgrade
晉級一下。是的，乃至連命令行都與運用 MySQL 的時分一樣。
一切原先的客戶端和連接器（PHP、Perl、Python、Java
等）都不需求做任何改動就能正常作業，由於 MariaDB 與 MySQL 運用的是一樣的客戶端協議，而且客戶端庫文件也是二進制兼容的。
上面用 *
來匹配刪去一切 mysql 數據包（包含因包依靠而刪去的別的包，如 postfix）。由於直接裝置的時分會呈現抵觸，例如：
file
/usr/share/mysql/ukrainian/errmsg.sys from install of
MariaDB-server-5.5.31-1.i686 conflicts with file from package
mysql-libs-5.5.32-1.el6.remi.i686
嗯，如同由於將 php-mysql 也給刪去了（實際上這個不應刪去的），所以
phpMyAdmin 也由於依靠聯系而被刪去了，我沒仔細看。
所以最佳不要用通配符 *，而是選擇性刪去幾個首要的，
# yum remove
mysql mysql-server mysql-libs
可是這個我沒有再測驗，由於後邊有非常好的辦法。
C. 然後裝置 MARIADB 及相應
PHP 拓展。
也是指定幾個首要的裝置包，剩餘的讓 yum 自個進行依靠聯系查看。
# yum install
MariaDB-server MariaDB-client php-mysql
或許不裝置 MariaDB-server
而改為具有同步多主群集特性（synchronous multi-master cluster）的 MariaDB Galera Cluster：

# yum install MariaDB-Galera-server MariaDB-client galera
這里對比搞笑的是，沒注意前面把
php-mysql 給卸載了，成果運轉資料庫之後拜訪 WordPress，成果遭受下面的過錯：
Your PHP installation appears
to be missing the MySQL extension which is required by WordPress.
D.
完結，修補
不論版別是不是晉級了，履行一下資料庫晉級指令總沒有害處：
# mysql_upgrade -p

看看資料庫版別是不是晉級了：
# mysql -u root -p -e 'show global variables like
"version";'
Enter password:
+---------------+----------------+

| Variable_name | Value |
+---------------+----------------+

| version | 5.5.31-MariaDB |
+---------------+----------------+

將 MariaDB 參加隨體系自發動列表，
# chkconfig --levels 345 mysql on
嗯，曾經
MySQL 的時分是 mysqld，現在是 mysql，就差了一個字母 d。
發動它，
# service mysql start

這個時分伺服器上的網站大概現已能夠正常作業了，拜訪資料庫沒有疑問。
若是有必要，裝置完 MariaDB 之後能夠重新裝置 postfix。若是發現
phpMyAdmin 提示無拜訪許可權了，那即是被卸載了，需求重新裝置和裝備 phpMyAdmin。
別的，由於之前進行了卸載操作，所以本來的 MySQL
和 phpMyAdmin 的裝備文件都被清除了，也需求重新裝備。特別是 MySQL 的裝備文件 /etc/my.cnf，由於 MariaDB
盡管創建了一個my.cnf.d 文件夾來存儲自個的裝備文件，可是它會首要載入 my.cnf，且本來 MySQL 的裝備的 [mysqld]
那一節的內容仍是有用的。
3. 較好的晉級辦法
仍是在上面介紹的體系裝備下，先增加 MariaDB 裝置源，然後直接履行體系晉級，
# yum
update --skip-broken
MariaDB 有關裝置包會被裝置，不需求的 MySQL
包將被卸載，而且晉級之後不需求對體系進行修補了。看看輸出的前面一部分：

==============================================================================================================

Package Arch Version Repository Size

==============================================================================================================

Installing:
MariaDB-Galera-server i686 5.5.29-1 mariadb 19 M

replacing mysql.i686 5.5.21-1.el6.remi
replacing
mysql-server.i686 5.5.21-1.el6.remi
MariaDB-server i686 5.5.31-1 mariadb
32 M
replacing mysql-server.i686 5.5.21-1.el6.remi

MariaDB-shared i686 5.5.31-1 mariadb 1.0 M
replacing
mysql-libs.i686 5.5.21-1.el6.remi
kernel i686 2.6.32-358.11.1.el6
updates 24 M
libjpeg-turbo i686 1.2.1-1.el6 base 176 k
replacing
libjpeg.i686 6b-46.el6
Updating:
.........
到這里才感覺到 MariaDB
的描繪思維那個無縫代替 MySQL 不是噱頭，而是實實在在的技能。所以我也就不急著給 VPS 晉級到 MariaDB 了，橫豎過不了多久 CentOS
就會選用 MariaDB，到時分再自然而然地搬遷吧。轉載

㈤ nlp和python有什麼關系

nlp的很多工具都有python版本
nlp是研究領域，python是語言工具。

㈥ 用python K值聚類識別圖片主要顏色的程序，演算法python代碼已經有了

難得被人求助一次, 這個必須回答一下. 不過你的需求確實沒有寫得太清楚. 根據k值演算法出來的是主要顏色有三個, 所以我把三個顏色都打在記事本里了. 如果和你的需求有誤, 請自行解決吧.

另外這里需要用到numpy的庫, 希望你裝了, 如果沒裝, 這個直接安裝也比較麻煩, 可以看一下portablepython的綠色版。

代碼如下：

#-*-coding:utf-8-*-
importImage
importrandom
importnumpy
classCluster(object):
def__init__(self):
self.pixels=[]
self.centroid=None
defaddPoint(self,pixel):
self.pixels.append(pixel)
defsetNewCentroid(self):
R=[colour[0]forcolourinself.pixels]
G=[colour[1]forcolourinself.pixels]
B=[colour[2]forcolourinself.pixels]
R=sum(R)/len(R)
G=sum(G)/len(G)
B=sum(B)/len(B)
self.centroid=(R,G,B)
self.pixels=[]
returnself.centroid
classKmeans(object):
def__init__(self,k=3,max_iterations=5,min_distance=5.0,size=200):
self.k=k
self.max_iterations=max_iterations
self.min_distance=min_distance
self.size=(size,size)
defrun(self,image):
self.image=image
self.image.thumbnail(self.size)
self.pixels=numpy.array(image.getdata(),dtype=numpy.uint8)
self.clusters=[Noneforiinrange(self.k)]
self.oldClusters=None
randomPixels=random.sample(self.pixels,self.k)
foridxinrange(self.k):
self.clusters[idx]=Cluster()
self.clusters[idx].centroid=randomPixels[idx]
iterations=0
whileself.shouldExit(iterations)isFalse:
self.oldClusters=[cluster.centroidforclusterinself.clusters]
printiterations
forpixelinself.pixels:
self.assignClusters(pixel)
forclusterinself.clusters:
cluster.setNewCentroid()
iterations+=1
return[cluster.centroidforclusterinself.clusters]
defassignClusters(self,pixel):
shortest=float('Inf')
forclusterinself.clusters:
distance=self.calcDistance(cluster.centroid,pixel)
ifdistance<shortest:
shortest=distance
nearest=cluster
nearest.addPoint(pixel)
defcalcDistance(self,a,b):
result=numpy.sqrt(sum((a-b)**2))
returnresult
defshouldExit(self,iterations):
ifself.oldClustersisNone:
returnFalse
foridxinrange(self.k):
dist=self.calcDistance(
numpy.array(self.clusters[idx].centroid),
numpy.array(self.oldClusters[idx])
)
ifdist<self.min_distance:
returnTrue
ifiterations<=self.max_iterations:
returnFalse
returnTrue
#############################################
#
defshowImage(self):
self.image.show()
defshowCentroidColours(self):
forclusterinself.clusters:
image=Image.new("RGB",(200,200),cluster.centroid)
image.show()
defshowClustering(self):
localPixels=[None]*len(self.image.getdata())
foridx,pixelinenumerate(self.pixels):
shortest=float('Inf')
forclusterinself.clusters:
distance=self.calcDistance(
cluster.centroid,
pixel
)
ifdistance<shortest:
shortest=distance
nearest=cluster
localPixels[idx]=nearest.centroid
w,h=self.image.size
localPixels=numpy.asarray(localPixels)
.astype('uint8')
.reshape((h,w,3))
colourMap=Image.fromarray(localPixels)
colourMap.show()

if__name__=="__main__":
fromPILimportImage
importos

k_image=Kmeans()
path=r'.\pics\'
fp=open('file_color.txt','w')
forfilenameinos.listdir(path):
printpath+filename
try:
color=k_image.run(Image.open(path+filename))
fp.write('Thecolorof'+filename+'is'+str(color)+'
')
except:
print"Thisfileformatisnotsupport"
fp.close()

㈦ Hive是什麼

此外，hive也支持熟悉map-rece的開發者使用map-rece程序對數據做更加復雜的分析。 hive可以很好的結合thrift和控制分隔符，也支持用戶自定義分隔符。 hive基於hadoop，hadoop是批處理系統，不能保存低延遲，因此，hive的查詢也不能保證低延遲。 hive的工作模式是：提交一個任務，等到任務結束時被通知，而不是實時查詢。相對應的是，類似於Oracle這樣的系統當運行於小數據集的時候，響應非常快，可當處理的數據集非常大的時候，可能需要數小時。需要說明的是，hive即使在很小的數據集上運行，也可能需要數分鍾才能完成。 低延遲不是hive追求的首要目標。

㈧ 急需 JK羅琳的簡介

JK羅琳的簡介是：

J.K.羅琳，1965年7月31日出生於英國格溫特郡，畢業於英國埃克塞特大學。

1989年，24歲的羅琳有了創作哈利·波特的念頭。

1997年6月，推出哈利·波特系列第一本《哈利·波特與魔法石》。

隨後，羅琳又分別於1998年與1999年創作了《哈利·波特與密室》和《哈利·波特與阿茲卡班的囚徒》。

2001年，美國華納兄弟電影公司決定將小說的第一部《哈利·波特與魔法石》搬上銀幕。

2003年6月，她再創作出第五部作品《哈利·波特與鳳凰社》。

2004年，羅琳榮登《福布斯》富人排行榜，她的身價達到10億美元。

2005年7月推出了第六部《哈利·波特與混血王子》，2007年7月推出終結篇《哈利·波特與死亡聖器》。

2010年，哈利·波特電影系列的完結篇《哈利·波特與死亡聖器》拍攝完成。

2014年12月，羅琳更新了《哈利·波特》系列相關的小故事。

2017年6月12日，美國《福布斯》公布了2017年度全球百位名人榜，J.K.羅琳排名第三。

2017年12月12日，J·K·羅琳被英國皇室授予「榮譽勛爵」。

2020年3月16日，J.K.羅琳以75億元財富位列《2020胡潤全球白手起家女富豪榜》第87位。

2020年4月6日，J·K·羅琳表示自己曾出現新型冠狀病毒肺炎症狀，已經完全康復。

J.K.羅琳的人物評價：

羅琳小時候是個戴眼鏡的相貌平平的女孩，熱愛學習，有點害羞，從小喜歡寫作和講故事。作為一個單身母親，剛開始哈利叢書的創作時。羅琳母女的生活極其艱辛。她的第一本書《哈利·波特與魔法石》前後共寫了5年，羅琳因為自家的屋子又小又冷，時常到住家附近的一家咖啡館里。

故事完成後，羅琳多次寄出書稿均遭到拒絕。不過，她的努力終於得到了回報。在一所小印刷商Bloomsbury接下印刷權後，一出版便備受矚目，好評如潮，其中包括英國國家圖書獎兒童小說獎，以及斯馬蒂圖書金獎章獎，她的生活發生天翻地覆地變化。

她被稱為「哈利·波特之母」，以天才的想像力孕育了風靡全球的小魔法師哈利·波特，她也從一個貧困潦倒、默默無聞的「灰姑娘」，一躍成為盡享尊榮、財產超過英國女王的作家首富。

㈨ udaf可以用python寫嗎

Java來實現Hive的寫法

package jsl.hive.udf;

import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.Text;

public final class DomainRoot extends UDF {
public Text evaluate(Text s) {
if (s == null) {return null;}
String tmp = s.toString();
tmp = this.getDomainRoot(tmp);
return new Text(tmp);
}

private String getDomainRoot(String domain) {
throw NoneImplementException("xxxx");
}
}

如果Java的UDF需要當成常用的，不用每次add可以注冊到Hive中，
ql/src/java/org/apache/hadoop/hive/ql/exec/FunctionRegistry.java中加入
registerUDF("domain_root", UDFParseUrl.class, false);並重新編譯hive即可

下面來說說重點，通過Streaming用Python來寫處理。
關於Streaming的基礎內容：

約束：首先必須add file到hive中（當python中引用了其他如自己寫的模塊時，也需要一並add進去）
其次非常不幸,在單獨的一個查詢中，不能夠使用UDAF的函數如sum()
再次不得為中間結果數據使用cluster by或distribute by

注意：對於優化查詢，使用cluster by或distribute by 和sort by一起非常重要

㈩ 如何用Python和機器學習炒股賺錢

相信很多人都想過讓人工智慧來幫你賺錢，但到底該如何做呢？瑞士日內瓦的一位金融數據顧問 Gaëtan Rickter 近日發表文章介紹了他利用 Python 和機器學習來幫助炒股的經驗，其最終成果的收益率跑贏了長期處於牛市的標准普爾 500 指數。雖然這篇文章並沒有將他的方法完全徹底公開，但已公開的內容或許能給我們帶來如何用人工智慧炒股的啟迪。

我終於跑贏了標准普爾 500 指數 10 個百分點！聽起來可能不是很多，但是當我們處理的是大量流動性很高的資本時，對沖基金的利潤就相當可觀。更激進的做法還能得到更高的回報。

這一切都始於我閱讀了 Gur Huberman 的一篇題為《Contagious Speculation and a Cure for Cancer: A Non-Event that Made Stock Prices Soar》的論文。該研究描述了一件發生在 1998 年的涉及到一家上市公司 EntreMed（當時股票代碼是 ENMD）的事件：

「星期天《紐約時報》上發表的一篇關於癌症治療新葯開發潛力的文章導致 EntreMed 的股價從周五收盤時的 12.063 飆升至 85，在周一收盤時接近 52。在接下來的三周，它的收盤價都在 30 以上。這股投資熱情也讓其它生物科技股得到了溢價。但是，這個癌症研究方面的可能突破在至少五個月前就已經被 Nature 期刊和各種流行的報紙報道過了，其中甚至包括《泰晤士報》！因此，僅僅是熱情的公眾關注就能引發股價的持續上漲，即便實際上並沒有出現真正的新信息。」

在研究者給出的許多有見地的觀察中，其中有一個總結很突出：

「（股價）運動可能會集中於有一些共同之處的股票上，但這些共同之處不一定要是經濟基礎。」

我就想，能不能基於通常所用的指標之外的其它指標來劃分股票。我開始在資料庫裡面挖掘，幾周之後我發現了一個，其包含了一個分數，描述了股票和元素周期表中的元素之間的「已知和隱藏關系」的強度。

我有計算基因組學的背景，這讓我想起了基因和它們的細胞信號網路之間的關系是如何地不為人所知。但是，當我們分析數據時，我們又會開始看到我們之前可能無法預測的新關系和相關性。

如果你使用機器學習，就可能在具有已知和隱藏關系的上市公司的寄生、共生和共情關系之上搶佔先機，這是很有趣而且可以盈利的。最後，一個人的盈利能力似乎完全關乎他在生成這些類別的數據時想出特徵標簽（即概念（concept））的強大組合的能力。

我在這類模型上的下一次迭代應該會包含一個用於自動生成特徵組合或獨特列表的單獨演算法。也許會基於近乎實時的事件，這可能會影響那些具有隻有配備了無監督學習演算法的人類才能預測的隱藏關系的股票組。