python的reduce

① python三個重要的內置函數(map, filter,rece)-

map函數第一個參數是一個函數function，第二個參數是一個可迭代的對象iterable，他的功能是將可迭代對象iterable裡面的每一項都應用到函數function中，然後返回一個迭代器。

可迭代器裡面有多少個元素則結果就包含多少個元素

filter() 函數用於過濾序列，過濾掉不符合條件的元素，返回由符合條件元素組成的新列表。

該接收兩個參數，第一個為函數，第二個為序列，序列的每個元素作為參數傳遞給函數進行判斷，然後返回 True 或 False，最後將返回 True 的元素放到新列表中。

rece() 函數會對參數序列中元素進行累積。

函數將一個數據集合（鏈表，元組等）中的所有數據進行下列操作：用傳給 rece 中的函數 function（有兩個參數）先對集合中的第 1、2 個元素進行操作，得到的結果再與第三個數據用 function 函數運算，最後得到一個結果。

② 如何使用Python為Hadoop編寫一個簡單的MapRece程序

我們將編寫一個簡槐迅單的 MapRece 程序，使用的是C-Python，而不是Jython編寫後打包成jar包的程序。
我們的這個例子將模仿 WordCount 並使用Python來實現，例子通過讀取文本文件來統計出單詞的出現次數。結果也以文本形式輸出，每一陵此行包含一個單詞和單尺明迅詞出現的次數，兩者中間使用製表符來想間隔。

先決條件

編寫這個程序之前，你學要架設好Hadoop 集群，這樣才能不會在後期工作抓瞎。如果你沒有架設好，那麼在後面有個簡明教程來教你在Ubuntu linux 上搭建（同樣適用於其他發行版linux、unix）

如何使用Hadoop Distributed File System (HDFS)在Ubuntu Linux 建立單節點的 Hadoop 集群

如何使用Hadoop Distributed File System (HDFS)在Ubuntu Linux 建立多節點的 Hadoop 集群

Python的MapRece代碼

使用Python編寫MapRece代碼的技巧就在於我們使用了 HadoopStreaming 來幫助我們在Map 和 Rece間傳遞數據通過STDIN (標准輸入)和STDOUT (標准輸出).我們僅僅使用Python的sys.stdin來輸入數據，使用sys.stdout輸出數據，這樣做是因為HadoopStreaming會幫我們辦好其他事。這是真的，別不相信！

③ 用python3，用戶輸入的一組數字求和:樣例輸入:1,3,5,7,9;樣例輸出:25

M=int(input("請輸入攔阻索已使用天數M:"))
N=int(input("請輸入攔阻索使用次數上限N:"))
a=list(map(int,input("請依次輸入%d天內每天的拉鉤次數（用空格分隔):"%N).split("")))
n=sum(a)
s=N-n
if s<0:
print("您輸入的數據有誤，請確認後重新輸入!")
else:
print("攔阻索剩餘使用次數為:%d"%s)

a=list(map(int,input("請依次輸入各學員的成績，成績間用逗號間隔:").split(",")))
b=input("請輸入排序類型，升序為asce，降序為desc:")
if b=="asce":
a.sort()
print("按降序排列的成績為:{}".format(a))
elif a=="desc":
a.sort()
a.reverse()
print("按降序排列的成績為:{}".format(a))

④ 如何使用Python為Hadoop編寫一個簡單的MapRece程序

MichaelG.Noll在他的Blog中提到如何在Hadoop中用Python編寫MapRece程序，韓國的gogamza在其Bolg中也提到如何用C編汪瞎寫MapRece程序（我稍微修改了一下原程序,因為他的Map對單詞切分使用tab鍵）。我合並他們兩人的文章，也讓國內的Hadoop用戶能夠使用別的語言來編寫MapRece程序。首先您得配好您的Hadoop集群，這方面的介紹網上比較多，這兒給個鏈接（Hadoop學習筆記二安裝部署）。HadoopStreaming幫助返鋒我們用非Java的編程語言使用MapRece，Streaming用STDIN(標准輸入)和STDOUT(標准輸出)來和我們編寫的Map和Rece進行數據的交換數據。任何能夠使用STDIN和STDOUT都可以用來編寫MapRece程序，比如我們用Python的sys.stdin和sys.stdout，或者是C中的stdin和stdout。我們還是使用Hadoop的例子WordCount來做示範如何編寫MapRece，在WordCount的例子中漏陵晌我們要解決計算在一批文檔中每一個單詞的出現頻率。首先我們在Map程序中會接受到這批文檔每一行的數據，然後我們編寫的Map程序把這一行按空格切開成一個數組。並對這個數組遍歷按"1"用標準的輸出輸出來，代表這個單詞出現了一次。在Rece中我們來統計單詞的出現頻率。PythonCodeMap:mapper.py#!/usr/bin/envpythonimportsys#={}#inputcomesfromSTDIN(standardinput)forlineinsys.stdin:#=line.strip()#=filter(lambdaword:word,line.split())#:#writetheresultstoSTDOUT(standardoutput);##Recestep,i.e.theinputforrecer.py##tab-delimited;thetrivialwordcountis1print'%s\t%s'%(word,1)Rece:recer.py#!/usr/bin/#={}#.stdin:#=line.strip()#parsetheinputwegotfrommapper.pyword,count=line.split()#convertcount(currentlyastring)tointtry:count=int(count)word2count[word]=word2count.get(word,0)+countexceptValueError:#countwasnotanumber,sosilently#ignore/discardthislinepass#sortthewordslexigraphically;##thisstepisNOTrequired,wejustdoitsothatour##wordcountexamplessorted_word2count=sorted(word2count.items(),key=itemgetter(0))#writetheresultstoSTDOUT(standardoutput)forword,countinsorted_word2count:print'%s\t%s'%(word,count)CCodeMap:Mapper.c#include#include#include#include#defineBUF_SIZE2048#defineDELIM"\n"intmain(intargc,char*argv[]){charbuffer[BUF_SIZE];while(fgets(buffer,BUF_SIZE-1,stdin)){intlen=strlen(buffer);if(buffer[len-1]=='\n')buffer[len-1]=0;char*querys=index(buffer,'');char*query=NULL;if(querys==NULL)continue;querys+=1;/*nottoinclude'\t'*/query=strtok(buffer,"");while(query){printf("%s\t1\n",query);query=strtok(NULL,"");}}return0;}h>h>h>h>Rece:Recer.c#include#include#include#include#defineBUFFER_SIZE1024#defineDELIM"\t"intmain(intargc,char*argv[]){charstrLastKey[BUFFER_SIZE];charstrLine[BUFFER_SIZE];intcount=0;*strLastKey='\0';*strLine='\0';while(fgets(strLine,BUFFER_SIZE-1,stdin)){char*strCurrKey=NULL;char*strCurrNum=NULL;strCurrKey=strtok(strLine,DELIM);strCurrNum=strtok(NULL,DELIM);/*necessarytocheckerrorbut.*/if(strLastKey[0]=='\0'){strcpy(strLastKey,strCurrKey);}if(strcmp(strCurrKey,strLastKey)){printf("%s\t%d\n",strLastKey,count);count=atoi(strCurrNum);}else{count+=atoi(strCurrNum);}strcpy(strLastKey,strCurrKey);}printf("%s\t%d\n",strLastKey,count);/*flushthecount*/return0;}h>h>h>h>首先我們調試一下源碼：chmod+xmapper.pychmod+xrecer.pyecho"foofooquuxlabsfoobarquux"|./mapper.py|./recer.pybar1foo3labs1quux2g++Mapper.c-oMapperg++Recer.c-oRecerchmod+xMapperchmod+xRecerecho"foofooquuxlabsfoobarquux"|./Mapper|./你可能看到C的輸出和Python的不一樣,因為Python是把他放在詞典里了.我們在Hadoop時,會對這進行排序,然後相同的單詞會連續在標准輸出中輸出.在Hadoop中運行程序首先我們要下載我們的測試文檔wget頁面中摘下的用php編寫的MapRece程序,供php程序員參考：Map:mapper.php#!/usr/bin/php$word2count=array();//inputcomesfromSTDIN(standardinput)while(($line=fgets(STDIN))!==false){//$line=strtolower(trim($line));//$words=preg_split('/\W/',$line,0,PREG_SPLIT_NO_EMPTY);//increasecountersforeach($wordsas$word){$word2count[$word]+=1;}}//writetheresultstoSTDOUT(standardoutput)////Recestep,i.e.theinputforrecer.pyforeach($word2countas$word=>$count){//tab-delimitedecho$word,chr(9),$count,PHP_EOL;}?>Rece:mapper.php#!/usr/bin/php$word2count=array();//inputcomesfromSTDINwhile(($line=fgets(STDIN))!==false){//$line=trim($line);//parsetheinputwegotfrommapper.phplist($word,$count)=explode(chr(9),$line);//convertcount(currentlyastring)toint$count=intval($count);//sumcountsif($count>0)$word2count[$word]+=$count;}//sortthewordslexigraphically////thissetisNOTrequired,wejustdoitsothatour////wordcountexamplesksort($word2count);//writetheresultstoSTDOUT(standardoutput)foreach($word2countas$word=>$count){echo$word,chr(9),$count,PHP_EOL;}?>作者：馬士華發表於：2008-03-05

⑤ python高階函數有哪些

1、map
map()函數接受兩個參數，一個是函數，灶枝一個是Iterable，map將傳入的函數依次作用到序列的每一個元素上，並把結果作為新的Iterator返回。
舉例，比如我們有一個函數f(x)=x*2，要把這個函數作用在一個list[1, 2, 3, 4, 5, 6, 7, 8,
9]上，就可以用map()實現。
>>> def f(x):
... return x*2
...
>>> r = map(f, [1, 2, 3, 4, 5, 6, 7, 8, 9])
>>> list(r)
[2, 4, 6, 8, 10, 12, 14, 16, 18]
所以，map()作為高階函數，事實上它把運算規則抽象了，因此，我們不但可以計算簡單的f(x)=x*2，還可以計算任意復雜的函數，比如把這個list所有的數字轉為字元串：
>>> list(map(str,[1, 2, 3, 4, 5, 6, 7, 8, 9]))
["1", "2", "3", "4", "5", "6", "7", "8", "9"]
2、rece
rece是把一個函數作用在一個序列[x1, x2,
x3……]上，這個函數必須接收兩個參數，rece把結果繼續和序列的下一個元素做累計計算。簡單來說，就是先計算x1和x2的結果，再拿結果與x3計算，依次類推。比如說一個序列求和，就可以氏毀用rece實現。
>>> from functools import rece
>>> def add(x, y):
... return x + y
...
>>> rece(add, [1, 3, 5, 7, 9])
25
也就是說，假設python沒有提供int()函數，你完全可以自己寫一個把字元串轉化為整數的函數，而且只需要幾行代碼。
3、filter
用於過濾序列，和map函數類似，filter也接收一個函數和一個序列，不同於map的是，filter把傳入的函數依次作用於每一個元素，然後根據返回值是True還是False決定保留還是丟棄該元素，例如，在一個list中，刪隱核敏掉偶數，只保留奇數，可以這么寫：
def is_odd(n):
return n % 2 == 1
list(filter(is_odd, [1, 2, 4, 5, 6, 9, 10, 15]))
# 結果: [1, 5, 9, 15]
把一個序列中的空字元串刪掉，可以這么寫：
def not_empty(s):
return s and s.strip()
list(filter(not_empty, ["A", "", "B", None, "C", " "]))
# 結果: ["A", "B", "C"]
可見用filter()這個高階函數，關鍵在於正確實現一個篩選函數。
4、sorted
無論冒泡排序還是快速排序，排序的核心是比較兩個元素的大小。如果是數字，我們可以直接比較，但如果是字元串或者兩個dict呢?直接比較數學上的大小是沒有意義的，因此，比較的過程必須通過函數抽象出來，Python內置的sorted()函數就可以對list進行排序：
>>> sorted([36, 5, -12, 9, -21])
[-21, -12, 5, 9, 36]
此外，sorted()函數也是一個高階函數，它還可以接收一個key函數來實現自定義的排序，例如按絕對值大小排序：
>>> sorted([36, 5, -12, 9, -21], key=abs)
[5, 9, -12, -21, 36]