python敏感詞過濾
『壹』 python pandas 過濾某列特殊字元求助
你自己先要確定「亂碼」的定義，例如韓文(unicode)，如果你裝了韓文字體，那是可以顯橘槐旁示的，不是亂碼，但沒裝的話就是問號一堆，如果是韓文(euc-kr)，在漢字系統那隻是一堆無語義的漢字……可能這個舉例扯遠了，你覺得不會有這種情況，但我只是提醒一下會有意料圓橡之外的情況
所以，你需要一個白名單，把你允許的字元unicode范圍都列出來，因為肯定不止漢字，像你列出的文件名中就有空格
另外，沒必要逐個字元檢查，直接用明陪re.sub去除白名單外的字元就可以了
『貳』 Python 數據處理（三十九）—— groupby（過濾）
filter 方法可以返回原始對象的子集.
例如，我們想提取分組內的和大於 3 的所有分組的元素
filter 的參數必須是一個函數，函數參數是每個分組，並且返回 True 或 False
例如，提取元素個數大於 2 的分組
另外，我們也可以過濾掉不滿足條件的組，而是返回一個類似索引對象。在這個對象中，沒有通過的分組的元素被 NaN 填充
對於具有多列的 DataFrames ，過濾器應明確指定一列作為過濾條件
在進行聚合或轉換時，你可能想對每個分組調用一個實例方法，例如
但是，如果需要傳遞額外的參數時，它會變得很冗長。我們可以直接使用分派到組對象上的方法
實際上這生成了一個函數包裝器，在調用時，它接受所有傳遞的參數，並在每個分組上進行調用。
然後，這個結果可以和 agg 和 transform 結合在一起使用
在上面的例子中，我們按照年份分組，然後對每個分組中使用 fillna 補缺失值
nlargest 和 nsmallest 可以在 Series 類型的 groupby 上使用
對分組數據的某些操作可能並不適合聚合或轉換。或者說，你可能只是想讓 GroupBy 來推斷如何合並結果
我們可以使用 apply 函數，例如
改變返回結果的維度
在 Series 上使用 apply 類似
對於之前的示例數據
假設，我們想按 A 分組並計算組內的標准差，但是 B 列的數據我們並不關心。
如果我們的函數不能應用於某些列，則會隱式的刪除這些列，所以
直接計算標准差並不會報錯
可以使用分類變數進行分組，分組的順序會按照分類變數的順序
可以使用 pd.Grouper 控制分組，對於如下數據
可以按照一定的頻率對特定列進行分組，就像重抽樣一樣
可以分別對列或索引進行分組
類似於 Series 和 DataFrame ，可以使用 head 和 tail 獲取分組前後幾行
在 Series 或 DataFrame 中可以使用 nth() 來獲取第 n 個元素，也可以用於獲取每個分組的某一行
如果你要選擇非空項，可以使用關鍵字參數 dropna ，如果是 DataFrame ，需要指定為 any 或 all (類似於 DataFrame.dropna(how='any|all') )
與其他方法一樣，使用 as_index=False 分組名將不會作為索引
你也可以傳入一個整數列表，一次性選取多行
使用 cumcount 方法，可以查看每行在分組中出現的順序
可以使用 ngroup() 查看分組的順序，該順序與 cumcount 的順序相反。
注意 ：該順序與迭代時的分組順序一樣，並不是第一次觀測到的順序
『叄』 python 正則或者BeautifulSoup 把帶http的字元串過濾掉，怎麼實現，謝謝
可以利用字元串的操作函數，使用條件判斷該字元串中是否存在'http'
『肆』 python 正則表達式過濾特殊字元
>>> import re
>>> string = "123我adfasdf?（((q,[]"
>>> string
'123我adfasdf?（((q,[]'
>>> sub_str = re.sub(u"([^\u4e00-\u9fa5\u0030-\u0039\u0041-\u005a\u0061-\u007a])","",string)
>>> sub_str
'123我adfasdfq'
『伍』 python 爬蟲怎麼過濾正文以外的
和評論一樣，推薦bs4。
看一下bs4的中文文檔其實問題基本可以解決。
1，解析html
2，find所在的class
3，get_text() 這個結果會直接過濾標簽提取正文，不需要你用正則去過濾標簽。
『陸』 python統計詞頻時如何過濾掉詞頻小於等於2的單詞
如果你的詞頻存放在詞典對象中
參考例子只顯示詞頻大於2的
ad={'a':2,'b':3,'c':5,'D':10,'E':1,'F':8}
foriinad:
...if(ad[i]>2):printi,ad[i]
...
c5
b3
D10
F8
『柒』 python pandas如何過濾剔除數據
import pandas as pd
khhlist = pd.read_excel('客戶號.xlsx')
hmdlist = pd.read_excel('黑名單.xlsx')
khhlist = khhlist[~khhlist['客戶號'].isin(hmdlist['黑名單客戶'].values)]
renamelist = {'客戶號':'優質客戶'}
yzkhlist = khhlist.rename(columns=renamelist)
yzkhlist.to_excel('優質客戶.xlsx', encoding='utf8')
這個簡單，用isin函數，前面加上~取反即可
『捌』 python 怎麼過濾 emoji 表情符號
解決方案對於字元串處理,首選就是正則表達式去處理,而在android系統中可以自定義InputFilter去過濾需要處理掉的字元串,代碼如下InputFilteremojiFilter=newInputFilter(){@(CharSequencesource,intstart,intend,Spanneddest,intdstart,intdend){}};隨後我查閱了emoji的wikipedia與Github,從中提取出表情的一個大概unicode范圍,由於Java可以直接對unicode進行匹配,這樣我們可以很省事直接寫出Pattern即可,代碼如下InputFilteremojiFilter=newInputFilter(){Patternemoji=Pattern.compile("[\ud83c\udc00-\ud83c\udfff]|[\ud83d\udc00-\ud83d\udfff]|[\u2600-\u27ff]",Pattern.UNICODE_CASE|Pattern.CASE_INSENSITIVE);@(CharSequencesource,intstart,intend,Spanneddest,intdstart,intdend){MatcheremojiMatcher=emoji.matcher(source);if(emojiMatcher.find()){return"";}returnnull;}};基本上這樣就能過濾掉emoji表情了