python敏感词过滤
‘壹’ python pandas 过滤某列特殊字符求助
你自己先要确定“乱码”的定义，例如韩文(unicode)，如果你装了韩文字体，那是可以显橘槐旁示的，不是乱码，但没装的话就是问号一堆，如果是韩文(euc-kr)，在汉字系统那只是一堆无语义的汉字……可能这个举例扯远了，你觉得不会有这种情况，但我只是提醒一下会有意料圆橡之外的情况
所以，你需要一个白名单，把你允许的字符unicode范围都列出来，因为肯定不止汉字，像你列出的文件名中就有空格
另外，没必要逐个字符检查，直接用明陪re.sub去除白名单外的字符就可以了
‘贰’ Python 数据处理（三十九）—— groupby（过滤）
filter 方法可以返回原始对象的子集.
例如，我们想提取分组内的和大于 3 的所有分组的元素
filter 的参数必须是一个函数，函数参数是每个分组，并且返回 True 或 False
例如，提取元素个数大于 2 的分组
另外，我们也可以过滤掉不满足条件的组，而是返回一个类似索引对象。在这个对象中，没有通过的分组的元素被 NaN 填充
对于具有多列的 DataFrames ，过滤器应明确指定一列作为过滤条件
在进行聚合或转换时，你可能想对每个分组调用一个实例方法，例如
但是，如果需要传递额外的参数时，它会变得很冗长。我们可以直接使用分派到组对象上的方法
实际上这生成了一个函数包装器，在调用时，它接受所有传递的参数，并在每个分组上进行调用。
然后，这个结果可以和 agg 和 transform 结合在一起使用
在上面的例子中，我们按照年份分组，然后对每个分组中使用 fillna 补缺失值
nlargest 和 nsmallest 可以在 Series 类型的 groupby 上使用
对分组数据的某些操作可能并不适合聚合或转换。或者说，你可能只是想让 GroupBy 来推断如何合并结果
我们可以使用 apply 函数，例如
改变返回结果的维度
在 Series 上使用 apply 类似
对于之前的示例数据
假设，我们想按 A 分组并计算组内的标准差，但是 B 列的数据我们并不关心。
如果我们的函数不能应用于某些列，则会隐式的删除这些列，所以
直接计算标准差并不会报错
可以使用分类变量进行分组，分组的顺序会按照分类变量的顺序
可以使用 pd.Grouper 控制分组，对于如下数据
可以按照一定的频率对特定列进行分组，就像重抽样一样
可以分别对列或索引进行分组
类似于 Series 和 DataFrame ，可以使用 head 和 tail 获取分组前后几行
在 Series 或 DataFrame 中可以使用 nth() 来获取第 n 个元素，也可以用于获取每个分组的某一行
如果你要选择非空项，可以使用关键字参数 dropna ，如果是 DataFrame ，需要指定为 any 或 all (类似于 DataFrame.dropna(how='any|all') )
与其他方法一样，使用 as_index=False 分组名将不会作为索引
你也可以传入一个整数列表，一次性选取多行
使用 cumcount 方法，可以查看每行在分组中出现的顺序
可以使用 ngroup() 查看分组的顺序，该顺序与 cumcount 的顺序相反。
注意 ：该顺序与迭代时的分组顺序一样，并不是第一次观测到的顺序
‘叁’ python 正则或者BeautifulSoup 把带http的字符串过滤掉，怎么实现，谢谢
可以利用字符串的操作函数，使用条件判断该字符串中是否存在'http'
‘肆’ python 正则表达式过滤特殊字符
>>> import re
>>> string = "123我adfasdf?（((q,[]"
>>> string
'123我adfasdf?（((q,[]'
>>> sub_str = re.sub(u"([^\u4e00-\u9fa5\u0030-\u0039\u0041-\u005a\u0061-\u007a])","",string)
>>> sub_str
'123我adfasdfq'
‘伍’ python 爬虫怎么过滤正文以外的
和评论一样，推荐bs4。
看一下bs4的中文文档其实问题基本可以解决。
1，解析html
2，find所在的class
3，get_text() 这个结果会直接过滤标签提取正文，不需要你用正则去过滤标签。
‘陆’ python统计词频时如何过滤掉词频小于等于2的单词
如果你的词频存放在词典对象中
参考例子只显示词频大于2的
ad={'a':2,'b':3,'c':5,'D':10,'E':1,'F':8}
foriinad:
...if(ad[i]>2):printi,ad[i]
...
c5
b3
D10
F8
‘柒’ python pandas如何过滤剔除数据
import pandas as pd
khhlist = pd.read_excel('客户号.xlsx')
hmdlist = pd.read_excel('黑名单.xlsx')
khhlist = khhlist[~khhlist['客户号'].isin(hmdlist['黑名单客户'].values)]
renamelist = {'客户号':'优质客户'}
yzkhlist = khhlist.rename(columns=renamelist)
yzkhlist.to_excel('优质客户.xlsx', encoding='utf8')
这个简单，用isin函数，前面加上~取反即可
‘捌’ python 怎么过滤 emoji 表情符号
解决方案对于字符串处理,首选就是正则表达式去处理,而在android系统中可以自定义InputFilter去过滤需要处理掉的字符串,代码如下InputFilteremojiFilter=newInputFilter(){@(CharSequencesource,intstart,intend,Spanneddest,intdstart,intdend){}};随后我查阅了emoji的wikipedia与Github,从中提取出表情的一个大概unicode范围,由于Java可以直接对unicode进行匹配,这样我们可以很省事直接写出Pattern即可,代码如下InputFilteremojiFilter=newInputFilter(){Patternemoji=Pattern.compile("[\ud83c\udc00-\ud83c\udfff]|[\ud83d\udc00-\ud83d\udfff]|[\u2600-\u27ff]",Pattern.UNICODE_CASE|Pattern.CASE_INSENSITIVE);@(CharSequencesource,intstart,intend,Spanneddest,intdstart,intdend){MatcheremojiMatcher=emoji.matcher(source);if(emojiMatcher.find()){return"";}returnnull;}};基本上这样就能过滤掉emoji表情了