pythonip掃描

1. python 爬蟲如何實現cnki 的自動ip登錄

自己做個代理伺服器。例如618爬蟲代理，再指向次一級代理。或者是直接讓爬蟲通過http proxy的參數設置去先把一個代理。 代理池通常是租來的，或者是掃描出來的。掃描出來的往往大部分都不可用。 爬蟲的實現有幾百種方案。通常建議直接從SCRAPY入手。

2. 如何使用Python工具分析風險數據

1、引入工具–載入數據分析包
啟動IPython notebook，載入運行環境：
%matplotlib inline
import pandas as pd
from datetime import timedelta, datetime
import matplotlib.pyplot as plt
import numpy as np
2、數據准備
俗話說: 巧婦難為無米之炊。小安分析的數據主要是用戶使用代理IP訪問日誌記錄信息，要分析的原始數據以CSV的形式存儲。這里首先要介紹到pandas.read_csv這個常用的方法，它將數據讀入DataFrame
analysis_data = pd.read_csv('./honeypot_data.csv')
對的, 一行代碼就可以將全部數據讀到一個二維的表結構DataFrame變數，感覺很簡單有木有啊!!!當然了用Pandas提供的IO工具你也可以將大文件分塊讀取，再此小安測試了一下性能，完整載入約21530000萬條數據也大概只需要90秒左右，性能還是相當不錯。
3、數據管窺
一般來講，分析數據之前我們首先要對數據有一個大體上的了解，比如數據總量有多少，數據有哪些變數，數據變數的分布情況，數據重復情況，數據缺失情況，數據中異常值初步觀測等等。下面小安帶小夥伴們一起來管窺管窺這些數據。
使用shape方法查看數據行數及列數
analysis_data.shape
Out: (21524530, 22) #這是有22個維度，共計21524530條數據記的DataFrame
使用head()方法默認查看前5行數據，另外還有tail()方法是默認查看後5行,當然可以輸入參數來查看自定義行數
analysis_data.head(10)
這里可以了解到我們數據記錄有用戶使用代理IP日期，代理header信息，代理訪問域名，代理方法，源ip以及蜜罐節點信息等等。在此小安一定一定要告訴你，小安每次做數據分析時必定使用的方法–describe方法。pandas的describe()函數能對數據進行快速統計匯總：
對於數值類型數據，它會計算出每個變數： 總個數，平均值，最大值，最小值，標准差，50%分位數等等;
非數值類型數據，該方法會給出變數的： 非空值數量、unique數量(等同於資料庫中distinct方法)、最大頻數變數和最大頻數。
由head()方法我們可以發現數據中包含了數值變數、非數值變數，我們首先可以利用dtypes方法查看DataFrame中各列的數據類型，用select_dtypes方法將數據按數據類型進行分類。然後，利用describe方法返回的統計值對數據有個初步的了解：
df.select_dtypes(include=['O']).describe()
df.select_dtypes(include=['float64']).describe()
簡單的觀察上面變數每一維度統計結果，我們可以了解到大家獲取代理數據的長度平均1670個位元組左右。同時，也能發現欄位scanossubfp，scanscan_mode等存在空值等等信息。這樣我們能對數據整體上有了一個大概了解。
4、數據清洗
由於源數據通常包含一些空值甚至空列，會影響數據分析的時間和效率，在預覽了數據摘要後，需要對這些無效數據進行處理。
一般來說，移除一些空值數據可以使用dropna方法， 當你使用該方法後，檢查時發現 dropna() 之後幾乎移除了所有行的數據，一查Pandas用戶手冊，原來不加參數的情況下， dropna() 會移除所有包含空值的行。
如果你只想移除全部為空值的列，需要加上 axis 和 how 兩個參數：
analysis_data.dropna(axis=1, how='all')
另外，也可以通過dropna的參數subset移除指定列為空的數據，和設置thresh值取移除每非None數據個數小於thresh的行。
analysis_data.dropna(subset=['proxy_host', 'srcip'])
#移除proxy_host欄位或srcip欄位沒有值的行
analysis_data.dropna(thresh=10)
#移除所有行欄位中有值屬性小於10的行
5、統計分析
再對數據中的一些信息有了初步了解過後，原始數據有22個變數。從分析目的出發，我將從原始數據中挑選出局部變數進行分析。這里就要給大家介紹pandas的數據切片方法loc。
loc([startrowindex:endrowindex,[『timestampe』, 『proxy_host』, 『srcip』]])是pandas重要的切片方法，逗號前面是對行進行切片;逗號後的為列切片，也就是挑選要分析的變數。
如下，我這里選出日期，host和源IP欄位——
analysis_data = analysis_data.loc([:, [『timestampe』,'proxy_host','srcip']])
首先讓我們來看看蜜罐代理每日使用數據量，我們將數據按日統計，了解每日數據量PV，並將結果畫出趨勢圖。
daily_proxy_data = analysis_data[analysis_data.mole=='proxy']
daily_proxy_visited_count = daily_proxy_data.timestamp.value_counts().sort_index()
daily_proxy_visited_count.plot()
對數據列的丟棄，除無效值和需求規定之外，一些表自身的冗餘列也需要在這個環節清理，比如說DataFrame中的index號、類型描述等，通過對這些數據的丟棄，從而生成新的數據，能使數據容量得到有效的縮減，進而提高計算效率。
由上圖分析可知蜜罐代理使用量在6月5號，19-22號和25號這幾天呈爆炸式增長。那麼這幾天數據有情況，不正常，具體是神馬情況，不急，後面小安帶大家一起來慢慢揪出來到底是那些人(源ip) 幹了什麼「壞事」。
進一步分析, 數據有異常後，再讓我們來看看每天去重IP數據後量及其增長量。可以按天groupby後通過nunique()方法直接算出來每日去重IP數據量。
daily_proxy_data = analysis_data[analysis_data.mole=='proxy']
daily_proxy_visited_count = daily_proxy_data.groupby(['proxy_host']).srcip.nunique()
daily_proxy_visited_count.plot()
究竟大部分人(源ip)在干神馬?干神馬?干神馬?讓我們來看看被訪問次數最多host的哪些，即同一個host關聯的IP個數，為了方便我們只查看前10名熱門host。
先選出host和ip欄位，能過groupby方法來group 每個域名(host)，再對每個域名的ip訪問里unique統計。
host_associate_ip = proxy_data.loc[:, ['proxy_host', 'srcip']]
grouped_host_ip = host_associate_ip.groupby(['proxy_host']).srcip.nunique()
print(grouped_host_ip.sort_values(ascending=False).head(10))
再細細去看大家到底做了啥——查看日誌數據發現原來在收集像二手車價格，工人招聘等等信息。從熱門host來看，總得來說大家使用代理主要還是獲取網路，qq，Google，Bing這類婦孺皆知網站的信息。
下面再讓我們來看看是誰用代理IP「幹事」最多，也就是看看誰的IP訪問不同host的個數最多。
host_associate_ip = proxy_data.loc[:, ['proxy_host', 'srcip']]
grouped_host_ip = host_associate_ip.groupby(['srcip'_host']).proxy_host.nunique()
print(grouped_host_ip.sort_values(ascending=False).head(10))
哦，發現目標IP為123..*.155的小夥子有大量訪問記錄, 進而查看日誌，原來他在大量收集酒店信息。 好了，這樣我們就大概能知道誰在干什麼了，再讓我們來看看他們使用proxy持續時長，誰在長時間里使用proxy。 代碼如下——
這里不給大家細說代碼了，只給出如下偽代碼。
date_ip = analysis_data.loc[:,['timestamp','srcip']]
grouped_date_ip = date_ip.groupby(['timestamp', 'srcip'])
#計算每個源ip(srcip)的訪問日期
all_srcip_ration_times = ...
#算出最長連續日期天數
ration_date_cnt = count_date(all_srcip_ration_times)
好了，到此我也就初略的知道那些人做什麼，誰用代理時長最長等等問題額。取出ip = 80...38的用戶使用代理ip訪問數據日誌，發現原來這個小夥子在長時間獲取搜狐images。
蜜罐在全國各地部署多個節點，再讓我們來看看每個源ip掃描蜜罐節點總個數，了解IP掃描節點覆蓋率。結果見如下：
# 每個IP掃描的IP掃描節點總個數
node = df[df.mole=='scan']
node = node.loc[:,['srcip','origin_details']]
grouped_node_count = node.groupby(['srcip']).count()
print grouped_node_count.sort_values(['origin_details'], ascending=False).head(10)
由上述兩表初步可知，一些結論：如源ip為182...205的用戶長時間對蜜罐節點進行掃描，mark危險用戶等等。

3. python3 獲取title的編寫

水平有限，不會造輪子，只為學習。

在原來寫埠掃描的基礎上進一步爬取web服務的title信息，方便收集信息。
適用於在外網收集資產形成IP字典後去批量獲取title，意在最快地尋找脆弱點。
自行安裝BeautifulSoup4、requests庫。
V1.0
python3 寫的單線程爬取web系統的title信息。
註解
1.使用BeautifulSoup4庫來解析HTML，爬取title信息；
2.列印title時，帶有顏色的輸出；
3.在開放443、4433、8443埠時，採用https進行訪問；
4.解決SSL認證問題；

V1.0.1
python3 單線程寫的爬取網站title信息。增加了OptionParser模塊，運行時看起來比較舒服。
註解
1.依然是從IP字典里爬取，實際運行腳本時，即使沒有獲取title，也應該手動訪問開放的埠，往往有意外驚喜；
2.埠內置在腳本里，可自行修改；

V1.1
python3寫的多線程爬取web系統的title。
註解
1.只是使用threading模塊，沒有添加到隊列，也沒有加鎖；本身port_list也不多；

V1.2
python3 寫的多線程加隊列的來爬取web系統的title信息。
註解
1.增加了queue隊列，和多線程配合使用。更加實用；

V1.3
python3 寫的多線程加隊列的來爬取web系統的title信息。
增加result輸出結果到文本，適應於內外網埠掃描並獲取title

python3 編寫掃描IP網段如192.168.1.0/24某些指定應用埠爬取title信息。 在代理進行內網滲透時內網資產不容易找到。
適用於內網、外網環境。
自行安裝BeautifulSoup4、requests庫。
V2.0
python3寫的掃描IP段並爬取title信息，收集資產。
註解
1.使用ipaddress模塊獲取C段地址，也可以是B段；
2.只使用threading模塊，沒有添加隊列queue；

V2.1
python3 寫的多線程掃描IP段爬取title。在一定線程下，代理探測內網資產title的非常使用。
註解
1.port_list列表移動到scan方法里；
2.將IP添加到queue隊列，而不是埠；

V2.2
python3 寫的多線程掃描IP段爬取title。
註解
1.只是增加了result_out方法，將結果輸出到指定文件；

https://github.com/aedoo/WebServiceScanner/blob/master/webservicescanner.py

4. 如何使用多線程python掃描二級子域名

日站沒什麼好辦法了往往也會想到其二級域名，於是寫了一個比較簡陋的掃描二級域名的程序
速度一般般，不過如果線程開多了還是可以的
源程序（subdomain.py）：

#! /usr/bin/env python
#coding=utf-8
import threading , Queue, optparse, os
import pycurl, StringIO, msvcrt, socket

queue = Queue.Queue()

class ScanThread(threading.Thread):

def __init__(self, queue):
threading.Thread.__init__(self)
self.queue = queue

def run(self):
while 1:
p = self.queue.get()
if p is None:
break
try:
sub_domain = p+'.'+domain
crl = pycurl.Curl()
crl.fa = StringIO.StringIO()
crl.setopt(pycurl.URL,sub_domain)
crl.setopt(pycurl.VERBOSE,0)
crl.setopt(pycurl.FOLLOWLOCATION,1)
crl.setopt(pycurl.MAXREDIRS,5)
crl.setopt(pycurl.CONNECTTIMEOUT, 60)
crl.setopt(pycurl.TIMEOUT, 300)
crl.setopt(crl.WRITEFUNCTION,crl.fa.write)
try:
crl.perform()
ip=socket.gethostbyname(sub_domain)
print sub_domain, ip
content = sub_domain+' '+ip+'\n'
self.writefile(wfile, 'a+', content)
except:
pass
except:
print "error"
self.writefile('F:/py/Domain/log.txt', 'a+', p+'\n')

queue.task_done()

def writefile(self, path, type, content):
f = open(path, type)
f.write(content)
f.close

class ThreadGetKey(threading.Thread):
def run(self):
while 1:
try:
chr = msvcrt.getch()
if chr == 'q':
print "stopped by your action ( q )"
os._exit(1)
else:
continue
except:
os._exit(1)

# now starting...

def main():
parser = optparse.OptionParser('Usages: %prog -d <domain> -r <read> -w <write> -t <thread(s)>')
parser.add_option('-d',dest='domain',type='string',help='the url to query')
parser.add_option('-r',dest='read',type='string',help='the dic file to read default=F:/py/Domain/dic.txt', default='F:/py/Domain/dic.txt')
parser.add_option('-w',dest='write',type='string',help='save the reasults to the catalogue \
default=F:/py/Domain/results.txt', default='F:/py/Domain/results.txt')
parser.add_option('-t',dest='threads',type='int',help='set the thread(s) default=10',default=10)
(options,args) = parser.parse_args()
if options.domain == None:
使用方法：
python subdomain.py -d .com -r dic.txt -w results.txt -t 50
主要影響速度的是這一塊代碼：

try:
crl.perform()
ip=socket.gethostbyname(sub_domain)
print sub_domain, ip
content = sub_domain+' '+ip+'\n'
self.writefile(wfile, 'a+', content)
except:
pass

主要是一開始理解錯了，以為二級域名不存在和某個網頁不存在一樣會返回404代碼，於是想到用返回碼來判斷。
結果後來程序一直出錯，才發現當二級域名不存在的時候返回的是「未找到伺服器」，根本不存在返回碼，於是只能使用一個try來調試錯誤，主要速度也就被這里影響了。當然線程開多了也是可以看到刷屏效果的~~

5. Python網路編程4--實現IP分片與網路路徑MTU探測

實驗拓撲如下，linux向R2發送IP分片，並在R2介面上抓包。

  ICMP包校驗和是連通頭部信息加數據本身一起進行校驗（ip包只需要校驗頭部信息）而Scapy自動添加ICMP校驗和時只會計算第一分片的數據，當三個分片到達目標主機進行重組後校驗不通過，將重組後的數據包丟棄；因此在手動設置IP分片時，需要手動將校驗和添加入ICMP首部中。
由於手動計算校驗和過程較復雜，可通過wireshark抓包，可以獲取到正確的校驗和。

抓包結果如下，由於單個數據包長度超過MTU,系統自動將ICMP request包分片發送，同樣的ICMP reply系統也進行了分片。

  當主機發送分組的長度超過MTU又不可以分片（IP flags位DF置1），則這個分組丟棄，並用ICMP差錯報文向主機報告。

參考：( https://fasionchan.com/network/ip/fragmentation/ )

6. Python 實現埠掃描

一、常見埠掃描的原理

0、秘密掃描

秘密掃描是一種不被審計工具所檢測的掃描技術。

它通常用於在通過普通的防火牆或路由器的篩選（filtering）時隱藏自己。

秘密掃描能躲避IDS、防火牆、包過濾器和日誌審計，從而獲取目標埠的開放或關閉的信息。由於沒有包含TCP 3次握手協議的任何部分，所以無法被記錄下來，比半連接掃描更為隱蔽。

但是這種掃描的缺點是掃描結果的不可靠性會增加，而且掃描主機也需要自己構造IP包。現有的秘密掃描有TCP FIN掃描、TCP ACK掃描、NULL掃描、XMAS掃描和SYN/ACK掃描等。

1、Connect()掃描

此掃描試圖與每一個TCP埠進行「三次握手」通信。如果能夠成功建立接連，則證明埠開發，否則為關閉。准確度很高，但是最容易被防火牆和IDS檢測到，並且在目標主機的日誌中會記錄大量的連接請求以及錯誤信息。

TCP connect埠掃描服務端與客戶端建立連接成功（目標埠開放）的過程：

① Client端發送SYN；

② Server端返回SYN/ACK，表明埠開放；

③ Client端返回ACK，表明連接已建立；

④ Client端主動斷開連接。

建立連接成功（目標埠開放）

TCP connect埠掃描服務端與客戶端未建立連接成功（目標埠關閉）過程：

① Client端發送SYN；

② Server端返回RST/ACK，表明埠未開放。

優點：實現簡單，對操作者的許可權沒有嚴格要求（有些類型的埠掃描需要操作者具有root許可權），系統中的任何用戶都有權力使用這個調用，而且如果想要得到從目標埠返回banners信息，也只能採用這一方法。

另一優點是掃描速度快。如果對每個目標埠以線性的方式，使用單獨的connect()調用，可以通過同時打開多個套接字，從而加速掃描。

缺點：是會在目標主機的日誌記錄中留下痕跡，易被發現，並且數據包會被過濾掉。目標主機的logs文件會顯示一連串的連接和連接出錯的服務信息，並且能很快地使它關閉。

2、SYN掃描

掃描器向目標主機的一個埠發送請求連接的SYN包，掃描器在收到SYN/ACK後，不是發送的ACK應答而是發送RST包請求斷開連接。這樣，三次握手就沒有完成，無法建立正常的TCP連接，因此，這次掃描就不會被記錄到系統日誌中。這種掃描技術一般不會在目標主機上留下掃描痕跡。但是，這種掃描需要有root許可權。

·埠開放：（1）Client發送SYN；（2）Server端發送SYN/ACK；（3）Client發送RST斷開（只需要前兩步就可以判斷埠開放）

·埠關閉：（1）Client發送SYN；（2）Server端回復RST（表示埠關閉）

優點：SYN掃描要比TCP Connect()掃描隱蔽一些，SYN僅僅需要發送初始的SYN數據包給目標主機，如果埠開放，則相應SYN-ACK數據包；如果關閉，則響應RST數據包；

3、NULL掃描

反向掃描—-原理是將一個沒有設置任何標志位的數據包發送給TCP埠，在正常的通信中至少要設置一個標志位，根據FRC 793的要求，在埠關閉的情況下，若收到一個沒有設置標志位的數據欄位，那麼主機應該舍棄這個分段，並發送一個RST數據包，否則不會響應發起掃描的客戶端計算機。也就是說，如果TCP埠處於關閉則響應一個RST數據包，若處於開放則無相應。但是應該知道理由NULL掃描要求所有的主機都符合RFC 793規定，但是windows系統主機不遵從RFC 793標准，且只要收到沒有設置任何標志位的數據包時，不管埠是處於開放還是關閉都響應一個RST數據包。但是基於Unix(*nix,如Linux)遵從RFC 793標准，所以可以用NULL掃描。 經過上面的分析，我們知道NULL可以辨別某台主機運行的操作系統是什麼操作系統。

埠開放：Client發送Null，server沒有響應

埠關閉：（1）Client發送NUll；（2）Server回復RST

說明：Null掃描和前面的TCP Connect（）和SYN的判斷條件正好相反。在前兩種掃描中，有響應數據包的表示埠開放，但在NUll掃描中，收到響應數據包表示埠關閉。反向掃描比前兩種隱蔽性高些，當精確度也相對低一些。

用途：判斷是否為Windows系統還是Linux。

4、FIN掃描

與NULL有點類似，只是FIN為指示TCP會話結束，在FIN掃描中一個設置了FIN位的數據包被發送後，若響應RST數據包，則表示埠關閉，沒有響應則表示開放。此類掃描同樣不能准確判斷windows系統上埠開發情況。

·埠開放：發送FIN，沒有響應

·埠關閉：（1）發送FIN；（2）回復RST

5、ACK掃描

掃描主機向目標主機發送ACK數據包。根據返回的RST數據包有兩種方法可以得到埠的信息。方法一是： 若返回的RST數據包的TTL值小於或等於64，則埠開放，反之埠關閉。

6、Xmas-Tree掃描

通過發送帶有下列標志位的tcp數據包。

·URG：指示數據時緊急數據，應立即處理。

·PSH：強制將數據壓入緩沖區。

·FIN：在結束TCP會話時使用。

正常情況下，三個標志位不能被同時設置，但在此種掃描中可以用來判斷哪些埠關閉還是開放，與上面的反向掃描情況相同，依然不能判斷windows平台上的埠。

·埠開放：發送URG/PSH/FIN，沒有響應

·埠關閉：（1）發送URG/PSH/FIN，沒有響應；（2）響應RST

XMAS掃描原理和NULL掃描的類似，將TCP數據包中的ACK、FIN、RST、SYN、URG、PSH標志位置1後發送給目標主機。在目標埠開放的情況下，目標主機將不返回任何信息。

7、Dump掃描

也被稱為Idle掃描或反向掃描，在掃描主機時應用了第三方僵屍計算機掃描。由僵屍主機向目標主機發送SYN包。目標主機埠開發時回應SYN|ACK，關閉時返回RST，僵屍主機對SYN|ACK回應RST，對RST不做回應。從僵屍主機上進行掃描時，進行的是一個從本地計算機到僵屍主機的、連續的ping操作。查看僵屍主機返回的Echo響應的ID欄位，能確定目標主機上哪些埠是開放的還是關閉的。

二、Python 代碼實現

1、利用Python的Socket包中的connect方法，直接對目標IP和埠進行連接並且嘗試返回結果，而無需自己構建SYN包。

2、對IP埠進行多線程掃描，注意的是不同的電腦不同的CPU每次最多創建的線程是不一樣的，如果創建過多可能會報錯，需要根據自己電腦情況修改每次掃描的個數或者將seelp的時間加長都可以。

看完了嗎？感覺動手操作一下把！

python學習網，免費的在線學習python平台，歡迎關注！

本文轉自：https://www.jianshu.com/p/243bb7cfc40f

7. python 爬蟲 ip池怎麼做

無論是爬取IP，都能在本地設計動態代理IP池。這樣既方便使用，又可以提升工作效率。那麼怎麼在本地設計一個代理IP池呢？IPIDEA為大家簡述本地代理IP池的設計和日常維護。
代理IP獲取介面，如果是普通代理IP，使用ProxyGetter介面，從代理源網站抓取最新代理IP；如果是需耗費代理IP，一般都有提供獲取IP的API，會有一定的限制，比如每次提取多少個，提取間隔多少秒。

代理IP資料庫，用以存放在動態VPS上獲取到的代理IP，建議選擇SSDB。SSDB的性能很突出，與Redis基本相當了，Redis是內存型，容量問題是弱項，並且內存成本太高，SSDB針對這個弱點，使用硬碟存儲，使用Google高性能的存儲引擎LevelDB，適合大數據量處理並把性能優化到Redis級別。

代理IP檢驗計劃，代理IP具備時效性，過有效期就會失效，因此 需要去檢驗有效性。設置一個定時檢驗計劃，檢驗代理IP有效性，刪除無效IP、高延時IP，同時預警，當IP池裡的IP少於某個閾值時，根據代理IP獲取介面獲取新的IP。

代理IP池外部介面除代理撥號伺服器獲取的代理IP池，還需要設計一個外部介面，通過這個介面調用IP池裡的IP給爬蟲使用。代理IP池功能比較簡單，使用Flask就可以搞定。功能可以是給爬蟲提供get/delete/refresh等介面，方便爬蟲直接使用。

8. 如何用python實現訪問外網

你的題目要詳細一些，具體要干什麼。例如利用python進行IP地址埠掃描等等

9. python怎樣獲取連接的IP的設備信息

以前是有這樣的工具，它會通過常用協議去刺探設備類型。比如windows的版本，計算機名等。現在不知道還有沒有這樣的工具，搜索一下看。

哦。這個應該相當容易了。因為相機是專業設備。所以通常會有一個控制協議。因為是專業的，所以這個socket應該是加密的。 你只需要連接上後，隨便發一個命令，如果被斷開。很可能就是這個相機了。

另外相機通常都是有MAC地址的。如果你發現它在你預計的MAC地址范圍內，也可以知道是它。 相機是專業抓拍的。通常不會放在互聯網上，應該是區域網。你可以排除區域網上的其它計算機，自然了也就知道哪些是相機了。

這些都不是難題。你首先掃描所有的IP地址。再掃描它們的埠數量。如果埠數量多通常是計算機，如果埠只有1-2個就是專業設備。掃描不到的，應該就是計算機啦。

試試，並不難。

10. python查詢公網IP地址、IP地理位置

利用Python查詢本機公網的IP地址、以及查詢IP的地理位置，使用簡單的爬蟲實現其功能。