ip資料庫python

1. python介面怎麼設置IP地址

使方法一、用IP138資料庫查詢域名或IP地址對應的地理位置。
?#-*- coding:gbk -*-import urllib2import re try: while True: ipaddr = raw_input("Enter IP Or Domain Name:") if ipaddr == "" or ipaddr == 'exit': break else: url = "http://www.ip138.com/ips138.asp?ip=%s&action=2" % ipaddr u = urllib2.urlopen(url) s = u.read() #Get IP Address ip = re.findall(r'\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}',s) print "\n****** Below Result From IP138 Database *****" print "IP Address:",ip[0] #Get IP Address Location result = re.findall(r'(<li>.*?</li>)',s) for i in result: print i[4:-5] print "*"*45 print "\n" except: print "Not Data Find"

方法二、本來想調用阿里的ip介面查詢ip歸屬地。結果發現阿里的介面非常不給力，主要是不準確，不過是免費的且有地區和ISP的信息。以下是實現代碼

2. python 爬蟲 ip池怎麼做

我們先來了解下Python中高層次的數據結構,動態類型和動態綁定,使得它非常適合於快速應用開發,也適合於作為膠水語言連接已有的軟體部件。用Python搭建一個可用的代理IP池其實並不難的。下面我們來看看搭建一個可用的代理IP池的代碼，可以分為以下的模塊：
1、ProxyGetter，代理獲取的相關代碼，可以抓取網站上的免費代理，經測試每天更新的可用代理只有六七十個，當然也支持自己擴展代理介面。
2、Api，api介面相關代碼，目前api是由Flask實現，代碼也非常簡單。客戶端請求傳給Flask，Flask調用ProxyManager中的實現，包括get/delete/refresh/get_all。
3、Util，存放一些公共的模塊方法或函數，包含GetConfig:讀取配置文件config.ini的類，ConfigParse:集成重寫ConfigParser的類，使其對大小寫敏感，Singleton:實現單例，LazyProperty:實現類屬性惰性計算。
4、DB，資料庫相關代碼，目前資料庫是採用SSDB。代碼用工廠模式實現，方便日後擴展其他類型資料庫。
5、Schele，定時任務相關代碼，現在只是實現定時去刷新代碼，並驗證可用代理，採用多進程方式。
6、Manager，get/delete/refresh/get_all等介面的具體實現類，目前代理池只負責管理proxy，日後可能會有更多功能，比如代理和爬蟲的綁定，代理和賬號的綁定等等。
7、其他文件，配置文件:Config.ini,資料庫配置和代理獲取介面配置，可以在GetFreeProxy中添加新的代理獲取方法，並在Config.ini中注冊即可使用。大家平常搭建一個可用的代理IP池也是按照這些的方法嗎？如果不是，也可以參考下的。如果想快捷方便有效可以使用http，IPIDEA全球http每日9000w的IP量包含全球240＋地區的ip，足以符合需求量大的標准。

3. 代理IP對於Python爬蟲有多重要

在python爬蟲方面的應該中，需要更換iP的場景是時常的事。而這個時候爬蟲代理ip就派上用場了。他的好處是特別多的。不僅能防止ip被封，並且能減少許多人工方面的工作。節省更多的營銷成本。
在互聯網時代絕大多數的工作都要通過互聯網交易，尤其是一些代理程序問題，更要使用大量的爬蟲編寫或是頻繁地更換ip地址，這些互聯網工作程序所使用到爬蟲代理技術的機會有很多。那麼，爬蟲的代理技術能幫助互聯網工作什麼方面?
爬蟲代理是利用開發商開發的爬蟲軟體替代我們日程工作中不能解決的頻繁更換ip地址問題，比如在網站頻繁多次注冊賬號，在網店開刷各類信譽流量，以及我們在使用到刷機業務都需要使用開發商最新開發的代理爬蟲技術手段更新業務。
爬蟲代理技術是由開發商提供的新技術，在未來將會更多更好的幫助人們進行互聯網工作。更多的幫助人們節約時間解決問題節省成本，這些都是爬蟲的代理技術所能幫到大家的。

4. 如何用Python獲取本機ip

import socket
localIP = socket.gethostbyname(socket.gethostname())#得到本地ip
print "local ip:%s "%localIP

5. python取MYSQL資料庫里的IP來PING，將結果再寫到資料庫中，但是第二次再取IP時便出錯，取出來是空的

這個問題相當好解決啊。你在插數據的時候，是不是定義了ID，讓ID自動增加就可以實現添加而不是覆蓋。
設計資料庫表的時候，第一個欄位ID讓它自增方式。在python寫insert語句時，勉強將你自己定義的ID值放進去。就是insert
table
()
values()
前面那個括弧里不要寫ID，後面values也將ID值去掉

6. python 爬蟲 ip池怎麼做

簡單的代理IP池可以怎麼搭建呢?如果你想要學習怎麼去搭建一個穩定的代理池，IPIDEA這里有一個很好的方式可以推薦給大家。
代理池設計：
首先代理池由四部分組成：
ProxyGetter:代理獲取介面，目前有5個免費代理源，每調用一次就會抓取這個5個網站的最新代理放入DB，可自行添加額外的代理獲取介面;
DB:用於存放代理IP，現在暫時只支持SSDB。至於為什麼選擇SSDB，大家可以參考這篇文章,個人覺得SSDB是個不錯的Redis替代方案，如果你沒有用過SSDB，安裝起來也很簡單，可以參考這里;
Schele:計劃任務用戶定時去檢測DB中的代理可用性，刪除不可用的代理。同時也會主動通過ProxyGetter去獲取最新代理放入DB;
ProxyApi:代理池的外部介面，由於現在這么代理池功能比較簡單，花兩個小時看了下Flask，愉快的決定用Flask搞定。功能是給爬蟲提供get/delete/refresh等介面，方便爬蟲直接使用。
代碼模塊：Python中高層次的數據結構,動態類型和動態綁定,使得它非常適合於快速應用開發,也適合於作為膠水語言連接已有的軟體部件。用Python來搞這個代理IP池也很簡單，代碼分為6個模塊：
Api:api介面相關代碼，目前api是由Flask實現，代碼也非常簡單。客戶端請求傳給Flask，Flask調用ProxyManager中的實現，包括get/delete/refresh/get_all;
DB:資料庫相關代碼，目前資料庫是採用SSDB。代碼用工廠模式實現，方便日後擴展其他類型資料庫;
Manager:get/delete/refresh/get_all等介面的具體實現類，目前代理池只負責管理proxy，日後可能會有更多功能，比如代理和爬蟲的綁定，代理和賬號的綁定等等;
ProxyGetter:代理獲取的相關代碼，經測試5個網站每天更新的可用代理只有六七十個，當然也支持自己擴展代理介面;
Schele:定時任務相關代碼，現在只是實現定時去刷新代碼，並驗證可用代理，採用多進程方式;
Util:存放一些公共的模塊方法或函數，包含GetConfig:讀取配置文件config.ini的類，ConfigParse: 集成重寫ConfigParser的類，使其對大小寫敏感， Singleton:實現單例，LazyProperty:實現類屬性惰性計算。
其他文件配置文件:Config.ini,資料庫配置和代理獲取介面配置，可以在GetFreeProxy中添加新的代理獲取方法，並在Config.ini中注冊即可使用。

7. Python怎樣將外國的IP地理解析

步驟如下：
1、網路淘寶IP地址庫
2、點擊Rest API 可以看到請求介面，後邊的密鑰啥的不用管
3、使用介面+IP地址解析歸屬地可以看到如下返回結果
4、使用python獲取這里只獲取城市信息，如需要其他信息，如國家等自己找對應key即可。

8. python中，進行爬蟲抓取怎麼樣能夠使用代理IP

網路數據量越來越大，從網頁中獲取信息變得越來越困難，如何有效地抓取並利用信息，已成為網路爬蟲一個巨大的挑戰。下面IPIDEA為大家講明爬蟲代理IP的使用方法。

1.利用爬蟲腳本每天定時爬取代理網站上的ip，寫入MongoDB或者其他的資料庫中，這張表作為原始表。

2.使用之前需要做一步測試，就是測試這個ip是否有效，方法就是利用curl訪問一個網站查看返回值，需要創建一張新表，循環讀取原始表有效則插入，驗證之後將其從原始表中刪除，驗證的同時能夠利用響應時間來計算這個ip的質量，和最大使用次數，有一個演算法能夠參考一種基於連接代理優化管理的多線程網路爬蟲處理方法。

3.把有效的ip寫入ip代理池的配置文件，重新載入配置文件。

4.讓爬蟲程序去指定的dailiy的服務ip和埠，進行爬取。

9. python 爬蟲 ip池怎麼做

無論是爬取IP，都能在本地設計動態代理IP池。這樣既方便使用，又可以提升工作效率。那麼怎麼在本地設計一個代理IP池呢？IPIDEA為大家簡述本地代理IP池的設計和日常維護。
代理IP獲取介面，如果是普通代理IP，使用ProxyGetter介面，從代理源網站抓取最新代理IP；如果是需耗費代理IP，一般都有提供獲取IP的API，會有一定的限制，比如每次提取多少個，提取間隔多少秒。

代理IP資料庫，用以存放在動態VPS上獲取到的代理IP，建議選擇SSDB。SSDB的性能很突出，與Redis基本相當了，Redis是內存型，容量問題是弱項，並且內存成本太高，SSDB針對這個弱點，使用硬碟存儲，使用Google高性能的存儲引擎LevelDB，適合大數據量處理並把性能優化到Redis級別。

代理IP檢驗計劃，代理IP具備時效性，過有效期就會失效，因此 需要去檢驗有效性。設置一個定時檢驗計劃，檢驗代理IP有效性，刪除無效IP、高延時IP，同時預警，當IP池裡的IP少於某個閾值時，根據代理IP獲取介面獲取新的IP。

代理IP池外部介面除代理撥號伺服器獲取的代理IP池，還需要設計一個外部介面，通過這個介面調用IP池裡的IP給爬蟲使用。代理IP池功能比較簡單，使用Flask就可以搞定。功能可以是給爬蟲提供get/delete/refresh等介面，方便爬蟲直接使用。

10. python取MYSQL資料庫里的IP來PING，將結果再寫到資料庫中，但是第二次再取IP時便出錯，取出來是空的

這個問題相當好解決啊。你在插數據的時候，是不是定義了ID，讓ID自動增加就可以實現添加而不是覆蓋。

設計資料庫表的時候，第一個欄位ID讓它自增方式。在python寫insert語句時，勉強將你自己定義的ID值放進去。就是insert table () values() 前面那個括弧里不要寫ID，後面values也將ID值去掉