搭建api代理伺服器
⑴ 如何開通國際代理伺服器
以google瀏覽器為例:
步驟一:
登錄Ipidea賬號,生成API鏈接,打開鏈接並將鏈接內的IP復制
⑵ 急!!自己怎麼搭建HTTP/Socks5隧道代理呢
自己搭建高質量億級IP的HTTP/Socks5隧道代理
一、前言
在做爬蟲、數據採集、賬號搜索項目時,需要用到高質量代理IP。目前比較流行也是最常見的代理IP服務,大部分是通過api鏈接提取。通過不斷的訪問api介面,api伺服器返回一個或多個可用代理IP,然後將代理IP應用於自己的程序或軟體中。api伺服器維護了一個可用IP池,並且不斷在更新加入新的可用IP。客戶端訪問時,則返回最新可用IP。
API提取方式簡單實現,但也有一定弊端,主要是客戶端需要不斷的訪問api介面獲取最新代理,需要一直循環。根據代理質量的不同,獲取到的代理不一定全部可用,影響了爬蟲的效率。這里推薦酷魚代理IP(https://kuyukuyu.com),有動態代理和私密代理,速度和可用率都比較好。
那麼,有沒有不需要api的代理方式呢,那我們來看看隧道代理。
二、隧道代理是什麼
隧道代理只需設置固定介面,雲端自動切換不同IP,省去了客戶端頻繁獲取的麻煩。並且通過隧道代理的多路負載技術,大大提高的代理速度和可用率。隧道代理沒有一次提取多少個IP的概念,主要是通過對不同客戶的並發請求數進行限制。一般可達到50-100次/秒的並發請求。
三、隧道代理架構
隧道代理有多個可用路徑進行轉發,採用多路復用、擇優選擇技術,提高代理成功率。經測試成功率可達99%以上。
代理伺服器返回結果時沒有經過隧道代理,而是直接返回給代理使用者。因為隧道代理僅起到建立隧道連接的作用,並不參與數據傳輸。保障了代理執行效率。
使用方便,需要頻繁切換代理。
支持高並發,多客戶端同時使用。
五、實現步驟
首先需要找到一個可持續供給的代理IP池,代理IP最好是同時支持HTTP(s)和Socks5協議的,這樣我們的隧道代理也可以支持socks5。這里推薦酷魚私密代理 https://kuyukuyu.com/mains/secret ,可用率99%以上,速度快。
購買後在用戶中心獲取API提取鏈接,然後設置白名單和提取數量。
將獲取到的代理寫入Squid配置文件。/etc/squid/squid.conf
重載配置文件,使用配置生效。
每隔1秒重復一次,並不斷循環。
六、Squid使用方法
將squid 做為代理伺服器
備份源文件 cp /etc/squid/squid.conf /etc/squid/squid.conf.source,用於腳本自動更新
在squid所在伺服器運行腳本。
七、進一步優化
由於squid只支持http(s),不支持socks5協議,所有就算購買的代理池支持socks5,隧道代理也不支持。如需支持socks5,只需要使用其他軟體替代squid。如果有這方面的需要可以聯系酷魚代理客服。
可以在隧道代理上使用iptables進行限制訪問,達到白名單功能。
iptables還可以對單個客戶端請求數量或流量限制,達到限流功能。
文章來源:網頁鏈接
⑶ 怎樣設置代理伺服器
方法/步驟 如何獲取免費代理IP
1
網路「有代理」,打開網站。單擊選擇下面「最新代理」中的第一行 「05月07日 最新代理ip地址大全」。
2
打開後會看到網頁上有很多代理IP地址。
3
選擇國內的一個代理伺服器作為演示,如圖,注釋的是廣東電信。
END
方法/步驟2 設置代理伺服器並訪問
1
打開傲遊雲瀏覽器,單擊左上角的用戶圖標,在彈出菜單中點擊「設置」。
2
跳出設置窗口,選擇左側菜單項中的「代理伺服器」
3
在 「代理伺服器設置」 中選擇 「使用自定義代理」,點擊添加。
4
在跳出窗口填寫代理伺服器信息,如圖所示,填完然後單擊確定。注意:14.29.117.37:80@HTTP 這是演示用的代理IP,其中14.29.117.37即為地址,80為埠,HTTP為類型,其中用戶名和密碼不用填。
5
添加成功,由於代理伺服器裡面只有這一個,所以被默認使用。如果含有多個代理伺服器,則需要先選中要使用的伺服器,再單擊默認。
6
接下來就是測試是否成功啦。網路「ip」,在搜索結果中可以看到,本地ip已經變成了代理伺服器ip。
7
設置代理成功。
⑷ 如何使用代理伺服器
1. 建立本地IP池自由使用
一般來說直接從代理IP服務商處所獲取的API介面並不能高效的提取IP,所以一些有條件的用戶可以通過程序將這些服務商處提取出的IP經過驗證後放入自己建立的本地IP池當中,在使用時就可以不受提取限制的自由使用了。
2. 通過API介面直接調用
通過付費代理IP服務商例如IPIDEA處購買IP後就可以從後台登陸賬號,生成API介面,連接後就可以調用API介面來提取IP,不過這種方式也會受到提取規則的限制。
3. 使用動態轉發自動切換
用戶們可以將自己的固定IP和IP埠設定為代理伺服器,然後通過動態轉發的方式實現IP代理。這種方式可以解放用戶,每次完成請求後自動通過API介面調用IP切換到新的IP。
⑸ 想編寫一個簡單的代理伺服器
代理伺服器的應用非常廣泛。比如,在企業網內部,它可以用來控制員工在工作時瀏覽的Internet內容,阻止員工訪問某些類型的內容或某些指定的網站。代理伺服器實際上扮演著瀏覽器和Web伺服器之間的中間人的角色,能夠對瀏覽器請求進行各種各樣的處理,能夠過濾廣告和Cookie,能夠預先提取Web頁面,使得瀏覽器訪問頁面的速度更快,等等。
一、基礎知識
不管以哪種方式應用代理伺服器,其監控HTTP傳輸的過程總是如下:
步驟一:內部的瀏覽器發送請求給代理伺服器。請求的第一行包含了目標URL。
步驟二:代理伺服器讀取該URL,並把請求轉發給合適的目標伺服器。
步驟三:代理伺服器接收來自Internet目標機器的應答,把應答轉發給合適的內部瀏覽器。
例如,假設有一個企業的雇員試圖訪問www.cn.ibm.com網站。如果沒有代理伺服器,雇員的瀏覽器打開的Socket通向運行這個網站的Web伺服器,從Web伺服器返回的數據也直接傳遞給雇員的瀏覽器。如果瀏覽器被配置成使用代理伺服器,則請求首先到達代理伺服器;隨後,代理伺服器從請求的第一行提取目標URL,打開一個通向www.cn.ibm.com的Socket。當www.cn.ibm.com返回應答時,代理伺服器把應答轉發給雇員的瀏覽器。
當然,代理伺服器並非只適用於企業環境。作為一個開發者,擁有一個自己的代理伺服器是一件很不錯的事情。例如,我們可以用代理伺服器來分析瀏覽器和Web伺服器的交互過程。測試和解決Web應用中存在的問題時,這種功能是很有用的。我們甚至還可以同時使用多個代理伺服器(大多數代理伺服器允許多個伺服器鏈接在一起使用)。例如,我們可以有一個企業的代理伺服器,再加上一個用java編寫的代理伺服器,用來調試應用程序。但應該注意的是,代理伺服器鏈上的每一個伺服器都會對性能產生一定的影響。
二、設計規劃
正如其名字所示,代理伺服器只不過是一種特殊的伺服器。和大多數伺服器一樣,如果要處理多個請求,代理伺服器應該使用線程。下面是一個代理伺服器的基本規劃:
等待來自客戶(Web瀏覽器)的請求。
啟動一個新的線程,以處理客戶連接請求。
讀取瀏覽器請求的第一行(該行內容包含了請求的目標URL)。
分析請求的第一行內容,得到目標伺服器的名字和埠。
打開一個通向目標伺服器(或下一個代理伺服器,如合適的話)的Socket。
把請求的第一行發送到輸出Socket。
把請求的剩餘部分發送到輸出Socket。
把目標Web伺服器返回的數據發送給發出請求的瀏覽器。
當然,如果考慮細節的話,情況會更復雜一些。實際上,這里主要有兩個問題要考慮:第一,從Socket按行讀取數據最適合進一步處理,但這會產生性能瓶頸;第二,兩個Socket之間的連接必需高效。有幾種方法可以實現這兩個目標,但每一種方法都有各自的代價。例如,如果要在數據進入的時候進行過濾,這些數據最好按行讀取;然而,大多數時候,當數據到達代理伺服器時,立即把它轉發出去更適合高效這一要求。另外,數據的發送和接收也可以使用多個獨立的線程,但大量地創建和拆除線程也會帶來性能問題。因此,對於每一個請求,我們將用一個線程處理數據的接收和發送,同時在數據到達代理伺服器時,盡可能快速地把它轉發出去。
三、實例
在用java編寫這個代理伺服器的過程中,注意可重用性是很重要的。因為這樣的話,當我們想要在另一個工程中以不同的方式處理瀏覽器請求時,可以方便地重用該代理伺服器。當然,我們必須注意靈活性和效率之間的平衡。
圖一顯示了本文代理伺服器實例(HttpProxy.java)的輸出界面,當瀏覽器訪問http://www-900.ibm.com/cn/時,代理伺服器向默認日誌設備(即標准輸出設備屏幕)輸出瀏覽器請求的URL。圖二顯示了SubHttpProxy的輸出。SubHttpProxy是HttpProxy的一個簡單擴展。
圖一
圖二
為了構造代理伺服器,我從Thread基類派生出了HttpProxy類(文章正文中出現的代碼是該類的一些片斷,完整的代碼請從本文最後下載)。HttpProxy類包含了一些用來定製代理伺服器行為的屬性,參見Listing1和表一。
【Listing1】
/*************************************
*一個基礎的代理伺服器類
*************************************
*/
importjava.net.*;
importjava.io.*;
{
staticpublicintCONNECT_RETRIES=5;
staticpublicintCONNECT_PAUSE=5;
staticpublicintTIME-OUT=50;
staticpublicintBUFSIZ=1024;
staticpublicbooleanlogging=false;
staticpublicOutputStreamlog=null;
//傳入數據用的Socket
protectedSocketsocket;
//上級代理伺服器,可選
staticprivateStringparent=null;
staticprivateintparentPort=-1;
(Stringname,intpport){
parent=name;
parentPort=pport;
}
//在給定Socket上創建一個代理線程。
publicHttpProxy(Sockets){socket=s;start();}
publicvoidwriteLog(intc,booleanbrowser)throwsIOException{
log.write(c);
}
publicvoidwriteLog(byte[]bytes,intoffset,
intlen,booleanbrowser)throwsIOException{
for(inti=0;i<len;i++)writeLog((int)bytes[offset+i],browser);
}
//默認情況下,日誌信息輸出到
//標准輸出設備,
//派生類可以覆蓋它
publicStringprocessHostName(Stringurl,Stringhost,intport,Socketsock){
java.text.DateFormatcal=java.text.DateFormat.getDateTimeInstance();
System.out.println(cal.format(newjava.util.Date())+"-"+
url+""+sock.getInetAddress()+"<BR>");
returnhost;
}
表一
變數/方法說明
CONNECT_RETRIES在放棄之前嘗試連接遠程主機的次數。
CONNECT_PAUSE在兩次連接嘗試之間的暫停時間。
TIME-OUT等待Socket輸入的等待時間。
BUFSIZSocket輸入的緩沖大小。
logging是否要求代理伺服器在日誌中記錄所有已傳輸的數據(true表示「是」)。
log一個OutputStream對象,默認日誌常式將向該OutputStream對象輸出日誌信息。
setParentProxy用來把一個代理伺服器鏈接到另一個代理伺服器(需要指定另一個伺服器的名稱和埠)。
當代理伺服器連接到Web伺服器之後,我用一個簡單的循環在兩個Socket之間傳遞數據。這里可能出現一個問題,即如果沒有可操作的數據,調用read方法可能導致程序阻塞,從而掛起程序。為防止出現這個問題,我用setSoTimeout方法設置了Socket的超時時間(參見Listing2)。這樣,如果某個Socket不可用,另一個仍舊有機會進行處理,我不必創建一個新的線程。
【Listing2】
//執行操作的線程
publicvoidrun(){
Stringline;
Stringhost;
intport=80;
Socketoutbound=null;
try{
socket.setSoTimeout(TIMEOUT);
InputStreamis=socket.getInputStream();
OutputStreamos=null;
try{
//獲取請求行的內容
line="";
host="";
intstate=0;
booleanspace;
while(true){
intc=is.read();
if(c==-1)break;
if(logging)writeLog(c,true);
space=Character.isWhitespace((char)c);
switch(state){
case0:
if(space)continue;
state=1;
case1:
if(space){
state=2;
continue;
}
line=line+(char)c;
break;
case2:
if(space)continue;//跳過多個空白字元
state=3;
case3:
if(space){
state=4;
//只分析主機名稱部分
Stringhost0=host;
intn;
n=host.indexOf("//");
if(n!=-1)host=host.substring(n+2);
n=host.indexOf('/');
if(n!=-1)host=host.substring(0,n);
//分析可能存在的埠號
n=host.indexOf(":");
if(n!=-1){
port=Integer.parseInt(host.substring(n+1));
host=host.substring(0,n);
}
host=processHostName(host0,host,port,socket);
if(parent!=null){
host=parent;
port=parentPort;
}
intretry=CONNECT_RETRIES;
while(retry--!=0){
try{
outbound=newSocket(host,port);
break;
}catch(Exceptione){}
//等待
Thread.sleep(CONNECT_PAUSE);
}
if(outbound==null)break;
outbound.setSoTimeout(TIMEOUT);
os=outbound.getOutputStream();
os.write(line.getBytes());
os.write('');
os.write(host0.getBytes());
os.write('');
pipe(is,outbound.getInputStream(),os,socket.getOutputStream());
break;
}
host=host+(char)c;
break;
}
}
}
catch(IOExceptione){}
}catch(Exceptione){}
finally{
try{socket.close();}catch(Exceptione1){}
try{outbound.close();}catch(Exceptione2){}
}
}
和所有線程對象一樣,HttpProxy類的主要工作在run方法內完成(見Listing2)。run方法實現了一個簡單的狀態機,從Web瀏覽器每次一個讀取字元,持續這個過程直至有足夠的信息找出目標Web伺服器。然後,run打開一個通向該Web伺服器的Socket(如果有多個代理伺服器被鏈接在一起,則run方法打開一個通向鏈裡面下一個代理伺服器的Socket)。打開Socket之後,run先把部分的請求寫入Socket,然後調用pipe方法。pipe方法直接在兩個Socket之間以最快的速度執行讀寫操作。
如果數據規模很大,另外創建一個線程可能具有更高的效率;然而,當數據規模較小時,創建新線程所需要的開銷會抵消它帶來的好處。
Listing3顯示了一個很簡單的main方法,可以用來測試HttpProxy類。大部分的工作由一個靜態的startProxy方法完成(見Listing4)。這個方法用到了一種特殊的技術,允許一個靜態成員創建HttpProxy類(或HttpProxy類的子類)的實例。它的基本思想是:把一個Class對象傳遞給startProxy類;然後,startProxy方法利用映像API(ReflectionAPI)和getDeclaredConstructor方法確定該Class對象的哪一個構造函數接受一個Socket參數;最後,startProxy方法調用newInstance方法創建該Class對象。
【Listing3】
//測試用的簡單main方法
staticpublicvoidmain(Stringargs[]){
System.out.println("在埠808啟動代理伺服器 ");
HttpProxy.log=System.out;
HttpProxy.logging=false;
HttpProxy.startProxy(808,HttpProxy.class);
}
}
【Listing4】
staticpublicvoidstartProxy(intport,Classclobj){
ServerSocketssock;
Socketsock;
try{
ssock=newServerSocket(port);
while(true){
Class[]sarg=newClass[1];
Object[]arg=newObject[1];
sarg[0]=Socket.class;
try{
java.lang.reflect.Constructorcons=clobj.getDeclaredConstructor(sarg);
arg[0]=ssock.accept();
cons.newInstance(arg);//創建HttpProxy或其派生類的實例
}catch(Exceptione){
Socketesock=(Socket)arg[0];
try{esock.close();}catch(Exceptionec){}
}
}
}catch(IOExceptione){
}
}
利用這種技術,我們可以在不創建startProxy方法定製版本的情況下,擴展HttpProxy類。要得到給定類的Class對象,只需在正常的名字後面加上.class(如果有某個對象的一個實例,則代之以調用getClass方法)。由於我們把Class對象傳遞給了startProxy方法,所以創建HttpProxy的派生類時,就不必再特意去修改startProxy。(下載代碼中包含了一個派生得到的簡單代理伺服器)。
結束語
利用派生類定製或調整代理伺服器的行為有兩種途徑:修改主機的名字,或者捕獲所有通過代理伺服器的數據。processHostName方法允許代理伺服器分析和修改主機名字。如果啟用了日誌記錄,代理伺服器為每一個通過伺服器的字元調用writeLog方法。如何處理這些信息完全由我們自己決定——可以把它寫入日誌文件,可以把它輸出到控制台,或進行任何其他滿足我們要求的處理。writeLog輸出中的一個Boolean標記指示出數據是來自瀏覽器還是Web主機。
和許多工具一樣,代理伺服器本身並不存在好或者壞的問題,關鍵在於如何使用它們。代理伺服器可能被用於侵犯隱私,但也可以阻隔偷窺者和保護網路。即使代理伺服器和瀏覽器不在同一台機器上,我也樂意把代理伺服器看成是一種擴展瀏覽器功能的途徑。例如,在把數據發送給瀏覽器之前,可以用代理伺服器壓縮數據;未來的代理伺服器甚至還可能把頁面從一種語言翻譯成另一種語言……可能性永無止境。
⑹ 想用java編寫個代理伺服器,求具體一些思路,詳細一些,謝謝
在編寫代理伺服器之前,首先應該明白一點,Java的代理機制,如圖所示:
那麼Java就處於中間這層代理伺服器,代理伺服器所作的事情如下:
1、接收客戶端請求,進行處理,然後發送給服務端
2、接收服務端響應,進行處理,然後發送給客戶端
這樣,就更清晰了,Java提供了代理的API為,java.net.Proxy類。此類表示代理設置,通常為類型(http、socks)和套接字地址。Proxy 是不可變對象。
也就是說Java可以製作高級協議的代理,如 HTTP 或 FTP。也可以製作SOCKS(V4 或 V5)代理。
首先,使用到了URL類,HttpURLConnection類及其我們的代理類Proxy類。他們都位於java.net包中。
第一步:生成代理,指定埠為8888:
第二步:使用URLConnection類進行連接www.moonsos.com
第三步:打開URL,並且讀取HTML源碼
⑺ 搜狗高速瀏覽器怎麼設置代理伺服器
搜狗高速瀏覽器設置代理伺服器方法如下:
工具:搜狗高速瀏覽器
1、打開搜狗高速瀏覽器,點擊右上角上的「工具」按鈕,如圖所示