如何模擬代理伺服器的請求
A. 使用什麼方法可以模擬http請求
使用什麼方法可以模擬http請求
與httpwath相比,fiddler能模擬http請求、能斷點調試、http分析統計吸引了我,使用之後感覺這個工具非常不錯,這篇文章只單介紹一下fiddler工作原理,簡單介紹一下它的重要功能,以及如何使用使用fiddler模擬http請求,滿足移動服務端開發人員調試的問題。對於其他的功能大家可以自己研究一下。
fiddler工作原理:
當你啟動了Fiddler,程序將會把自己作為一個微軟互聯網服務的系統代理。作為系統代理,所有的來自微軟互聯網服務(WinInet)的http請求再到達目標Web伺服器的之前都會經過Fiddle,同樣的,所有的Http響應都會在返回客戶端之前流經Fiddler。:
fiddler重要功能:
1、HTTP統計視圖:用來分析http請求,的83個http請求:
2、用Fiddler來調試:當你在軟體的菜單rules—automatic breakpoints選項選擇beforerequest,或者當這些請求或響應屬性能夠跟目標的標准相匹配,Fiddler就能夠暫停Http通訊,允許修改請求和響應。這個個vs的斷點調試一樣,相當實用。
比如說:我請求login。在提交到伺服器之前,可以暫停請求,強制修改httphead,:
然後點擊運行到完成:
3、Fiddler 擴展:fiddler是用.net開發的,可以使用腳本和.net語言擴展fiddler。
使用Request Builder模擬http請求
對於移動服務端開發人員來說,使用這個工具模擬移動客戶端請求是非常方便的。
get請求:
下拉框中選擇GET,輸入請求的地址,輸入Request Headers。Request Headers是鍵值對的格式,用:隔開。點擊執行。
在中可以看到相應的結果:
Post請求:對於post請求,需要輸入Reuqest Body。而Request Body 默認情況是隱藏起來的。按下面步驟點擊顯示出Reuqest Body。
1、點擊Options。
2、點擊Tear off,。
點擊執行,就可以模擬post請求了。
B. 怎樣設置代理伺服器
相信很多了解互聯網工作的朋友對代理IP有簡單的說HTTP代理伺服器,位於Web客戶端和Web伺服器之間的角色,就叫HTTP代理伺服器。它有什麼用呢?最顯著的作用就是可以匿名訪問,使用HTTP代理伺服器,通過隱藏本地實際IP地址,達到繼續訪問目標網站的目的。
HTTP伺服器代理怎麼設置?最先在互聯網上找到你必須的代理IP,為了更好地確保更安全性的掩藏當地具體IP地址,使用IP均為高匿名代理IP,安全系數更強。
當確定代理IP後,點一下電腦瀏覽器上的專用工具比如IPIDEA可以提取IP,開啟Internet選擇項,在聯接中打開設置,勾選定伺服器代理,填寫你的代理IP,保存就可以。此刻你開啟網路搜索框,查看IP發生的便是代理IP地址了。
提供IP定製服務,可以針對Python爬蟲開發者需要,協助搭建HTTP代理伺服器,並提供專人定期維護服務。如果你所需IP數量較少。
C. C語言怎樣寫代理伺服器,能實現GET請求和CONNECT請求
你先研究一下HTTP協議和socket編程吧,不是一兩個函數就能說清楚的,尤其HTTP協議,還是很復雜的,協議說明就幾百頁。。。。。相連接第一步是用socket 連接對方的某埠,需要先通過域名找到地址,然後用socket連接對方 80埠,成功後你就可以發送符合HTTP協議的請求了。。。http協議頭第一行就應該寫你在瀏覽器地址欄里寫的東西,包括get參數,後面是其他欄位,比如你希望接受什麼內容,使用的字元集等等。。。。get和FORM最大區別就是,get是連同地址域名一起發送的,所以你會在地址欄看到他,form則是有專門的欄位來描述,你是看不到的,但get簡單,在瀏覽器地址欄上你就可以手動輸入參數,不需要使用form控制項提交。。。
D. 怎麼使用代理伺服器啊!請高手解釋的清楚一些!
什麼是代理伺服器(Proxy)? Proxy是什麼呢,是代理。普通的網際網路訪問是一個典型的客戶機與伺服器結構:用戶利用計算機上的客戶端程序,如瀏覽器發出請求,遠端WWW伺服器程序響應請求並提供相應的數據。而Proxy處於客戶機與伺服器之間,對於伺服器來說,Proxy是客戶機,Proxy提出請求,伺服器響應;對於客戶機來說,Proxy是伺服器,它接受客戶機的請求,並將伺服器上傳來的數據轉給客戶機。它的作用很象現實生活中的代理服務商。因此Proxy Server的中文名稱就是代理伺服器。 代理伺服器的工作機制 代理伺服器的工作機制很象我們生活中常常提及的代理商,假設你自己的機器為A機,你想獲得的數據由伺服器B提供,代理伺服器為C,那麼具體的連接過程是這樣的。 首先,A機需要B機的數據,A直接與C機建立連接,C機接收到A機的數據請求後,與B機建立連接,下載A機所請求的B機上的數據到本地,再將此數據發送至A機,完成代理任務。 代理伺服器的作用有四個: 一、提高訪問速度。因為客戶要求的數據存於代理伺服器的硬碟中,因此下次這個客戶或其它客戶再要求相同目的站點的數據時,就會直接從代理伺服器的硬碟中讀取,代理伺服器起到了緩存的作用,對熱門站點有很多客戶訪問時,代理伺服器的優勢更為明顯。 二、Proxy可以起到防火牆的作用。因為所有使用代理伺服器的用戶都必須通過代理伺服器訪問遠程站點,因此在代理伺服器上就可以設置相應的限制,以過濾或屏蔽掉某些信息。這是區域網網管對區域網用戶訪問范圍限制最常用的辦法,也是區域網用戶為什麼不能瀏覽某些網站的原因。撥號用戶如果使用代理伺服器,同樣必須服從代理伺服器的訪問限制,除非你不使用這個代理伺服器。 三、通過代理伺服器訪問一些不能直接訪問的網站。互聯網上有許多開放的代理伺服器,客戶在訪問許可權受到限制時,而這些代理伺服器的訪問許可權是不受限制的,剛好代理伺服器在客戶的訪問范圍之內,那麼客戶通過代理伺服器訪問目標網站就成為可能。國內的高校多使用教育網,不能出國,但通過代理伺服器,就能實現訪問網際網路,這就是高校內代理伺服器熱的原因所在。 四、安全性得到提高。無論是上聊天室還是瀏覽網站,目的網站只能知道你來自於代理伺服器,而你的真實IP就無法測知,這就使得使用者的安全性得以提高。 代理伺服器的設置: 要設置代理伺服器,必須先知道代理伺服器地址和埠號,然後在IE或NC的代理伺服器設置欄中填入相應地址和埠號就可以了。假設我們有一個代理伺服器的地址是Proxy.net.net,埠號是3000,在IE中的配置方法是使用查看菜單的Internet選項/連接/代理伺服器,然後在通過代理伺服器訪問Internet選項前面的復選框中打上鉤,在地址框中填入代理伺服器地址,如本例中假設代理伺服器地址是proxy.net.net,再在埠框中填上埠號3000,點一下最下方的應用按鈕,再點確定,設置完成。下次再使用IE時用戶就會發現,無論你瀏覽什麼網站,IE總是先與代理伺服器連接。用NC的話,設置稍繁一點。使用edit菜單下的Preferences菜單項,再選擇Advanced下的Proxies,此時在右側Proxies選項中選擇第二項Manral Proxy configuration,再點其右邊的View…按鈕,就會出現代理伺服器的配置界面,在代理伺服器地址和埠號欄中填入相應的內容,點擊OK,退回到參數設置窗口,再點擊OK,代理伺服器的設置工作就完成了。當客戶再次瀏覽網頁時,就會自動向你設定的代理伺服器發出申請,並得到數據,在瀏覽網站時,無論是IE或是NC都可以在瀏覽器狀態欄中清楚地看到先連代理伺服器,再連目標網站的過程。 但是,千萬不要把Proxy Server和Router搞混了,Proxy Server是建立在應用層上的服務軟體,而Router則是一台網路設備或一台電腦,它是工作在IP層的,數據到達IP層後就進行轉發。一般一個Proxy Server工作在一台既具有MODEM和網卡的計算機上的。不同的Proxy Server軟體提供的服務不同,一般都提供WWW,FTP等常用的服務。在內部網中每台客機都必須具有一個獨立的IP地址,且在客機的"控制面板-Internet 項"中"連接"中配置使用Proxy Server且指向Proxy Server IP地址和服務的埠號。當Proxy Server啟動時,將利用Winsock.dll開辟一個指定的服務埠,等待客機的的請求。當Proxy Server的MODEM撥號上網後,你的Proxy Server就可以工作了。當你在你的IE發出一連接請求時,你的客機就直接將數據包發到Proxy Server,當伺服器捕獲這個IP包時,首先要分析它是什麼請求,如果是HTTP請求,Proxy Server就向你的ISP發出HTTP請求,當Proxy Server收到回應時,就將此IP包轉發到內部網路上,你的客機就會獲得此IP包。另外你的Proxy Server還可以做為一個很好的防火牆。具體操作,請參考你的Proxy Server的readme文件。 在您訪問網際網路的Web伺服器時,您可知道會有多少個人信息泄漏給別人?在上網訪問的過程中,Web瀏覽器至少會把20多項有關您個人的信息在您毫無覺察的情況下悄悄地送往Web伺服器上。 這些個人信息如果是被傳送到知名網站或是大型企業的Web伺服器上,還不會有什麼大問題。若是被傳送到連是誰開設的網站都不清楚的Web伺服器上,則會令人深感不安。Web瀏覽器傳送給Web伺服器的信息,用行話來說就是"環境變數"。其主要內容為:(1)分配給電腦的IP地址(REMOTE_A DDR)和主機名(REMOTE_HOST);(2)Web瀏覽器所使用的埠序號(REMOTE_PORT);(3)Web瀏覽器的產品名(HTTP_USER_AGENT);(4)所瀏覽過的網站中最新一個的網頁地址(HTTP_REFERER)等。 上述各項雖然不包含電子郵件地址及姓名等的個人信息,但(1)中的IP地址和主機名在安全性方面委實令人難以放心,可是採取什麼樣的方法才可以遮掩自己的IP地址呢? 解決這個問題其實很簡單。只要通過代理伺服器(proxy server)訪問Web伺服器即可。代理伺服器的作用在於它可替Web伺服器承受來自各個終端的訪問請求。在企業網方面,代理伺服器被設置在公司內部的LAN與網際網路相互鏈接的部分上。拔號上網時,可使用網際網路接駁商提供的代理伺服器即可。 http://www.proxycn.com/ 參考文獻:http://www.pcdog.com 2004-5-17 天極
採納哦
E. 如何用代理伺服器
第一步、點「選項」——>「代理伺服器」——>「代理設置」 。
第二步、在出現的對話框中點擊右上角的「+」添加新的代理伺服器 。
第三步、在彈出的對話框中填寫代理伺服器。
第四步、點「選項」——>「代理伺服器」——>單擊你想使用的代理即可。
F. 代理伺服器怎麼設置
在電腦的【網路和共享中心】界面,選擇【設置新的連接或網路】-【連接到工作區】;點擊【使用我的Internet連接(VPN)】,輸入Internet地址;輸入你申請的賬號和密碼,驗證成功後即可成功連接到代理伺服器。
就好像一個大的Cache,它不斷將新取得數據包存到它本機的存儲器上,如果瀏覽器所請求的數據在它本機的存儲器上已經存在而且是最新的,那麼它就不重新從Web伺服器取數據,而直接將存儲器上的數據傳送給用戶的瀏覽器,這樣就能顯著提高瀏覽速度和效率。
代理伺服器是網路信息的中轉站。一般情況下,使用網路瀏覽器直接去鏈接其它Internet站點並取得網路信息時,須送出請求信號來得到應答,然後對方再把信息傳送回來。代理伺服器是介於瀏覽器和Web伺服器之間的一台伺服器。
有了它之後,瀏覽器不是直接到Web伺服器去取回網頁而是向代理伺服器發出請求,請求信號會先送到代理伺服器,由代理伺服器來取回瀏覽器所需要的信息並傳送給你的瀏覽器。而且,大部分代理伺服器都具有緩沖的功能。
G. 如何用java實現一個代理伺服器
代理伺服器的應用非常廣泛。比如,在企業網內部,它可以用來控制員工在工作時瀏覽的Internet內容,阻止員工訪問某些類型的內容或某些指定的網站。代理伺服器實際上扮演著瀏覽器和Web伺服器之間的中間人的角色,能夠對瀏覽器請求進行各種各樣的處理,能夠過濾廣告和Cookie,能夠預先提取Web頁面,使得瀏覽器訪問頁面的速度更快,等等。
一、基礎知識
不管以哪種方式應用代理伺服器,其監控HTTP傳輸的過程總是如下:
步驟一:內部的瀏覽器發送請求給代理伺服器。請求的第一行包含了目標URL。
步驟二:代理伺服器讀取該URL,並把請求轉發給合適的目標伺服器。
步驟三:代理伺服器接收來自Internet目標機器的應答,把應答轉發給合適的內部瀏覽器。
例如,假設有一個企業的雇員試圖訪問www.cn.ibm.com網站。如果沒有代理伺服器,雇員的瀏覽器打開的Socket通向運行這個網站的Web伺服器,從Web伺服器返回的數據也直接傳遞給雇員的瀏覽器。如果瀏覽器被配置成使用代理伺服器,則請求首先到達代理伺服器;隨後,代理伺服器從請求的第一行提取目標URL,打開一個通向www.cn.ibm.com的Socket。當www.cn.ibm.com返回應答時,代理伺服器把應答轉發給雇員的瀏覽器。
當然,代理伺服器並非只適用於企業環境。作為一個開發者,擁有一個自己的代理伺服器是一件很不錯的事情。例如,我們可以用代理伺服器來分析瀏覽器和Web伺服器的交互過程。測試和解決Web應用中存在的問題時,這種功能是很有用的。我們甚至還可以同時使用多個代理伺服器(大多數代理伺服器允許多個伺服器鏈接在一起使用)。例如,我們可以有一個企業的代理伺服器,再加上一個用java編寫的代理伺服器,用來調試應用程序。但應該注意的是,代理伺服器鏈上的每一個伺服器都會對性能產生一定的影響。
二、設計規劃
正如其名字所示,代理伺服器只不過是一種特殊的伺服器。和大多數伺服器一樣,如果要處理多個請求,代理伺服器應該使用線程。下面是一個代理伺服器的基本規劃:
等待來自客戶(Web瀏覽器)的請求。
啟動一個新的線程,以處理客戶連接請求。
讀取瀏覽器請求的第一行(該行內容包含了請求的目標URL)。
分析請求的第一行內容,得到目標伺服器的名字和埠。
打開一個通向目標伺服器(或下一個代理伺服器,如合適的話)的Socket。
把請求的第一行發送到輸出Socket。
把請求的剩餘部分發送到輸出Socket。
把目標Web伺服器返回的數據發送給發出請求的瀏覽器。
當然,如果考慮細節的話,情況會更復雜一些。實際上,這里主要有兩個問題要考慮:第一,從Socket按行讀取數據最適合進一步處理,但這會產生性能瓶頸;第二,兩個Socket之間的連接必需高效。有幾種方法可以實現這兩個目標,但每一種方法都有各自的代價。例如,如果要在數據進入的時候進行過濾,這些數據最好按行讀取;然而,大多數時候,當數據到達代理伺服器時,立即把它轉發出去更適合高效這一要求。另外,數據的發送和接收也可以使用多個獨立的線程,但大量地創建和拆除線程也會帶來性能問題。因此,對於每一個請求,我們將用一個線程處理數據的接收和發送,同時在數據到達代理伺服器時,盡可能快速地把它轉發出去。
三、實例
在用java編寫這個代理伺服器的過程中,注意可重用性是很重要的。因為這樣的話,當我們想要在另一個工程中以不同的方式處理瀏覽器請求時,可以方便地重用該代理伺服器。當然,我們必須注意靈活性和效率之間的平衡。
圖一顯示了本文代理伺服器實例(HttpProxy.java)的輸出界面,當瀏覽器訪問http://www-900.ibm.com/cn/時,代理伺服器向默認日誌設備(即標准輸出設備屏幕)輸出瀏覽器請求的URL。圖二顯示了SubHttpProxy的輸出。SubHttpProxy是HttpProxy的一個簡單擴展。
圖一
圖二
為了構造代理伺服器,我從Thread基類派生出了HttpProxy類(文章正文中出現的代碼是該類的一些片斷,完整的代碼請從本文最後下載)。HttpProxy類包含了一些用來定製代理伺服器行為的屬性,參見Listing 1和表一。
【Listing 1】
/*************************************
* 一個基礎的代理伺服器類
*************************************
*/
import java.net.*;
import java.io.*;
public class HttpProxy extends Thread {
static public int CONNECT_RETRIES=5;
static public int CONNECT_PAUSE=5;
static public int TIME-OUT=50;
static public int BUFSIZ=1024;
static public boolean logging = false;
static public OutputStream log=null;
// 傳入數據用的Socket
protected Socket socket;
// 上級代理伺服器,可選
static private String parent=null;
static private int parentPort=-1;
static public void setParentProxy(String name, int pport) {
parent=name;
parentPort=pport;
}
// 在給定Socket上創建一個代理線程。
public HttpProxy(Socket s) { socket=s; start(); }
public void writeLog(int c, boolean browser) throws IOException {
log.write(c);
}
public void writeLog(byte[] bytes,int offset,
int len, boolean browser) throws IOException {
for (int i=0;i<len;i++) writeLog((int)bytes[offset+i],browser);
}
// 默認情況下,日誌信息輸出到
// 標准輸出設備,
// 派生類可以覆蓋它
public String processHostName(String url, String host, int port, Socket sock) {
java.text.DateFormat cal=java.text.DateFormat.getDateTimeInstance();
System.out.println(cal.format(new java.util.Date()) + " - " +
url + " " + sock.getInetAddress()+"<BR>");
return host;
}
表一
變數/方法 說明
CONNECT_RETRIES 在放棄之前嘗試連接遠程主機的次數。
CONNECT_PAUSE 在兩次連接嘗試之間的暫停時間。
TIME-OUT 等待Socket輸入的等待時間。
BUFSIZ Socket輸入的緩沖大小。
logging 是否要求代理伺服器在日誌中記錄所有已傳輸的數據(true表示「是」)。
log 一個OutputStream對象,默認日誌常式將向該OutputStream對象輸出日誌信息。
setParentProxy 用來把一個代理伺服器鏈接到另一個代理伺服器(需要指定另一個伺服器的名稱和埠)。
當代理伺服器連接到Web伺服器之後,我用一個簡單的循環在兩個Socket之間傳遞數據。這里可能出現一個問題,即如果沒有可操作的數據,調用read方法可能導致程序阻塞,從而掛起程序。為防止出現這個問題,我用setSoTimeout方法設置了Socket的超時時間(參見Listing 2)。這樣,如果某個Socket不可用,另一個仍舊有機會進行處理,我不必創建一個新的線程。
【Listing 2】
// 執行操作的線程
public void run() {
String line;
String host;
int port=80;
Socket outbound=null;
try {
socket.setSoTimeout(TIMEOUT);
InputStream is=socket.getInputStream();
OutputStream os=null;
try {
// 獲取請求行的內容
line="";
host="";
int state=0;
boolean space;
while (true) {
int c=is.read();
if (c==-1) break;
if (logging) writeLog(c,true);
space=Character.isWhitespace((char)c);
switch (state) {
case 0:
if (space) continue;
state=1;
case 1:
if (space) {
state=2;
continue;
}
line=line+(char)c;
break;
case 2:
if (space) continue; // 跳過多個空白字元
state=3;
case 3:
if (space) {
state=4;
// 只分析主機名稱部分
String host0=host;
int n;
n=host.indexOf("//");
if (n!=-1) host=host.substring(n+2);
n=host.indexOf('/');
if (n!=-1) host=host.substring(0,n);
// 分析可能存在的埠號
n=host.indexOf(":");
if (n!=-1) {
port=Integer.parseInt(host.substring(n+1));
host=host.substring(0,n);
}
host=processHostName(host0,host,port,socket);
if (parent!=null) {
host=parent;
port=parentPort;
}
int retry=CONNECT_RETRIES;
while (retry--!=0) {
try {
outbound=new Socket(host,port);
break;
} catch (Exception e) { }
// 等待
Thread.sleep(CONNECT_PAUSE);
}
if (outbound==null) break;
outbound.setSoTimeout(TIMEOUT);
os=outbound.getOutputStream();
os.write(line.getBytes());
os.write(' ');
os.write(host0.getBytes());
os.write(' ');
pipe(is,outbound.getInputStream(),os,socket.getOutputStream());
break;
}
host=host+(char)c;
break;
}
}
}
catch (IOException e) { }
} catch (Exception e) { }
finally {
try { socket.close();} catch (Exception e1) {}
try { outbound.close();} catch (Exception e2) {}
}
}
和所有線程對象一樣,HttpProxy類的主要工作在run方法內完成(見Listing 2)。run方法實現了一個簡單的狀態機,從Web瀏覽器每次一個讀取字元,持續這個過程直至有足夠的信息找出目標Web伺服器。然後,run打開一個通向該Web伺服器的Socket(如果有多個代理伺服器被鏈接在一起,則run方法打開一個通向鏈裡面下一個代理伺服器的Socket)。打開Socket之後,run先把部分的請求寫入Socket,然後調用pipe方法。pipe方法直接在兩個Socket之間以最快的速度執行讀寫操作。
如果數據規模很大,另外創建一個線程可能具有更高的效率;然而,當數據規模較小時,創建新線程所需要的開銷會抵消它帶來的好處。
Listing 3顯示了一個很簡單的main方法,可以用來測試HttpProxy類。大部分的工作由一個靜態的startProxy方法完成(見Listing 4)。這個方法用到了一種特殊的技術,允許一個靜態成員創建HttpProxy類(或HttpProxy類的子類)的實例。它的基本思想是:把一個Class對象傳遞給startProxy類;然後,startProxy方法利用映像API(Reflection API)和getDeclaredConstructor方法確定該Class對象的哪一個構造函數接受一個Socket參數;最後,startProxy方法調用newInstance方法創建該Class對象。
【Listing 3】
// 測試用的簡單main方法
static public void main(String args[]) {
System.out.println("在埠808啟動代理伺服器\n");
HttpProxy.log=System.out;
HttpProxy.logging=false;
HttpProxy.startProxy(808,HttpProxy.class);
}
}
【Listing 4】
static public void startProxy(int port,Class clobj) {
ServerSocket ssock;
Socket sock;
try {
ssock=new ServerSocket(port);
while (true) {
Class [] sarg = new Class[1];
Object [] arg= new Object[1];
sarg[0]=Socket.class;
try {
java.lang.reflect.Constructor cons = clobj.getDeclaredConstructor(sarg);
arg[0]=ssock.accept();
cons.newInstance(arg); // 創建HttpProxy或其派生類的實例
} catch (Exception e) {
Socket esock = (Socket)arg[0];
try { esock.close(); } catch (Exception ec) {}
}
}
} catch (IOException e) {
}
}
利用這種技術,我們可以在不創建startProxy方法定製版本的情況下,擴展HttpProxy類。要得到給定類的Class對象,只需在正常的名字後面加上.class(如果有某個對象的一個實例,則代之以調用getClass方法)。由於我們把Class對象傳遞給了startProxy方法,所以創建HttpProxy的派生類時,就不必再特意去修改startProxy。(下載代碼中包含了一個派生得到的簡單代理伺服器)。
結束語
利用派生類定製或調整代理伺服器的行為有兩種途徑:修改主機的名字,或者捕獲所有通過代理伺服器的數據。processHostName方法允許代理伺服器分析和修改主機名字。如果啟用了日誌記錄,代理伺服器為每一個通過伺服器的字元調用writeLog方法。如何處理這些信息完全由我們自己決定——可以把它寫入日誌文件,可以把它輸出到控制台,或進行任何其他滿足我們要求的處理。writeLog輸出中的一個Boolean標記指示出數據是來自瀏覽器還是Web主機。
和許多工具一樣,代理伺服器本身並不存在好或者壞的問題,關鍵在於如何使用它們。代理伺服器可能被用於侵犯隱私,但也可以阻隔偷窺者和保護網路。即使代理伺服器和瀏覽器不在同一台機器上,我也樂意把代理伺服器看成是一種擴展瀏覽器功能的途徑。例如,在把數據發送給瀏覽器之前,可以用代理伺服器壓縮數據;未來的代理伺服器甚至還可能把頁面從一種語言翻譯成另一種語言……可能性永無止境。
H. 如何使用代理伺服器上網
1、首先我們點擊電腦的菜單「設置」進入windows管理,如下圖所示。