http代理伺服器源碼
A. C++實現http簡易代理伺服器
我正在做與你同樣的工作，我選擇了mongoose,一款開源的http伺服器。
http://code.google.com/p/mongoose/
這是它的網站，可以下載源碼，並且協議非常自由。
有不明白之處可以聯系我。我正在基於mongoose進行開發。
=========================================
源碼在這里可以下載到，http://code.google.com/p/mongoose/downloads/list
我也只是一個c程序員，不太會網路編程。但用mongoose的確非常簡單，因為就是c++寫的，你應該看起來不費勁。
B. 如何開發自己的httpserver-nanohttpd源碼解讀
現在作為一個開發人員，http server相關的內容已經是無論如何都要了解的知識了。用curl發一個請求，配置一下apache，部署一個web server對我們來說都不是很難，但要想搞清楚這些背後都發生了什麼技術細節還真不是很簡單的。所以新的系列將是分享我學習Http Server的過程。
NanoHttpd是Github上的一個開源項目，號稱只用一個java文件就能創建一個http server，我將通過分析NanoHttpd的源碼解析如何開發自己的HttpServer。Github 地址：https://github.com/NanoHttpd/nanohttpd
在開始前首先簡單說明HttpServer的基本要素：
1.能接受HttpRequest並返回HttpResponse
2.滿足一個Server的基本特徵，能夠長時間運行
關於Http協議一般HttpServer都會聲明支持Http協議的哪些特性，nanohttpd作為一個輕量級的httpserver只實現了最簡單、最常用的功能，不過我們依然可以從中學習很多。
首先看下NanoHttpd類的start函數
[java] view plain
public void start() throws IOException {
myServerSocket = new ServerSocket();
myServerSocket.bind((hostname != null) ? new InetSocketAddress(hostname, myPort) : new InetSocketAddress(myPort));
myThread = new Thread(new Runnable() {
@Override
public void run() {
do {
try {
final Socket finalAccept = myServerSocket.accept();
registerConnection(finalAccept);
finalAccept.setSoTimeout(SOCKET_READ_TIMEOUT);
final InputStream inputStream = finalAccept.getInputStream();
asyncRunner.exec(new Runnable() {
@Override
public void run() {
OutputStream outputStream = null;
try {
outputStream = finalAccept.getOutputStream();
TempFileManager tempFileManager = tempFileManagerFactory.create();
HTTPSession session = new HTTPSession(tempFileManager, inputStream, outputStream, finalAccept.getInetAddress());
while (!finalAccept.isClosed()) {
session.execute();
}
} catch (Exception e) {
// When the socket is closed by the client, we throw our own SocketException
// to break the "keep alive" loop above.
if (!(e instanceof SocketException && "NanoHttpd Shutdown".equals(e.getMessage()))) {
e.printStackTrace();
}
} finally {
safeClose(outputStream);
safeClose(inputStream);
safeClose(finalAccept);
unRegisterConnection(finalAccept);
}
}
});
} catch (IOException e) {
}
} while (!myServerSocket.isClosed());
}
});
myThread.setDaemon(true);
myThread.setName("NanoHttpd Main Listener");
myThread.start();
}
1.創建ServerSocket，bind制定埠
2.創建主線程，主線程負責和client建立連接
3.建立連接後會生成一個runnable對象放入asyncRunner中，asyncRunner.exec會創建一個線程來處理新生成的連接。
4.新線程首先創建了一個HttpSession，然後while(true)的執行httpSession.exec。
這里介紹下HttpSession的概念，HttpSession是java里Session概念的實現，簡單來說一個Session就是一次httpClient->httpServer的連接，當連接close後session就結束了，如果沒結束則session會一直存在。這點從這里的代碼也能看到：如果socket不close或者exec沒有拋出異常（異常有可能是client段斷開連接）session會一直執行exec方法。
一個HttpSession中存儲了一次網路連接中server應該保存的信息，比如：URI，METHOD，PARAMS，HEADERS，COOKIES等。
5.這里accept一個client的socket就創建一個獨立線程的server模型是ThreadServer模型，特點是一個connection就會創建一個thread，是比較簡單、常見的socket server實現。缺點是在同時處理大量連接時線程切換需要消耗大量的資源，如果有興趣可以了解更加高效的NIO實現方式。
當獲得client的socket後自然要開始處理client發送的httprequest。
Http Request Header的parse：
[plain] view plain
// Read the first 8192 bytes.
// The full header should fit in here.
// Apache's default header limit is 8KB.
// Do NOT assume that a single read will get the entire header at once!
byte[] buf = new byte[BUFSIZE];
splitbyte = 0;
rlen = 0;
{
int read = -1;
try {
read = inputStream.read(buf, 0, BUFSIZE);
} catch (Exception e) {
safeClose(inputStream);
safeClose(outputStream);
throw new SocketException("NanoHttpd Shutdown");
}
if (read == -1) {
// socket was been closed
safeClose(inputStream);
safeClose(outputStream);
throw new SocketException("NanoHttpd Shutdown");
}
while (read > 0) {
rlen += read;
splitbyte = findHeaderEnd(buf, rlen);
if (splitbyte > 0)
break;
read = inputStream.read(buf, rlen, BUFSIZE - rlen);
}
}
1.讀取socket數據流的前8192個位元組，因為http協議中頭部最長為8192
2.通過findHeaderEnd函數找到header數據的截止位置，並把位置保存到splitbyte內。
[java] view plain
if (splitbyte < rlen) {
inputStream.unread(buf, splitbyte, rlen - splitbyte);
}
parms = new HashMap<String, String>();
if(null == headers) {
headers = new HashMap<String, String>();
}
1.http協議規定header和body之間使用兩個回車換行分割
1.Http協議第一行是Method URI HTTP_VERSION
2.後面每行都是KEY:VALUE格式的header
3.uri需要經過URIDecode處理後才能使用
4.uri中如果包含？則表示有param，httprequest的param一般表現為:/index.jsp?username=xiaoming&id=2
下面是處理cookie，不過這里cookie的實現較為簡單，所以跳過。之後是serve方法，serve方法提供了用戶自己實現httpserver具體邏輯的很好介面。在NanoHttpd中的serve方法實現了一個默認的簡單處理功能。
[java] view plain
發送response的步驟如下：
1.設置mimeType和Time等內容。
2.創建一個PrintWriter，按照HTTP協議依次開始寫入內容
3.第一行是HTTP的返回碼
4.然後是content-Type
5.然後是Date時間
6.之後是其他的HTTP Header
7.設置Keep-Alive的Header，Keep-Alive是Http1.1的新特性，作用是讓客戶端和伺服器端之間保持一個長鏈接。
8.如果客戶端指定了ChunkedEncoding則分塊發送response，Chunked Encoding是Http1.1的又一新特性。一般在response的body比較大的時候使用，server端會首先發送response的HEADER，然後分塊發送response的body，每個分塊都由chunk length\r\n和chunk data\r\n組成，最後由一個0\r\n結束。
9.如果沒指定ChunkedEncoding則需要指定Content-Length來讓客戶端指定response的body的size，然後再一直寫body直到寫完為止。
C. 求D2007下可以使用的HTTP代理伺服器源碼，最好無第三方控制項。
廣告帖
D. 如何開發自己的HttpServer-NanoHttpd源碼解讀
現在作為一個開發人員，http server相關的內容已經是無論如何都要了解的知識了。用curl發一個請求，配置一下apache，部署一個web server對我們來說都不是很難，但要想搞清楚這些背後都發生了什麼技術細節還真不是很簡單的。所以新的系列將是分享我學習Http Server的過程。
NanoHttpd是Github上的一個開源項目，號稱只用一個java文件就能創建一個http server，我將通過分析NanoHttpd的源碼解析如何開發自己的HttpServer。Github 地址：https://github.com/NanoHttpd/nanohttpd
在開始前首先簡單說明HttpServer的基本要素：
1.能接受HttpRequest並返回HttpResponse
2.滿足一個Server的基本特徵，能夠長時間運行
關於Http協議一般HttpServer都會聲明支持Http協議的哪些特性，nanohttpd作為一個輕量級的httpserver只實現了最簡單、最常用的功能，不過我們依然可以從中學習很多。
首先看下NanoHttpd類的start函數
[java]view plain
publicvoidstart()throwsIOException{
myServerSocket=newServerSocket();
myServerSocket.bind((hostname!=null)?newInetSocketAddress(hostname,myPort):newInetSocketAddress(myPort));
myThread=newThread(newRunnable(){
@Override
publicvoidrun(){
do{
try{
finalSocketfinalAccept=myServerSocket.accept();
registerConnection(finalAccept);
finalAccept.setSoTimeout(SOCKET_READ_TIMEOUT);
finalInputStreaminputStream=finalAccept.getInputStream();
asyncRunner.exec(newRunnable(){
@Override
publicvoidrun(){
OutputStreamoutputStream=null;
try{
outputStream=finalAccept.getOutputStream();
=tempFileManagerFactory.create();
HTTPSessionsession=newHTTPSession(tempFileManager,inputStream,outputStream,finalAccept.getInetAddress());
while(!finalAccept.isClosed()){
session.execute();
}
}catch(Exceptione){
//,wethrowourownSocketException
//tobreakthe"keepalive"loopabove.
if(!(einstanceofSocketException&&"NanoHttpdShutdown".equals(e.getMessage()))){
e.printStackTrace();
}
}finally{
safeClose(outputStream);
safeClose(inputStream);
safeClose(finalAccept);
unRegisterConnection(finalAccept);
}
}
});
}catch(IOExceptione){
}
}while(!myServerSocket.isClosed());
}
});
myThread.setDaemon(true);
myThread.setName("NanoHttpdMainListener");
myThread.start();
}
1.創建ServerSocket，bind制定埠
2.創建主線程，主線程負責和client建立連接
3.建立連接後會生成一個runnable對象放入asyncRunner中，asyncRunner.exec會創建一個線程來處理新生成的連接。
4.新線程首先創建了一個HttpSession，然後while(true)的執行httpSession.exec。
這里介紹下HttpSession的概念，HttpSession是java里Session概念的實現，簡單來說一個Session就是一次httpClient->httpServer的連接，當連接close後session就結束了，如果沒結束則session會一直存在。這點從這里的代碼也能看到：如果socket不close或者exec沒有拋出異常（異常有可能是client段斷開連接）session會一直執行exec方法。
一個HttpSession中存儲了一次網路連接中server應該保存的信息，比如：URI，METHOD，PARAMS，HEADERS，COOKIES等。
5.這里accept一個client的socket就創建一個獨立線程的server模型是ThreadServer模型，特點是一個connection就會創建一個thread，是比較簡單、常見的socket server實現。缺點是在同時處理大量連接時線程切換需要消耗大量的資源，如果有興趣可以了解更加高效的NIO實現方式。
當獲得client的socket後自然要開始處理client發送的httprequest。
Http Request Header的parse：
[plain]view plain
//Readthefirst8192bytes.
//Thefullheadershouldfitinhere.
//Apache'sdefaultheaderlimitis8KB.
//!
byte[]buf=newbyte[BUFSIZE];
splitbyte=0;
rlen=0;
{
intread=-1;
try{
read=inputStream.read(buf,0,BUFSIZE);
}catch(Exceptione){
safeClose(inputStream);
safeClose(outputStream);
thrownewSocketException("NanoHttpdShutdown");
}
if(read==-1){
//socketwasbeenclosed
safeClose(inputStream);
safeClose(outputStream);
thrownewSocketException("NanoHttpdShutdown");
}
while(read>0){
rlen+=read;
splitbyte=findHeaderEnd(buf,rlen);
if(splitbyte>0)
break;
read=inputStream.read(buf,rlen,BUFSIZE-rlen);
}
}
1.讀取socket數據流的前8192個位元組，因為http協議中頭部最長為8192
2.通過findHeaderEnd函數找到header數據的截止位置，並把位置保存到splitbyte內。
[java]view plain
if(splitbyte<rlen){
inputStream.unread(buf,splitbyte,rlen-splitbyte);
}
parms=newHashMap<String,String>();
if(null==headers){
headers=newHashMap<String,String>();
}
//.
BufferedReaderhin=newBufferedReader(newInputStreamReader(newByteArrayInputStream(buf,0,rlen)));
//
Map<String,String>pre=newHashMap<String,String>();
decodeHeader(hin,pre,parms,headers);
1.使用unread函數將之前讀出來的body pushback回去，這里使用了pushbackstream，用法比較巧妙，因為一旦讀到了header的尾部就需要進入下面的邏輯來判斷是否需要再讀下去了，而不應該一直讀，讀到沒有數據為止
2.decodeHeader，將byte的header轉換為java對象
1.Http協議第一行是Method URI HTTP_VERSION
2.後面每行都是KEY:VALUE格式的header
3.uri需要經過URIDecode處理後才能使用
4.uri中如果包含？則表示有param，httprequest的param一般表現為:/index.jsp?username=xiaoming&id=2
下面是處理cookie，不過這里cookie的實現較為簡單，所以跳過。之後是serve方法，serve方法提供了用戶自己實現httpserver具體邏輯的很好介面。在NanoHttpd中的serve方法實現了一個默認的簡單處理功能。
這個默認的方法處理了PUT和POST方法，如果不是就返回默認的返回值。
parseBody方法中使用了tmpFile的方法保存httpRequest的content信息，然後處理，具體邏輯就不細說了，不是一個典型的實現。
最後看一下發response的邏輯：
sendAsFixedLength(outputStream,pending);
}
outputStream.flush();
safeClose(data);
}catch(IOExceptionioe){
//Couldn'twrite?Nocando.
}
}
發送response的步驟如下：
1.設置mimeType和Time等內容。
2.創建一個PrintWriter，按照HTTP協議依次開始寫入內容
3.第一行是HTTP的返回碼
4.然後是content-Type
5.然後是Date時間
6.之後是其他的HTTP Header
7.設置Keep-Alive的Header，Keep-Alive是Http1.1的新特性，作用是讓客戶端和伺服器端之間保持一個長鏈接。
8.如果客戶端指定了ChunkedEncoding則分塊發送response，Chunked Encoding是Http1.1的又一新特性。一般在response的body比較大的時候使用，server端會首先發送response的HEADER，然後分塊發送response的body，每個分塊都由chunk length 和chunk data 組成，最後由一個0 結束。
9.如果沒指定ChunkedEncoding則需要指定Content-Length來讓客戶端指定response的body的size，然後再一直寫body直到寫完為止。
最後總結下實現HttpServer最重要的幾個部分：
1.能夠accept tcp連接並從socket中讀取request數據
2.把request的比特流轉換成request對象中的對象數據
3.根據http協議的規范處理http request
4.產生http response再寫回到socket中傳給client。
E. 怎樣用TCP實現HTTP協議用TCP客戶端連接到任意網站下載它的源碼。（windows 環境下 c 或c++謝謝~）
這個，得看HTTP的協議，按照那個來實現。
F. 想用java編寫個代理伺服器，求具體一些思路，詳細一些，謝謝
在編寫代理伺服器之前，首先應該明白一點，Java的代理機制，如圖所示：
那麼Java就處於中間這層代理伺服器，代理伺服器所作的事情如下：
1、接收客戶端請求，進行處理，然後發送給服務端
2、接收服務端響應，進行處理，然後發送給客戶端
這樣，就更清晰了，Java提供了代理的API為，java.net.Proxy類。此類表示代理設置，通常為類型（http、socks）和套接字地址。Proxy 是不可變對象。
也就是說Java可以製作高級協議的代理，如 HTTP 或 FTP。也可以製作SOCKS（V4 或 V5）代理。
首先，使用到了URL類，HttpURLConnection類及其我們的代理類Proxy類。他們都位於java.net包中。
第一步：生成代理，指定埠為8888：
第二步：使用URLConnection類進行連接www.moonsos.com
第三步：打開URL，並且讀取HTML源碼
G. 什麼是http代理伺服器
我們可以將巨大的互聯網比作成一張網路蜘蛛網，而網路爬蟲便是在蜘蛛網上爬行的蜘蛛，把網的節點描述成為網頁，我們將每日任務需求藉助客戶端電腦發出命令，而ip便是被執行的角色，ip帶著每日任務藉助網際網路抵達終端伺服器尋找客戶端交代的每日任務，一個一個節點便是一個一個網頁，如此蜘蛛藉助一個節點之後，就可以沿著幾點連線繼續爬行抵達下個節點。也就說藉助一個網頁繼續抓取。
爬蟲首要便是要抓取終端伺服器的網頁，也就是抓取到網頁的源代碼，源代碼包中抓取到實用的信息，就將實用的源代碼獲取，提取每日任務中所需的信息。
ip將抓取到實用的信息回到到客戶端存儲，隨後再返回去，不斷頻繁的訪問獲得信息直到完成任務。因此ip便是負責帶著每日任務尋找有價值的信息，隨後將抓取到的有價值的信息數據負責帶回(傳輸)到客戶端，直到完成任務。
H. 想用python寫一個代理http的代理程序，有沒有可以參考的源代碼
https://..com/question/429840094070280492
下次問之前你可以考慮先網路下
I. 誰能給我一個HttpRequest類的源碼,最好附說明
直接到Tomcat下的lib文件夾，servlet-api.jar中通過反編譯工具cavaj直接查看源碼！
J. 如何編寫一個簡單的HTTP代理伺服器，最好提供VB源碼
VERSION 5.00
Object = "{248DD890-BB45-11CF-9ABC-0080C7E7B78D}#1.0#0"; "MSWINSCK.OCX"
Begin VB.Form Form1
ClientHeight = 3090
ClientLeft = 60
ClientTop = 450
ClientWidth = 4680
LinkTopic = "Form1"
ScaleHeight = 3090
ScaleWidth = 4680
StartUpPosition = 3 '窗口預設
Begin VB.ListBox List1
Height = 1500
Left = 120
TabIndex = 0
Top = 720
Width = 3615
End
Begin MSWinsockLib.Winsock SckGET
Index = 0
Left = 2520
Top = 360
_ExtentX = 741
_ExtentY = 741
_Version = 393216
End
Begin MSWinsockLib.Winsock Winsock1
Left = 2040
Top = 360
_ExtentX = 741
_ExtentY = 741
_Version = 393216
End
End
Attribute VB_Name = "Form1"
Attribute VB_GlobalNameSpace = False
Attribute VB_Creatable = False
Attribute VB_PredeclaredId = True
Attribute VB_Exposed = False
Dim PathName As String
Sub Begin()
'啟動Winsock1,使用listen方法，聽254埠
DoEvents
Winsock1.Close
Winsock1.Protocol = sckTCPProtocol
Winsock1.LocalPort = 254
Winsock1.Listen
End Sub
Private Sub Form_Load()
'開始進行十個監聽
For i = 1 To 9
Load SckGET(i)
SckGET(i).Close
SckGET(i).Protocol = sckTCPProtocol
Next
PathName = "E:\http\" '初始化目錄
Begin
End Sub
Private Sub SckGET_DataArrival(Index As Integer, ByVal bytesTotal As Long)
Dim DataReceived As String
Dim pos1 As Long, pos2 As Long
Dim QuestFile As String
Dim TData As Byte
pos1 = 0: pos2 = 0
SckGET(Index).GetData DataReceived, vbString
'處理報文
For i = 1 To Len(DataReceived)
If Mid(DataReceived, i, 1) = " " Then
If pos1 = 0 Then pos1 = i + 1 Else pos2 = i - 1: Exit For
End If
Next
'對請求的文件進行處理
On Error GoTo ExitThisSub
If pos1 <> 0 And pos2 <> 0 Then
QuestFile = Mid(DataReceived, pos1 + 1, pos2 - pos1) '得到主文件名
If QuestFile = "" Then QuestFile = "index.htm" '主頁
QuestFile = PathName & QuestFile '得到路徑
List1.AddItem SckGET(Index).LocalIP & " : GET " & QuestFile & " HTTP/1.1"
If Dir(QuestFile) = "" Then QuestFile = PathName & "404.htm" '未找到
End If
'開始發送文件信息
Open QuestFile For Binary As #1
SckGET(Index).SendData "HTTP/1.0 200 OK" + vbCrLf
SckGET(Index).SendData "MIME_version:1.0" + vbCrLf
SckGET(Index).SendData "Content_Length:" + CStr(LOF(1)) + vbCrLf
SckGET(Index).SendData "" + vbCrLf
Do While Not EOF(1)
Get #1, , TData
SckGET(Index).SendData TData
Loop
ExitThisSub:
Close #1
Begin
SckGET(Index).Close
SckGET(Index).LocalPort = 254
End Sub
Private Sub Winsock1_ConnectionRequest(ByVal requestID As Long)
Con:
For i = 0 To 9
If SckGET(i).State <> 7 Then SckGET(i).Accept requestID: Exit For '查找未用的SCK
If i = 9 And SckGET(9).State <> 7 Then Delay (1): GoTo Con '如果沒有則繼續等待
Next
End Sub
Sub Delay(Seconds&)
t& = Timer
Delay: DoEvents
If Timer < t + Seconds Then GoTo Delay
End Sub