採集工具源碼

① 網路信息採集器是採集的信息源碼還是文本也就是說採集的是數據還是直接能看到的東西

根據所需有的採集的是源碼，有的採集的是能看的東西。

② 八爪魚採集器可以下載網站整站的源碼和資料庫嗎

下載你沒有許可權登錄的網站源碼和資料庫，除非滲透入侵進去才能做到。互聯網上流傳的合法工具。沒有任何一個工具可以做到，包括八爪魚。

不過可以使用整站下載工具，可以把HTML代碼和樣式圖片下載下來。作為離線瀏覽和樣式學習還是有工具的。如：iis7整站下載

③ 小說網站源碼（帶採集功能的,最好是asp的）

復活小說站(帶採集功能) v4.6
* 源碼大小: 2.01 MB
* 源碼類別: 源代碼 | 影視娛樂
* 源碼語言: 簡體中文
* 運行環境: Asp/Access/
功能介紹：
1.帶採集功能，可自己了設計採集哪個站點，另內已存幾個好的小說網採集。
2.整合了廣告系統，可以直接修改廣告，不用每次都改網站代碼。

其他功能介紹：
一、會員功能模塊
1、站內簡訊發布（正在製作）
2、書架收藏夾
3、發表評論
4、申請作家（與添書員整合）
5、申請添書員（與作家整合）
6、申請更新員
7、VIP會員申請（請在「在線客服」中留言給管理員提出申請）

二、作家功能模塊
1、我的文章
2、發表新作
3、增加章節
4、作家專欄
5、VIP作品申請（正在製作）

三、添書員功能模塊
和作家功能類似，不在介紹
四、靜態圖書生成模塊
五、廣告管理模
六、後台管理模塊

網站的核心內容，功能如下：
1、系統參數配置
2、網站數據備份
3、在線執行SQL
4、作品管理
5、作品採集

後台：/admin/index.asp
帳號：admin 密碼：admin
廣告後台地址：ge/index.asp
帳號：admin 密碼：admin

④ C# 自行編寫網頁數據採集器：求思路。 有源代碼的麻煩發一下。 謝謝啦！

思路基本上就是，模仿瀏覽器，發送請求，然後，接收返回的字元串（也就是網頁源代碼）。剩下的就簡單了，根據你要採集的數據，分析，按照一定的規則（比如正則）提取信息就行了。

⑤ 數據採集源代碼從哪裡獲得

數據爬蟲代碼如果自己去開發爬蟲技術爬取時間跟人力起碼需要在一年左右。現在有一些平台是專門提供這些介面服務，可以直接調用現成的數據獲得數據。
以下是一些數據開放平台：
1.京東獲取單個商品價格介面:
1.//ps:商品ID這么獲取:http://item.jd.com/954086.html
2.http://p.3.cn/prices/mgets?skuIds=J_商品ID&type=1

2.淘寶商品搜索建議:
1.http://suggest.taobao.com/sug?code=utf-8&;q=商品關鍵字&callback=cb
2.//ps:callback是回調函數設定

3.全網商品比價介面：
1.慢慢買比價API免費介面
2.比一比價API免費介面
3.歷史價格查詢比價介面

4.快遞介面:
1.//ps:快遞公司編碼:申通="shentong" EMS="ems" 順豐="shunfeng" 圓通="yuantong" 中通="zhongtong" 韻達="yunda" 天天="tiantian"
2.匯通="huitongkuaidi" 全峰="quanfengkuaidi" 德邦="debangwuliu" 宅急送="zhaijisong"
3.http://www.kuaidi100.com/query?type=快遞公司代號&postid=快遞單號

5.網路介面:
1.http://ke..com/api/openapi/BaikeLemmaCardApi?scope=103&;format=json&appid=379020&bk_key=關鍵字&bk_length=600
2.//查詢出錯示例如下：查看原始頁面 {"error_code":"20000","error_msg":"search word not found"}音樂介面

6.蝦米音樂介面
1.http://kuang.xiami.com/app/nineteen/search/key/歌曲名稱/diandian/1/page/歌曲當前頁?_=當前毫秒&callback=getXiamiData

7.QQ空間音樂介面
1.http://qzone-music.qq.com/fcg-bin/cgi_playlist_xml.fcg?uin=QQ號碼&json=1&g_tk=1916754934

⑥ 高分！求高手 網站信息採集源代碼或編程思路

思路：
RSS採集
相似演算法
聚類
分類
（一）原理
小偷程序實際上是通過了XML中的XMLHTTP組件調用其它網站上的網頁。比如新聞小偷程序，很多都是調用了sina的新聞網頁，並且對其中的html進行了一些替換，同時對廣告也進行了過濾。用小偷程序的優點有：無須維護網站，因為小偷程序中的數據來自其他網站，它將隨著該網站的更新而更新；可以節省伺服器資源，一般小偷程序就幾個文件，所有網頁內容都是來自其他網站。缺點有：不穩定，如果目標網站出錯，程序也會出錯，而且，如果目標網站進行升級維護，那麼小偷程序也要進行相應修改；速度，因為是遠程調用，速度和在本地伺服器上讀取數據比起來，肯定要慢一些。
（二）事例
以下是代碼片段：
下面就XMLHTTP在ASP中的應用做個簡單說明
〈%
』常用函數
』1、輸入url目標網頁地址，返回值getHTTPPage是目標網頁的html代碼
function getHTTPPage(url)
dim Http
set Http=server.createobject("MSXML2.XMLHTTP")
Http.open "GET",url,false
Http.send()
if Http.readystate〈〉4 then
exit function
end if
getHTTPPage=bytesToBSTR(Http.responseBody,"GB2312")
set http=nothing
if err.number〈〉0 then err.Clear
end function
』2、轉換亂瑪，直接用xmlhttp調用有中文字元的網頁得到的將是亂瑪，可以通過adodb.stream組件進行轉換
Function BytesToBstr(body,Cset)
dim objstream
set objstream = Server.CreateObject("adodb.stream")
objstream.Type = 1
objstream.Mode =3
objstream.Open
objstream.Write body
objstream.Position = 0
objstream.Type = 2
objstream.Charset = Cset
BytesToBstr = objstream.ReadText
objstream.Close
set objstream = nothing
End Function
』下面試著調用http://www.3doing.com/earticle/的html內容
Dim Url,Html
Url="http://www.3doing.com/earticle/"
Html = getHTTPPage(Url)
Response.write Html
%〉ASP小偷入門教程.....附QQ天氣小偷源代碼
要做一名好的小偷有點難度:P，靈活運用XMLHTTP組件，你也可以做「小偷」
這里所說的「小偷」指的是在ASP中運用XML中的XMLHTTP組件提供的強大功能，把遠程網站上的數據（圖片，網頁及其他文件）抓取到本地，經過各種處理後顯示到頁面上或者存儲進資料庫的一類程序。你可以通過這種小偷程序，完成過去一些似乎完全不可能實現的任務，比如說把某個站的頁面偷梁換柱後變成自己的頁面，或者把某個站的一些數據（文章，圖片）保存到本地資料庫中加以利用。「小偷」的優點有：無須維護網站，因為小偷程序中的數據來自其他網站，它將隨著該網站的更新而更新；可以節省大量的伺服器資源，一般小偷程序就幾個文件，所有網頁內容都是來自其他網站。缺點在於：不穩定，如果目標網站出錯，程序也會出錯，而且，如果目標網站進行升級維護，那麼小偷程序也要進行相應修改；速度，因為是遠程調用，速度和在本地伺服器上讀取數據比起來，肯定要慢一些。怎麼樣，聽起來很神奇吧？我們現在就開始來學習一些「小偷」程序的入門知識吧！
我們拿個簡單點的東西來研究一下吧，QQ網站上的天氣預報程序
程序演示地址：http://www.colasky.com/weather.asp
源碼下載：http://www.colasky.com/weather.rar
代碼如下：
以下是代碼片段：
〈%
On Error Resume Next
Server.ScriptTimeOut=9999999
Function getHTTPPage(Path)
t = GetBody(Path)
getHTTPPage=BytesToBstr(t,"GB2312")
End function'首先，進行小偷程序的一些初始化設置，以上代碼的作用分別是忽略掉所有非致命性錯誤，把小偷程序的運行超時時間設置得很長（這樣不會出現運行超時的錯誤），轉換原來默認的UTF-8編碼轉換成GB2312編碼，否則直接用XMLHTTP組件調用有中文字元的網頁得到的將是亂碼。
以下是代碼片段：
Function GetBody(url)
on error resume next
Set Retrieval = CreateObject("Microsoft.XMLHTTP")
With Retrieval
.Open "Get", url, False, "", ""
.Send
GetBody = .ResponseBody
End With
Set Retrieval = Nothing
End Function
』然後調用XMLHTTP組件創建一個對象並進行初始化設置。
Function BytesToBstr(body,Cset)
dim objstream
set objstream = Server.CreateObject("adodb.stream")
objstream.Type = 1
objstream.Mode =3
objstream.Open
objstream.Write body
objstream.Position = 0
objstream.Type = 2
objstream.Charset = Cset
BytesToBstr = objstream.ReadText
objstream.Close
set objstream = nothing
End Function
Function Newstring(wstr,strng)
Newstring=Instr(lcase(wstr),lcase(strng))
if Newstring〈=0 then Newstring=Len(wstr)
End Function
』處理抓取回來的數據需要調用adodb.stream組件並進行初始化設置。%〉
』以下即為頁面顯示部分
〈%
Dim wstr,str,url,start,over,city
』定義一些需要使用到的變數
city = Request.QueryString("id")
』程序傳回的ID變數（即用戶選擇的城市）賦給id
url="http://appnews.qq.com/cgi-bin/news_qq_search?city="&city&""
』這里設置需要抓取的頁面地址，當然你也可以直接指定某個地址而不使用變數
wstr=getHTTPPage(url) ' 以下是代碼片段：
獲取指定頁面的全部數據
start=Newstring(wstr," ")
』這里設置需要處理的數據的頭部，這個變數應視不同情況而設置，具體內容可以通過查看需要抓取的頁面的源代碼來確定。因為在這個程序里我們需要抓取整個頁面,所以設置為頁面全部抓取。注意，設置的內容必須是頁面內容唯一的，不可以重復。
over=Newstring(wstr," ")
』和start相對應的就是需要處理的數據的尾部，同樣的，設置的內容必須是頁面中唯一的。
body=mid(wstr,start,over-start)
』設置顯示頁面的范圍
』下面就是動用乾坤挪移大法的時候了，通過replace可以用一些字元替換掉數據中指定的字元。
body = replace(body,"skin1","天氣預報")
body = replace(body,"http://appnews.qq.com/cgi-bin/news_qq_search?city","tianqi.asp?id")
』本程序中已經完成了替換的工作，如果有其他需要的話可以繼續進行類似的替換操作。
response.write body
%〉替換完需要修改的內容後，就可以把修改的內容顯示在頁面上了。至此程序結束
程序使用方法及結果：把上述代碼去掉說明部分後保存為tianqi.asp，上傳到支持ASP和XML的空間下，在瀏覽器中運行即可。你可以在在這個程序的基礎上進行進一步的界面美化或者程序優化。
以上只是一些關於XMLHTTP組件的初級應用，實際上它還能實現的功能還有很多，比如說保存遠程圖片到本地伺服器上，配合adodb.stream組件可以把獲取來的數據保存進資料庫。小偷的作用和使用范圍都很廣。但是不可以拿來做違法的事哦！
也許還有人要問了，這種「小偷」程序難道只是ASP的專利嗎？非也，PHP通過fopen函數一樣可以實現同樣的效果，由於PHP本身的各種特點，寫出來的小偷程序和ASP相比，在體積和執行效率上都有著明顯的優勢，但限於篇幅，這里就不一一說明了。

⑦ 求小說網站源碼(支持自動採集更新)

小說源碼很多，自動採集的都沒一個好用的，我也做站，以前用了一些帶採集功能的網站源碼，結果採集效果都很差，很多都不能正常採集，後來也用過很多專門的網站採集器，現在一直用八爪魚採集器，比那些自帶的採集強多了，最爽的是，超簡單，不管啥網站想採集就採集。