資料庫採集
1. 如何進行資料庫數據採集
關注一下.建議先研究下dz論壇附帶的個人空間那個採集器再來研究如何用java實現吧,功能要先弄清楚了才能實現.
要弄明白如何從網上採集到相關的數據?
如何把數據寫入自己的資料庫?
最後如何把這些數據放到自己網站對應的模塊裡面去?
2. 什麼是數據採集
10元一條貴了
這個數據採集應該是把別人網站上的內容復制到你自己網站上
採集器可以用火車頭採集器，比較難用
3. 怎麼能把實時採集的數據寫入資料庫里啊
桌面程式還是網頁啊??怎麼樣的情況下實時採集數據啊？？
桌面程式就直接寫入資料庫而已啦...
網頁的就用ajax，一採集到數據就用ajax寫入資料庫。。。
4. 實時數據採集系統，要從一個現成的資料庫中讀取數據，只要資料庫有數據變化就要通知程序，如何做到
如果是比較大的資料庫用「存儲過程」應該可以解決，或者程序定時檢查更新
5. 怎麼把網頁中數據採集到資料庫中
看開發語言，需要寫程序。
例如URL類進行訪問，或者對鑒權的網站使用HTTPClient，獲得body後可以用正則表達式去除標簽。
6. 數據採集系統主要採集方式有哪些
ZQ-ETL數據採集軟體，除了集Oracle，SQL Serve等多種資料庫的連接，還包含與讀寫OPC設備和讀寫Redis Server緩存庫的功能，通過配置就可以完成與各個對象的連接。ETL程序的開發是以任務為單元，各個任務之間既可以完全獨立運行也可以關聯運行，可以滿足各種個性化需求。
鑫海智橋數據採集系統
資料庫信息編輯：可以配置多個資料庫連接，通過「資料庫編碼」即可方便調用。
數據採集任務編輯：可以配置各種性質的採集任務，靈活的關聯腳本，可以多任務公用同一腳本，免去了大量重復工作，使採集任務的開發變得省時省力。
採集端任務管理：採集端任務統一管理，直觀的查看任務運行狀態，便捷的啟停任務。
7. 幾種數據採集的方式哪個好
討論幾種針對各種軟體系統的數據採集的方式方法。重點關注它們的實現過程、各自的優缺點。
軟體介面對接方式
開放資料庫方式
基於底層數據交換的數據直接採集方式
1、 軟體介面對接方式
各個軟體廠商提供數據介面，實現數據匯集，為客戶構建出自己的業務大數據平台；
介面對接方式的數據可靠性較高，一般不存在數據重復的情況，且都是客戶業務大數據平台需要的有價值的數據；同時數據是通過介面實時傳遞過來，完全滿足了大數據平台對於實時性的要求。
但是介面對接方式需花費大量人力和時間協調各個軟體廠商做數據介面對接；同時其擴展性不高，比如：由於業務需要各軟體系統開發出新的業務模塊，其和大數據平台之間的數據介面也需要做相應的修改和變動，甚至要推翻以前的所有數據介面編碼，工作量很大且耗時長。
2、 開放資料庫方式
一般情況，來自不同公司的系統，不太會開放自己的資料庫給對方連接，因為這樣會有安全性的問題。為實現數據的採集和匯聚，開放資料庫是最直接的一種方式。
不同類型的資料庫之間的連接就比較麻煩，需要做很多設置才能生效，這里不做詳細說明。
開放資料庫方式可以直接從目標資料庫中獲取需要的數據，准確性很高，是最直接、便捷的一種方式；同時實時性也有保證；
開放資料庫方式需要協調各個軟體廠商開放資料庫，其難度很大；一個平台如果要同時連接很多個軟體廠商的資料庫，並且實時都在獲取數據，這對平台本身的性能也是個巨大的挑戰。
3、基於底層數據交換的數據直接採集方式
101異構數據採集的原理是通過獲取軟體系統的底層數據交換、軟體客戶端和資料庫之間的網路流量包，進行包流量分析採集到應用數據，同時還可以利用模擬技術模擬客戶端請求，實現數據的自動寫入。
實現過程如下：使用數據採集引擎對目標軟體的內部數據交換（網路流量、內存）進行偵聽，再把其中所需的數據分析出來，經過一系列處理和封裝，保證數據的唯一性和准確性，並且輸出結構化數據。經過相應配置，實現數據採集的自動化。
基於底層數據交換的數據直接採集方式的技術特點如下：
1）獨立抓取，不需要軟體廠家配合；
2）實時數據採集；
數據端到端的延遲在數秒之內；
3）兼容Windows平台的幾乎所有軟體（C/S,B/S）；
作為數據挖掘，大數據分析的基礎；
4）自動建立數據間關聯；
5）配置簡單、實施周期短；
6）支持自動導入歷史數據。
目前，由於數據採集融合技術的缺失，往往依靠各軟體原廠商研發數據介面才能實現數據互通，不僅需要投入大量的時間、精力與資金，還可能因為系統開發團隊解體、源代碼丟失等原因出現的死局，導致了數據採集融合實現難度極大。在如此急迫的需求環境下基於底層數據交換的數據直接採集方式應運而生，從各式各樣的軟體系統中開采數據，源源不斷獲取所需的精準、實時的數據，自動建立數據關聯，輸出利用率極高的結構化數據，讓數據有序、安全、可控的流動到所需要的企業和用戶當中，讓不同系統的數據源實現聯動流通，為客戶提供決策支持、提高運營效率、產生經濟價值。
8. 《採集助手 Gatherer 3.12 帶資料庫》怎麼才能正確安裝使用
可能會部分插件發生沖突
安裝新版前，請刪除World of Warcraft\WTF\Account\你的賬號\SavedVariables/gatherer.lua
Gatherer
在地圖上標記礦點和草葯點，此版本已經能正確顯示從wowhead下載的礦點數據了(自己挖的礦點數據,一直都是能記載的)。
如果還無法顯示礦點,請首先確認你已經在設置裡面勾選了"在大地圖上顯示所有礦點"，然後刪除World of Warcraft\WTF\Account\你的賬號\SavedVariables/gatherer.lua，最後進入游戲重新下載一次數據即可。
GathererDB_Wowhead_僅外域數據
官方放出的Gatherer資料庫的自動更新數據插件（從wowhead下載數據）。和Gatherer搭配使用，下載完數據後不用重啟游戲。原來需要下載的數據過於龐大，考慮到實際需要，本人已經修改為只更新外域的礦、草及黑蓮花的刷新點。
GathererDB_Wowhead全世界數據
方便使用小號的朋友,全世界數據,內存小者,慎用
更新日誌
2008.08.05 修正資料庫導入插件亂碼問題。
2008.05.30 更新到官方3.12版，可惜的是還沒有支持工程學氣體採集，希望下一版本能夠推出。資料庫更新到最新的2008-05-24的數據。
2008.04.08 很多人有無法導入資料庫的問題，應該是導入資料庫插件版本號錯誤的原因，現已修改為2.4版本，經測試導入正常。
2008.04.03 更新官方版本3.11版，全面支持2.4，同時導航圖系統也作為一個獨立的小插件與採集助手共存，不需要的可以直接關閉或刪除Gatherer_Hud目 錄，這樣更加節約內存。另外，由於2.4的文件更新內容較多，因此"工程學氣團採集"功能暫時沒有添加。
2008.03.06 下午 增加了一個3.06修改版，增加了千呼萬喚的「工程學氣體微粒採集」的記錄功能，歡迎大家測試。
2008.03.06 更新官方版本3.06版，主要修正了一些小BUG以及為迎接2.4的到來而進行了一些調整。
2008.01.26 12點 緊急修正報錯問題，已測試通過，請下載過的朋友重新下載。
2008.01.26 官方於2008.01.16日發布最新版3.0.4，作者在最新版中修正了大部分原3.0.3沒有進行多國語言處理的字元串，同時修復了一些BUG。
2007.11.23 修正不支持台服的問題，因本人無法上台服，請台服朋友幫忙測試。
2007.11.22 發布3.03版。PS：這個簡體漢化版的大部分翻譯來自xhox的版本，由於以前版本在2.3更新後大量報錯，因此使用了官方最新的3.03版，並大部分 使用了xhox版本的翻譯。其中3.03新增了少量功能，如HUD自動隱藏(ps.從來沒用過...)等，這個是我自己翻譯並加入到Strings裡面 的，如有翻譯錯誤請大家指正
9. 如何將實時採集的數據保存到資料庫中，並在網頁中顯示需要看哪些參考資料，推薦幾本。謝謝
資料庫設計的時候考慮需要採集數據的詳細信息
你在保存txt的時候肯定也是取到數據了的
把保存txt的方法稍微修改一下就能提交到資料庫
網頁顯示的話也就是從資料庫中取數據出來呈現而已
10. 在資料庫中，數據採集和數據抓取各代表什麼意思
個人理解：
數據採集分為多種，如從紙質的或非結構化資料中整理成可以存入資料庫的結構化數據的過程可以算一種數據採集；再如將已有的某資料庫中數據導出到另一個資料庫中也可以算一種數據採集；還如通過觀察記錄獲得某些環境指標（空氣質量、溫度、濕度、人體體溫、機器cpu佔用率等等）變化的過程也可以算一種數據採集等等。總之，就是一種數據存在形式經過「某種處理」轉變成另一種數據存在形式，我個人認為所謂的「某種處理」都統稱為數據採集。
數據抓取一詞用的較多的就是如網頁內容數據抓取等，從某種意義上說與數據採集有部分含義雷同，但性質上貌似數據主體有一種主動和被動的區別。當然，數據抓取更多的是指，從已有的某結構化數據中獲得數據的過程。