数据库采集
1. 如何进行数据库数据采集
关注一下.建议先研究下dz论坛附带的个人空间那个采集器再来研究如何用java实现吧,功能要先弄清楚了才能实现.
要弄明白如何从网上采集到相关的数据?
如何把数据写入自己的数据库?
最后如何把这些数据放到自己网站对应的模块里面去?
2. 什么是数据采集
10元一条贵了
这个数据采集应该是把别人网站上的内容复制到你自己网站上
采集器可以用火车头采集器，比较难用
3. 怎么能把实时采集的数据写入数据库里啊
桌面程式还是网页啊??怎么样的情况下实时采集数据啊？？
桌面程式就直接写入数据库而已啦...
网页的就用ajax，一采集到数据就用ajax写入数据库。。。
4. 实时数据采集系统，要从一个现成的数据库中读取数据，只要数据库有数据变化就要通知程序，如何做到
如果是比较大的数据库用“存储过程”应该可以解决，或者程序定时检查更新
5. 怎么把网页中数据采集到数据库中
看开发语言，需要写程序。
例如URL类进行访问，或者对鉴权的网站使用HTTPClient，获得body后可以用正则表达式去除标签。
6. 数据采集系统主要采集方式有哪些
ZQ-ETL数据采集软件，除了集Oracle，SQL Serve等多种数据库的连接，还包含与读写OPC设备和读写Redis Server缓存库的功能，通过配置就可以完成与各个对象的连接。ETL程序的开发是以任务为单元，各个任务之间既可以完全独立运行也可以关联运行，可以满足各种个性化需求。
鑫海智桥数据采集系统
数据库信息编辑：可以配置多个数据库连接，通过“数据库编码”即可方便调用。
数据采集任务编辑：可以配置各种性质的采集任务，灵活的关联脚本，可以多任务公用同一脚本，免去了大量重复工作，使采集任务的开发变得省时省力。
采集端任务管理：采集端任务统一管理，直观的查看任务运行状态，便捷的启停任务。
7. 几种数据采集的方式哪个好
讨论几种针对各种软件系统的数据采集的方式方法。重点关注它们的实现过程、各自的优缺点。
软件接口对接方式
开放数据库方式
基于底层数据交换的数据直接采集方式
1、 软件接口对接方式
各个软件厂商提供数据接口，实现数据汇集，为客户构建出自己的业务大数据平台；
接口对接方式的数据可靠性较高，一般不存在数据重复的情况，且都是客户业务大数据平台需要的有价值的数据；同时数据是通过接口实时传递过来，完全满足了大数据平台对于实时性的要求。
但是接口对接方式需花费大量人力和时间协调各个软件厂商做数据接口对接；同时其扩展性不高，比如：由于业务需要各软件系统开发出新的业务模块，其和大数据平台之间的数据接口也需要做相应的修改和变动，甚至要推翻以前的所有数据接口编码，工作量很大且耗时长。
2、 开放数据库方式
一般情况，来自不同公司的系统，不太会开放自己的数据库给对方连接，因为这样会有安全性的问题。为实现数据的采集和汇聚，开放数据库是最直接的一种方式。
不同类型的数据库之间的连接就比较麻烦，需要做很多设置才能生效，这里不做详细说明。
开放数据库方式可以直接从目标数据库中获取需要的数据，准确性很高，是最直接、便捷的一种方式；同时实时性也有保证；
开放数据库方式需要协调各个软件厂商开放数据库，其难度很大；一个平台如果要同时连接很多个软件厂商的数据库，并且实时都在获取数据，这对平台本身的性能也是个巨大的挑战。
3、基于底层数据交换的数据直接采集方式
101异构数据采集的原理是通过获取软件系统的底层数据交换、软件客户端和数据库之间的网络流量包，进行包流量分析采集到应用数据，同时还可以利用仿真技术模拟客户端请求，实现数据的自动写入。
实现过程如下：使用数据采集引擎对目标软件的内部数据交换（网络流量、内存）进行侦听，再把其中所需的数据分析出来，经过一系列处理和封装，保证数据的唯一性和准确性，并且输出结构化数据。经过相应配置，实现数据采集的自动化。
基于底层数据交换的数据直接采集方式的技术特点如下：
1）独立抓取，不需要软件厂家配合；
2）实时数据采集；
数据端到端的延迟在数秒之内；
3）兼容Windows平台的几乎所有软件（C/S,B/S）；
作为数据挖掘，大数据分析的基础；
4）自动建立数据间关联；
5）配置简单、实施周期短；
6）支持自动导入历史数据。
目前，由于数据采集融合技术的缺失，往往依靠各软件原厂商研发数据接口才能实现数据互通，不仅需要投入大量的时间、精力与资金，还可能因为系统开发团队解体、源代码丢失等原因出现的死局，导致了数据采集融合实现难度极大。在如此急迫的需求环境下基于底层数据交换的数据直接采集方式应运而生，从各式各样的软件系统中开采数据，源源不断获取所需的精准、实时的数据，自动建立数据关联，输出利用率极高的结构化数据，让数据有序、安全、可控的流动到所需要的企业和用户当中，让不同系统的数据源实现联动流通，为客户提供决策支持、提高运营效率、产生经济价值。
8. 《采集助手 Gatherer 3.12 带数据库》怎么才能正确安装使用
可能会部分插件发生冲突
安装新版前，请删除World of Warcraft\WTF\Account\你的账号\SavedVariables/gatherer.lua
Gatherer
在地图上标记矿点和草药点，此版本已经能正确显示从wowhead下载的矿点数据了(自己挖的矿点数据,一直都是能记载的)。
如果还无法显示矿点,请首先确认你已经在设置里面勾选了"在大地图上显示所有矿点"，然后删除World of Warcraft\WTF\Account\你的账号\SavedVariables/gatherer.lua，最后进入游戏重新下载一次数据即可。
GathererDB_Wowhead_仅外域数据
官方放出的Gatherer数据库的自动更新数据插件（从wowhead下载数据）。和Gatherer搭配使用，下载完数据后不用重启游戏。原来需要下载的数据过于庞大，考虑到实际需要，本人已经修改为只更新外域的矿、草及黑莲花的刷新点。
GathererDB_Wowhead全世界数据
方便使用小号的朋友,全世界数据,内存小者,慎用
更新日志
2008.08.05 修正数据库导入插件乱码问题。
2008.05.30 更新到官方3.12版，可惜的是还没有支持工程学气体采集，希望下一版本能够推出。数据库更新到最新的2008-05-24的数据。
2008.04.08 很多人有无法导入数据库的问题，应该是导入数据库插件版本号错误的原因，现已修改为2.4版本，经测试导入正常。
2008.04.03 更新官方版本3.11版，全面支持2.4，同时导航图系统也作为一个独立的小插件与采集助手共存，不需要的可以直接关闭或删除Gatherer_Hud目 录，这样更加节约内存。另外，由于2.4的文件更新内容较多，因此"工程学气团采集"功能暂时没有添加。
2008.03.06 下午 增加了一个3.06修改版，增加了千呼万唤的“工程学气体微粒采集”的记录功能，欢迎大家测试。
2008.03.06 更新官方版本3.06版，主要修正了一些小BUG以及为迎接2.4的到来而进行了一些调整。
2008.01.26 12点 紧急修正报错问题，已测试通过，请下载过的朋友重新下载。
2008.01.26 官方于2008.01.16日发布最新版3.0.4，作者在最新版中修正了大部分原3.0.3没有进行多国语言处理的字符串，同时修复了一些BUG。
2007.11.23 修正不支持台服的问题，因本人无法上台服，请台服朋友帮忙测试。
2007.11.22 发布3.03版。PS：这个简体汉化版的大部分翻译来自xhox的版本，由于以前版本在2.3更新后大量报错，因此使用了官方最新的3.03版，并大部分 使用了xhox版本的翻译。其中3.03新增了少量功能，如HUD自动隐藏(ps.从来没用过...)等，这个是我自己翻译并加入到Strings里面 的，如有翻译错误请大家指正
9. 如何将实时采集的数据保存到数据库中，并在网页中显示需要看哪些参考资料，推荐几本。谢谢
数据库设计的时候考虑需要采集数据的详细信息
你在保存txt的时候肯定也是取到数据了的
把保存txt的方法稍微修改一下就能提交到数据库
网页显示的话也就是从数据库中取数据出来呈现而已
10. 在数据库中，数据采集和数据抓取各代表什么意思
个人理解：
数据采集分为多种，如从纸质的或非结构化资料中整理成可以存入数据库的结构化数据的过程可以算一种数据采集；再如将已有的某数据库中数据导出到另一个数据库中也可以算一种数据采集；还如通过观察记录获得某些环境指标（空气质量、温度、湿度、人体体温、机器cpu占用率等等）变化的过程也可以算一种数据采集等等。总之，就是一种数据存在形式经过“某种处理”转变成另一种数据存在形式，我个人认为所谓的“某种处理”都统称为数据采集。
数据抓取一词用的较多的就是如网页内容数据抓取等，从某种意义上说与数据采集有部分含义雷同，但性质上貌似数据主体有一种主动和被动的区别。当然，数据抓取更多的是指，从已有的某结构化数据中获得数据的过程。