流有缓存吗
㈠ 带缓存和不带缓存的区别
以 ssize_t write(int filedes, const void *buff, size_t nbytes)和size_t fwrite(const void *ptr, size_t size, size_t nobj, FILE *fp)来讲讲自己对unix系统下带缓存的I/O和不带缓存的I/O的区别。
首先要清楚一个概念,所谓的代缓存并不是指上面两个函数的buff参数,而是指unix系统在内核中所设的缓冲存储器。
当将数据写到文件上时,内核先将该数据写到缓存,如果该缓存未满,则并不将其排入输出队列,直到缓存写满或者内核再次需要重新使用此缓存时才将其排入输入队列,待其到达对首,在进行实际的I/O操作,也就是此时才把数据真正写到磁盘,这种技术叫延迟写。
现在假设内核所设的缓存是100个字节,如果你使用write,且buff的size为10,当你要把9个同样的buff写到文件时,你需要调用9次write,也就是9次系统调用,此时也并没有写到硬盘,如果想立即写到硬盘,调用fsync,可以进行实际的I/O操作。
标准I/O,也就是带缓存的I/O采用FILE*,FILE实际上包含了为管理流所需要的所有信息:实际I/O的文件描述符,指向流缓存的指针(标准I/O缓存,由malloc分配,又称为用户态进程空间的缓存,区别于内核所设的缓存),缓存长度,当前在缓存中的字节数,出错标志等,假设流缓存的长度为50字节,把以上的数据写到文件,则只需要2次系统调用(fwrite调用write系统调用),因为先把数据写到流缓存,当其满以后或者调用fflush时才填入内核缓存,所以进行了2次的系统调用write。
fflush将流所有未写的数据送入(刷新)到内核(内核缓冲区),fsync将所有内核缓冲区的数据写到文件(磁盘)。
不带缓存的read和write是相对于fread/fwrite等流函数来说明的,因为fread和fwrite是用户函数(3),所以他们会在用户层进行一次数据的缓存,而read/write是系统调用(2)所以他们在用户层是没有缓存的,所以称read和write是无缓存的IO,其实对于内核来说还是进行了缓存,不过用户层看不到罢了。
㈡ java中。流(Stream)的原理是读取一个文件并讲他储存在一个流里,还是作为一个大门连接程序与数据
你可以把流看做是程序与文件或者设备连接的管道。
㈢ java中,缓冲流的疑惑
FileReader FileWriter 是字符流没有缓冲的作用。
缓存流是 BufferedReader 和 BufferedWriter
流的读取和传输都需要时间,如果一次性读取一个字节或者字符就发送到服务器,必定没有一次读取多个字节和字符然后发送到服务器高效。
㈣ java中字节流到底用到缓冲区没有,如果用到的话为什么不用刷新和字符流的区别是什么 麻烦说的详细!
最原始的字节流没有用到缓冲区,但是你可以给它套一个缓冲流吧,字符流和字节流的区别,就是一个是针对字节的,也就是这个文件可以是MP3。。。等等,字符流只能针对字符.肯定都用要内存,一个程序起来或多或少都有内存,也许你的上面的意思是想说 字节流没有把数据存到缓冲区里吧
㈤ 手机里流媒体里面的初始缓存有什么用
缓存是在播放的时候保持画面有个缓冲阶段,这样不容易卡顿,就像电视直播,中间延迟30秒就是给画面缓冲机会,以至于保持流畅,纯手打希望帮到您
㈥ 数据流缓存是什么
数据缓存
指在硬盘内部的高速存储器,在电脑中就象一块缓冲器一样将一些数据暂时性的保存起来以供读取和再读取。目前硬盘的高速缓存一般为512KB—2MB,目前主流ATA硬盘的数据缓存为2MB,而在SCSI硬盘中最高的数据缓存现在已经达到了16MB。对于大数据缓存的硬盘在存取零散文件时具有很大的优势。
缓存是指临时文件交换区,手机把最常用的文件从存储器里提出来临时放在缓存里,就像把工具和材料搬上工作台一样,这样会比用时现去仓库取更方便。因为缓存往往使用的是RAM(断电即掉的非永久储存),所以在忙完后还是会把文件送到手机存储器里,
㈦ nodejs fs 文件流传输要不要缓存区
nodejs的fs模块并没有提供一个的方法,但我们可以很容易的实现一个,比如:
var source = fs.readFileSync('/path/to/source', {encoding: 'utf8'});
fs.writeFileSync('/path/to/dest', source);
这种方式是把文件内容全部读入内存,然后再写入文件,对于小型的文本文件,这没有多大问题,比如grunt-file-就是这样实现的。但是对于体积较大的二进制文件,比如音频、视频文件,动辄几个GB大小,如果使用这种方法,很容易使内存“爆仓”。理想的方法应该是读一部分,写一部分,不管文件有多大,只要时间允许,总会处理完成,这里就需要用到流的概念。
如上面高大上的图片所示,我们把文件比作装水的桶,而水就是文件里的内容,我们用一根管子(pipe)连接两个桶使得水从一个桶流入另一个桶,这样就慢慢的实现了大文件的复制过程。
Stream在nodejs中是EventEmitter的实现,并且有多种实现形式,例如:
http responses request
fs read write streams
zlib streams
tcp sockets
child process stdout and stderr
上面的文件复制可以简单实现一下:
var fs = require('fs');
var readStream = fs.createReadStream('/path/to/source');
var writeStream = fs.createWriteStream('/path/to/dest');
readStream.on('data', function(chunk) { // 当有数据流出时,写入数据
writeStream.write(chunk);
});
readStream.on('end', function() { // 当没有数据时,关闭数据流
writeStream.end();
});
上面的写法有一些问题,如果写入的速度跟不上读取的速度,有可能导致数据丢失。正常的情况应该是,写完一段,再读取下一段,如果没有写完的话,就让读取流先暂停,等写完再继续,于是代码可以修改为:
var fs = require('fs');
var readStream = fs.createReadStream('/path/to/source');
var writeStream = fs.createWriteStream('/path/to/dest');
readStream.on('data', function(chunk) { // 当有数据流出时,写入数据
if (writeStream.write(chunk) === false) { // 如果没有写完,暂停读取流
readStream.pause();
}
});
writeStream.on('drain', function() { // 写完后,继续读取
readStream.resume();
});
readStream.on('end', function() { // 当没有数据时,关闭数据流
writeStream.end();
});
或者使用更直接的pipe
// pipe自动调用了data,end等事件
fs.createReadStream('/path/to/source').pipe(fs.createWriteStream('/path/to/dest'));
下面是一个更加完整的复制文件的过程
var fs = require('fs'),
path = require('path'),
out = process.stdout;
var filePath = '/Users/chen/Movies/Game.of.Thrones.S04E07.1080p.HDTV.x264-BATV.mkv';
var readStream = fs.createReadStream(filePath);
var writeStream = fs.createWriteStream('file.mkv');
var stat = fs.statSync(filePath);
var totalSize = stat.size;
var passedLength = 0;
var lastSize = 0;
var startTime = Date.now();
readStream.on('data', function(chunk) {
passedLength += chunk.length;
if (writeStream.write(chunk) === false) {
readStream.pause();
}
});
readStream.on('end', function() {
writeStream.end();
});
writeStream.on('drain', function() {
readStream.resume();
});
setTimeout(function show() {
var percent = Math.ceil((passedLength / totalSize) * 100);
var size = Math.ceil(passedLength / 1000000);
var diff = size - lastSize;
lastSize = size;
out.clearLine();
out.cursorTo(0);
out.write('已完成' + size + 'MB, ' + percent + '%, 速度:' + diff * 2 + 'MB/s');
if (passedLength < totalSize) {
setTimeout(show, 500);
} else {
var endTime = Date.now();
console.log();
console.log('共用时:' + (endTime - startTime) / 1000 + '秒。');
}
}, 500);
可以把上面的代码保存为.js试验一下
我们添加了一个递归的setTimeout(或者直接使用setInterval)来做一个旁观者,每500ms观察一次完成进度,并把已完成的大小、百分比和复制速度一并写到控制台上,当复制完成时,计算总的耗费时间,效果如图:
我们复制了一集1080p的权利的游戏第四季第7集,大概3.78G大小,由于使用了SSD,可以看到速度还是非常不错的,哈哈哈~
复制完成后,显示总花费时间
结合nodejs的readline, process.argv等模块,我们可以添加覆盖提示、强制覆盖、动态指定文件路径等完整的复制方法,有兴趣的可以实现一下,实现完成,可以
ln -s /path/to/.js /usr/local/bin/my
这样就可以使用自己写的my命令替代系统的cp命令
㈧ Java的缓存流的缓存区大了或小了会怎样,缓存区有什么用处
大了,会影响系统稳定
小了不起作用
缓冲顾名思义,就是处理的数据暂存的 。。。。。。。。。。
㈨ 什么是流缓存
传统数据传输时,传完一次,再次访问时需要再传一次。采用流缓存后,传完一次后会将数据标记,需要再次传输相同数据时,只需传输数据标签,不用将整个数据都再重传一遍,从而达到优化网络的效果。
个人理解