日志存储方式

❶ 如何实现日志的集中化存储

在我们的企业中有多种不同的设备，服务器、交换机、防火墙以及路由器等等设备，而这些设备会产生大量的日志。如果网络中出现故障时，如果一台一台的去查询日志，那工作量就太大了，而且不容易查询。所以最好的办法就是日志集中收集存储。
Windows系统有自带的WMI服务，通过该服服务就可以远程收集windows系统的日志。网络设备的日志通常是基于syslog日志的转发。通过这种技术将日志统一的发送集中到一台服务器上。在这台服务器上使用工具接收发送过来的数据，将其保存为文本文件，集中的保存日志。
卓豪EventLog Analyzer就是一个专门针对日志管理的工具，可以对企业中各种设备日志的统一收集存储并分析。

❷ QT存储日志用数据库还是txt文本

QT存储日志用数据库还是txt文本是需要具体问题具体分析的，因为如果小量的写数据库没事。如果是大量的，肯定写文件好。汇总后写程序导入数据库。还有一种方法是写redis等内存数据库，并累积数量后触发合并写入数据库操作。

并且如果这个日志是需要定期分析的，写在数据库里更方便处理；反之只是留档，就存文件里 但2种方式都要注意写操作的频率。

绝对不能产生一行写一行，中间加一个内存队列来过渡，比如memcache，有新日志就加入队列，然后做个定时器去批量写入文件并清空队列，同时也规避文件冲突了。

QT存储中大端模式和小端模式是：

对于long long a 和 struct{ char a;short b;int c;}二者同样占据了8个字节的空间，在存储上，后者则是先存储一个char，空一个字节，然后按照大端/小端模式存储short，最后按照大端/小端模式存储int。

在我们日常使用的x86架构的计算机中（其他类别的可能会采用大端模式或可配置模式，可以通过查阅资料或者用下文的代码进行测试），都是使用的小端模式，而网络字节序是大端模式的。

这就使得在网络通信时进行字节序的转换变得极为重要。比方说，通信双方规定了了通信头为一个4字节的魔数（Magic Number），而一方按着大端序的模式发送。

一方按着小端序的模式解读，那么两方的通信就会失败。如果没有这个魔数，而在内部的数据中出现这样的问题则会更加的麻烦。

❸ Oracle的日志文件存储在什么位置

1、通过sqlplus命令连接数据库，查看服务器是否已经开启归档。

❹ 日志文件的写志数据如何存储

日志记录方式可以提供我们足够多定位问题的依据。对于一些复杂系统，例如数据库，日志可以承担数据备份、同步作用，很多分布式数据库都采用“write-ahead”方案，在节点数据同步时通过日志文件恢复数据。
日志文件是不推荐和数据库存储在同一个硬盘的，因为一旦硬盘坏了就会一起死掉。当然，如果已经使用了带容错的RAID，甚至是盘柜之类的设备，那么可以放在一起没有太大问题。
如果先写数据库，后写日志，但是在刚好写了数据库而未写日志的时候崩溃了，那么根据日志恢复出来的数据库就少了一条记录

❺ 深入理解kafka(五)日志存储

5.1文件目录布局
根目录下有以下5个checkpoint文件: cleaner-offset-checkpoint, log-start-offset-checkpoint, meta.properties, recovery-point-offset-checkpoint, replication-offset-checkpoint
分区目录下有以下目录: 0000xxx.index(偏移量为64位长整形，长度固定为20位), 0000xxx.log, 0000xxx.timeindex.
还有可能包含.deleted .cleaned .swap等临时文件, 以及可能的.snapshot .txnindex leader-epoch-checkpoint
5.2日志格式演变
5.2.1 v0版本
kafka0.10.0之前
RECORD_OVERHEAD包括offset(8B)和message size(4B)
RECORD包括:
crc32(4B):crc32校验值
magic(1B):消息版本号0
attributes(1B):消息属性。低3位表示压缩类型：0-NONE 1-GZIP 2-SNAPPY 3-LZ4(0.9.x引入)
key length(4B):表示消息的key的长度。-1代表null
key: 可选
value length(4B):实际消息体的长度。-1代表null
value: 消息体。可以为空，如墓碑消息
5.2.2 v1版本
kafka0.10.0-0.11.0
比v0多了timestamp(8B)字段，表示消息的时间戳
attributes的第4位也被利用起来，0表示timestamp的类型为CreateTime，1表示timestamp的类型为LogAppendTime
timestamp类型由broker端参数log.message.timestamp.type来配置，默认为CreateTime，即采用生产者创建的时间戳
5.2.3 消息压缩
保证端到端的压缩，服务端配置compression.type，默认为"procer",表示保留生产者使用的压缩方式，还可以配置为"gzip","snappy","lz4"
多条消息压缩至value字段，以提高压缩率
5.2.4 变长字段
变长整形(Varints):每一个字节都有一个位于最高位的msb位(most significant bit),除了最后一个字节为1，其余都为0，字节倒序排列
为了使编码更加高效，Varints使用ZigZag编码:sint32对应 (n<<1)^(n>>31) sint64对应 (n<<1)^(n>>63)
5.2.5 v2版本
Record Batch
first offset:
length:
partition leader epoch:
magic:固定为2
attributes:两个字节。低3位表示压缩格式，第4位表示时间戳类型，第5位表示事务(0-非事务1-事务)，第6位控制消息(0-非控制1控制)
first timestamp:
max timestamp:
procer id:
procer epoch:
first sequence:
records count:
v2版本的消息去掉了crc字段，另外增加了length(消息总长度)、timestamp delta(时间戳增量)、offset delta(位移增量)和headers信息，并且弃用了attributes
Record
length:
attributes:弃用，但仍占据1B
timestamp delta:
offset delta:
headers:
5.3日志索引
稀疏索引(sparse index):每当写入一定量(broker端参数log.index.interval.bytes指定，默认为4096B),偏移量索引文件和时间索引文件分别对应一个索引项
日志段切分策略：
1.大小超过broker端参数log.segment.bytes配置的值，默认为1073741824(1GB)
2.当前日志段消息的最大时间戳与当前系统的时间戳差值大于log.roll.ms或者log.roll.hours，ms优先级高，默认log.roll.hours=168(7天)
3.索引文件或者时间戳索引文件的大小大于log.index.size.max.bytes配置的值，默认为10485760(10MB)
4.偏移量差值(offset-baseOffset)>Integer.MAX_VALUE
5.3.1 偏移量索引
每个索引项占用8个字节，分为两个部分：1.relativeOffset相对偏移量(4B) 2.position物理地址(4B)
使用kafka-mp-log.sh脚本来解析.index文件(包括.timeindex、.snapshot、.txnindex等文件)，如下:
bin/kafka-mp-log.sh --files /tmp/kafka-logs/topicId-0/00……00.index
如果broker端参数log.index.size.max.bytes不是8的倍数，内部会自动转换为8的倍数
5.3.2 时间戳索引
每个索引项占用12个字节，分为两个部分：1.timestamp当前日志分段的最大时间戳(12B) 2.relativeOffset时间戳对应的相对偏移量(4B)
如果broker端参数log.index.size.max.bytes不是12的倍数，内部会自动转换为12的倍数
5.4日志清理
日志清理策略可以控制到主题级别
5.4.1 日志删除
broker端参数log.cleanup.policy设置为delete(默认为delete)
检测周期broker端参数log.retention.check.interval.ms=300000(默认5分钟)
1.基于时间
broker端参数log.retention.hours,log.retention.minutes,log.retention.ms,优先级ms>minutes>hours
删除时先增加.delete后缀，延迟删除根据file.delete.delay.ms(默认60000)配置
2.基于日志大小
日志总大小为broker端参数log.retention.bytes(默认为-1，表示无穷大)
日志段大小为broker端参数log.segment.bytes(默认为1073741824，1GB)
3.基于日志起始偏移量
DeleteRecordRequest请求
1.KafkaAdminClient的deleteRecord()
2.kafka-delete-record.sh脚本
5.4.2 日志压缩
broker端参数log.cleanup.policy设置为compact，且log.cleaner.enable设置为true(默认为true)
5.5磁盘存储
相关测试：一个由6块7200r/min的RAID-5阵列组成的磁盘簇的线性写入600MB/s，随机写入100KB/s，随机内存写入400MB/s，线性内存3.6GB/s
5.5.1 页缓存
linux操作系统的vm.dirty_background_ratio参数用来指定脏页数量达到系统的百分比之后就触发pdflush/flush/kdmflush，一般小于10，不建议为0
vm.dirty_ratio表示脏页百分比之后刷盘，但是阻塞新IO请求
kafka同样提供同步刷盘及间断性强制刷盘(fsync)功能，可以通过log.flush.interval.messages、log.flush.interval.ms等参数来控制
kafka不建议使用swap分区，vm.swappiness参数上限为100，下限为0，建议设置为1
5.5.2 磁盘I/O流程
一般磁盘IO的场景有以下4种：
1.用户调用标准C库进行IO操作，数据流为：应用程序Buffer->C库标准IOBuffer->文件系统也缓存->通过具体文件系统到磁盘
2.用户调用文件IO，数据流为：应用程序Buffer->文件系统也缓存->通过具体文件系统到磁盘
3.用户打开文件时使用O_DIRECT，绕过页缓存直接读写磁盘
4.用户使用类似dd工具，并使用direct参数，绕过系统cache与文件系统直接读写磁盘
Linux系统中IO调度策略有4种：
1.NOOP：no operation
2.CFQ
3.DEADLINE
4.ANTICIPATORY
5.5.3 零拷贝
指数据直接从磁盘文件复制到网卡设备中，不需要经应用程序
对linux而言依赖于底层的sendfile()
对java而言，FileChannal.transferTo()的底层实现就是sendfile()