c缓存池

1. 如何在C/C++程序中运用双缓存双线程等大规模数据处理的技巧 或者要怎么做可以一次调入一块数据进行处理

线程技术主要是用来并行处理一些任务，这些任务之间一般少有逻辑顺序上的关联，所以用线程技术可以提高程序整体的运行速度，特别在其中一些子线程运行速度有很大差距的情况下。
各类软件使用缓存的方式都不一样。双缓存或者多个缓存、缓存池等等方式都有。关键在于你的程序需要使用怎样的缓存结构。比如说你是类似生产者消费者模型的软件，你也许会使用多个缓存做成队列，一头在不断填充，一头则不断消耗，这样能大大提高整体的数据吞吐速度。
fread不输入整块调入，它底层是使用的read之类的函数，对文件句柄进行操作。gets函数则是对指针指向的内存地址操作。这些都是上层逻辑了，离磁盘寄存器很远。真正加快文件读取速度的方法有很多，比如把整个文件映射到内存里，又比如跳过磁盘缓存直接大块读取内容。这些有的有专门的API函数可用，有的则需要你自己改写系统底层代码。
建议你多看看操作系统原理方面的书，可以去试着学习下linux内核代码和原理，这样你对这些问题就会有更深的认识。
希望这些建议能帮助你。

2. 怎样解决sql Server内存不断增加问题

为此，数据库引擎获取尽可能多的可用内存，同时保留足够的可用内存以防操作系统交换内存。 SQL Server 实例在启动时通常获取8到12MB的内存以完成初始化过程。当实例完成初始化后，就不会再获取更多的内存，直到用户连接到该实例并开始产生工作负荷。这时，该实例根据需要不停地获取内存以支持工作负荷。随着更多的用户连接并运行查询，SQL Server 将获取支持需求所需的额外内存。该实例将继续获取内存直到达到自身的内存分配目标，并且直到达到该目标的下限才会释放任何内存。 为了在不产生多余换页 I/O 的情况下获取尽可能多的内存，SQL Server 的每个实例都配置一个内存获取目标，直到电脑的可用物理内存在4MB到10MB的范围内。之所以选择该范围是因为测试表明 Windows NT 和 Windows 2000 都有最小内存交换，直到内存分配等于可用物理内存减去4MB。工作负荷处理任务重的 SQL Server 实例保留的可用物理内存为范围的较低端 (4MB)；工作负荷处理任务轻的实例保留的可用物理内存为范围的较高端 (10MB)。 SQL Server 实例的目标随工作负荷的改变而变化。当更多的用户连接并产生更多的工作时，该实例倾向于获取更多的内存以使可用的内存保持在4MB的限制以下。当工作负荷减轻时，该实例将其目标调整为 10MB的可用空间，并释放内存给操作系统。将可用空间量保持在10MB和4MB之间可防止 Windows NT 或 Windows 2000 过多执行换页操作，同时使 SQL Server 得以获得尽可能最大的高速缓冲存储器而不至引起额外的交换。 实例的目标内存配置和数据库缓冲池的页相对于可用池大小的需求有关。在任何实时点，缓冲区页的总需求取决于满足任何当前执行的查询所需的数据页数。假如相对于高速缓冲存储器内的页数，数据页的需求很大，则当前在缓冲区内的每一页很可能在相对较短的时间内由新页替换。这可由缓冲区管理器对象的页生命期性能计数器来度量。对于相对较小的缓冲区有较高需求的情况将生成短生命期，而纯粹的影响就是使 I/O 增加，因为在页可由多个逻辑读取引用之前往往要被重写。为减轻这个问题，数据库引擎能够获取更多的内存以增加高速缓冲存储器的大小。当页生命期长时，数据库引擎将可用内存定位于目标的高端 (10 MB)；而当页生命期短时，数据库引擎定位于目标范围的低端 (4MB)。 随着其他应用程式在运行 SQL Server 实例的电脑上启动，他们消耗内存致使可用物理内存量降到 SQL Server 的目标以下。SQL Server 实例于是从其地址空间释放足够内存，以使可用内存量回到 SQL Server 的目标。假如有其他应用程式停止运行而使可用内存增多，SQL Server 实例将增加其内存分配大小。SQL Server 能够每秒释放并获取几MB字节的内存，这使他得以根据内存分配变化作出快速调整。 您能够通过配置允许sql server能够使用的最大内存来做限制： 最小和最大服务器内存的影响 min server memory 和 max server memory 配置选项建立由 SQL Server 数据库引擎使用的内存量的上限和下限。数据库引擎并不立即获取 min server memory 中指定的内存量。数据库引擎启动时只使用初始化所需的内存。随着数据库引擎工作负荷的增加，他将继续获取支持工作负荷所需的内存。数据库引擎直到到达 min server memory 中指定的内存量才会释放任何所需的内存。一旦到达 min server memory，数据库引擎将使用标准算法（使操作系统的可用内存保持在 4MB到 10MB之间）获取和释放所需内存。唯一的区别是数据库引擎从不将内存分配降到 min server memory 所指定的水平下，也从不获取超过max server memory 所指定水平的内存。 数据库引擎获取的内存量完全取决于放置在实例上的工作负荷。不处理很多请求的 SQL Server 实例可能永远达不到 min server memory。 假如为 min server memory 和 max server memory 指定相同的值，则一旦分配给数据库引擎的内存达到该值，数据库引擎将停止动态释放和获取内存。 假如在运行 SQL Server 实例的电脑上频繁启动或停止其他应用程式，启动这些应用程式所需的时间可能会因 SQL Server 实例分配和释放内存而延长。另外，假如 SQL Server 是几个在一台电脑上运行的服务器应用程式中的一个，系统管理员可能需要控制分配给 SQL Server 的内存量。

3. 为什么说python采用的是基于值的内存管理模式

先从较浅的层面来说，Python的内存管理机制可以从三个方面来讲

（1）垃圾回收

（2）引用计数

（3）内存池机制

一、垃圾回收：

python不像C++，Java等语言一样，他们可以不用事先声明变量类型而直接对变量进行赋值。对Python语言来讲，对象的类型和内存都是
在运行时确定的。这也是为什么我们称Python语言为动态类型的原因（这里我们把动态类型可以简单的归结为对变量内存地址的分配是在运行时自动判断变量
类型并对变量进行赋值）。

二、引用计数：

Python采用了类似Windows内核对象一样的方式来对内存进行管理。每一个对象，都维护这一个对指向该对对象的引用的计数。如图所示（图片来自Python核心编程）

x = 3.14

y = x

我们首先创建了一个对象3.14， 然后将这个浮点数对象的引用赋值给x，因为x是第一个引用，因此，这个浮点数对象的引用计数为1. 语句y =
x创建了一个指向同一个对象的引用别名y，我们发现，并没有为Y创建一个新的对象，而是将Y也指向了x指向的浮点数对象，使其引用计数为2.

我们可以很容易就证明上述的观点：

变量a 和 变量b的id一致(我们可以将id值想象为C中变量的指针).

我们援引另一个网址的图片来说明问题：对于C语言来讲，我们创建一个变量A时就会为为该变量申请一个内存空间，并将变量值
放入该空间中,当将该变量赋给另一变量B时会为B申请一个新的内存空间，并将变量值放入到B的内存空间中，这也是为什么A和B的指针不一致的原因。如图：

而Python的情况却不一样，实际上，Python的处理方式和Javascript有点类似，如图所示，变量更像是附在对象上的标签(和引用的
定义类似)。当变量被绑定在一个对象上的时候，该变量的引用计数就是1，(还有另外一些情况也会导致变量引用计数的增加),系统会自动维护这些标签，并定
时扫描，当某标签的引用计数变为0的时候，该对就会被回收。

三、内存池机制

Python的内存机制以金字塔行，-1，-2层主要有操作系统进行操作，

第0层是C中的malloc，free等内存分配和释放函数进行操作；

第1层和第2层是内存池，有Python的接口函数PyMem_Malloc函数实现，当对象小于256K时有该层直接分配内存；

第3层是最上层，也就是我们对Python对象的直接操作；

在 C 中如果频繁的调用 malloc 与 free 时,是会产生性能问题的.再加上频繁的分配与释放小块的内存会产生内存碎片. Python 在这里主要干的工作有:

如果请求分配的内存在1~256字节之间就使用自己的内存管理系统,否则直接使用 malloc.

这里还是会调用 malloc 分配内存,但每次会分配一块大小为256k的大块内存.

经由内存池登记的内存到最后还是会回收到内存池,并不会调用 C 的 free
释放掉.以便下次使用.对于简单的Python对象，例如数值、字符串，元组（tuple不允许被更改)采用的是复制的方式(深拷贝?)，也就是说当将另
一个变量B赋值给变量A时，虽然A和B的内存空间仍然相同，但当A的值发生变化时，会重新给A分配空间，A和B的地址变得不再相同；

而对于像字典(dict)，列表(List)等，改变一个就会引起另一个的改变，也称之为浅拷贝：

附录：

引用计数增加

1.对象被创建：x=4

2.另外的别人被创建：y=x

3.被作为参数传递给函数：foo(x)

4.作为容器对象的一个元素：a=[1,x,’33’]

引用计数减少

1.一个本地引用离开了它的作用域。比如上面的foo(x)函数结束时，x指向的对象引用减1。

2.对象的别名被显式的销毁：del x ；或者del y

3.对象的一个别名被赋值给其他对象：x=789

4.对象从一个窗口对象中移除：myList.remove(x)

5.窗口对象本身被销毁：del myList，或者窗口对象本身离开了作用域。

垃圾回收

1、当内存中有不再使用的部分时，垃圾收集器就会把他们清理掉。它会去检查那些引用计数为0的对象，然后清除其在内存的空间。当然除了引用计数为0的会被清除，还有一种情况也会被垃圾收集器清掉：当两个对象相互引用时，他们本身其他的引用已经为0了。

2、垃圾回收机制还有一个循环垃圾回收器, 确保释放循环引用对象(a引用b, b引用a, 导致其引用计数永远不为0)。