ftp上传占内存

1. 上传的大文件

基于WEB的文件上传可以使用ftp和HTTP两种协议，用FTP的话虽然传输稳定，但安全性是个严重的问题，而且FTP服务器读用户库获取权限，这样对于用户使用来说还是不太方便。 剩下只有HTTP。在HTTP中有3种方式，PUT、WEBDAV、RFC1867，前2种方法不适合大文件上传，基本上我们使用的web上传都是基于RFC1867标准的HTML中基于表单的文件上传。
RFC1867：
1．HTML表单
现有的HTML规范为INPUT元素的TYPE属性定义了八种可能的值，分别是：CHECKBOX， HIDDEN，MAGE，PASSWORD，RADIO，RESET，SUBMIT，TEXT。 另外，当表单采用POST方式的时候，表单默认的具有“application/x-www-form-urlencoded”的ENCTYPE属性。
RFC1867标准对HTML做出了两处修改：
（1）为INPUT元素的TYPE属性增加了一个FILE选项。
（2）INPUT标记可以具有ACCEPT属性，该属性能够指定可被上传的文件类型或文件格式列表。
另外，本标准还定义了一种新的MIME类型：multipart/form-data，以及当处理一个带有ENCTYPE=multipart/form-data 并且/或含有<INPUT type=file>的标记的表单时所应该采取的行为。
举例来说，当HTML表单作者想让用户能够上传一个或更多的文件时，他可以这么写：
<FORM ENCTYPE=multipart/form-data ACTION=_URL_ METHOD=POST>
File to process:
<INPUT NAME=userfile1 TYPE=file>
<INPUT TYPE=submit VALUE=Send File>
</FORM>
HTML DTD里所需要做出的改动是为InputType实体增加一个选项。此外，我们也建议用一系列用逗号分隔的文件类型来作为INPUT标记的ACCEPT属性。
... (其他元素) ...
<!ENTITY % InputType (TEXT | PASSWORD | CHECKBOX |
RADIO | SUBMIT | RESET |
IMAGE | HIDDEN | FILE )>
<!ELEMENT INPUT - 0 EMPTY>
<!ATTLIST INPUT
TYPE %InputType TEXT
NAME CDATA #IMPLIED -- required for all but submit and reset
VALUE CDATA #IMPLIED
SRC %URI #IMPLIED -- for image inputs --
CHECKED (CHECKED) #IMPLIED
SIZE CDATA #IMPLIED --like NUMBERS,
but delimited with comma, not space
MAXLENGTH NUMBER #IMPLIED
ALIGN (top|middle|bottom) #IMPLIED
ACCEPT CDATA #IMPLIED --list of content types
>
... (其他元素) ...
2.文件传输延迟
在某些情况下，在确实准备接受数据前，服务器先对表单数据中的某些元素（比如说用户名，账号等）进行验证是推荐的做法。但是，经过一定的考虑后，我们认为如果服务器想这样做的话，最好是采用一系列的表单，并将前面所验证过的数据元素作为“隐藏”字段传回给客户端，或者是通过安排表单使那些需要验证的元素先显示出来。这样的话，那些需要做复杂的应用的服务器可以自己维持事务处理的状态，而那些简单的应用的则可以实现得简单些。
HTTP协议可能需要知道整个事务处理中的内容总长度。即使没有明确要求，HTTP客户端也应该提供上传的所有文件的内容总长度，这样一个繁忙的服务器就能够判断文件的内容是否是过大以至于将不能完整地处理，从而返回一个错误代码并关闭该连接，而不用等到接受了所有的数据才进行判断。一些现有的CGI应用对所有的POST事务都需要知道内容总长度。
如果INPUT标记含有一个MAXLENGTH属性，客户端可以将这个属性值看作是服务器端所能够接受的传送文件的最大字节数。在这种情况下，服务器能够在上传开始前，提示客户端在服务器上有多少空间可以用来进行文件上传。但是应该引起注意的是，这仅仅是一个提示，在表单被创建后和文件上传前，服务器的实际需求可能会发生改变。
在任何情况下，如果接受的文件过大的话，任何一个HTTP服务器都有可能在文件传输的过程中中断传输。
3.传输二进制数据的其他解决办法
有些人曾经建议使用一种新的MIME类型aggregate，比如说aggregate/mixed 或是content-transfer-encoding 包来描述那些不确定长度的二进制数据，而不是靠分解为多个部分来表示。虽然我们并不反对这么做，但这需要增加额外的设计和标准化工作来让大家接受并理解aggregate。 从另一方面来说，分解为多部分的机制工作得很好，能够非常简单的在客户发送端和服务器接受端加以实现，而且能像其他一些综合处理二进制数据的方式一样高效率地工作。
RFC上传
1．一次性得到上传的数据，然后分析处理。
看了N多代码之后发现，无组件程序和一些COM组件都是使用Request.BinaryRead方法。一次性得到上传的数据，然后分析处理。这就是为什么上传大文件很慢的原因了，IIS超时不说，就算几百M文件上去了，分析处理也得一阵子。
2．一边接收文件，一边写硬盘。
了解了一下国外的商业组件，比较流行的有Power-Web，AspUpload,ActiveFile,ABCUpload,aspSmartUpload,SA-FileUp。其中比较优秀的是ASPUPLOAD和SA-FILE，他们号称可以处理2G的文件(SA-FILE EE版甚至没有文件大小的限制)，而且效率也是非常棒，难道编程语言的效率差这么多?查了一些资料,觉得他们都是直接操作文件流。这样就不受文件大小的制约。但老外的东西也不是绝对完美，ASPUPLOAD处理大文件后,内存占用情况惊人。1G左右都是稀松平常。至于SA-FILE虽然是好东西但是破解难寻。然后发现2款.NET上传组件，Lion.Web.UpLoadMole和AspnetUpload也是操作文件流。但是上传速度和CPU占用率都不如老外的商业组件。
做了个测试，LAN内传1G的文件。ASPUPLOAD上传速度平均是4.4M/s，CPU占用10-15，内存占用700M。SA-FILE也差不多这样。而AspnetUpload最快也只有1.5M/s，平均是700K/s，CPU占用15-39，测试环境: PIII800,256M内存,100M LAN。我想AspnetUpload速度慢是可能因为一边接收文件，一边写硬盘。资源占用低的代价就是降低传输速度。但也不得不佩服老外的程序，CPU占用如此之低.....。
上传问题
我们在上传大文件时都遇到过这样或那样的问题。设置很大的maxRequestLength值并不能完全解决问题，因为会block直到把整个文件载入内存后，再加以处理。实际上，如果文件很大的话，我们经常会见到Internet Explorer显示 The page cannot be displayed - Cannot find server or DNS Error，好像是怎么也catch不了这个错。为什么？因为这是个client side错误，server side端的Application_Error是处理不到的。
解决的方法是利用隐含的HttpWorkerRequest，用它的GetPreloadedEntityBody 和 ReadEntityBody方法从IIS为建立的pipe里分块读取数据。Chris Hynes为我们提供了这样的一个方案(用HttpMole)，该方案除了允许你上传大文件外，还能实时显示上传进度。
Lion.Web.UpLoadMole和AspnetUpload 两个.NET组件都是利用的这个方案。
方案原理：
利用HttpHandler实现了类似于ISAPI Extention的功能，处理请求(Request)的信息和发送响应(Response)。
方案要点：
1． httpHandler or HttpMole
a.分块读取和写入数据
b.实时跟踪上传进度更新meta信息
2． 利用隐含的HttpWorkerRequest用它的GetPreloadedEntityBody 和 ReadEntityBody方法处理文件流
3． 自定义Multipart MIME 解析器。
自动截获MIME分割符。
将文件分块写如临时文件。
实时更新Appliaction 状态（ReceivingData, Error, Complete） 。

2. 路由器的TFTP服务器是什么意思

TFTP服务器是指使用TFTP协议的服务器。

TFTP是TCP/IP协议族中的一个用来在客户机与服务器之间进行简单文件传输的协议，提供不复杂、开销不大的文件传输服务。端口号为69。

TFTP作为一个传输文件的简单协议，是基于UDP协议而实现的，但是也不能确定有些TFTP协议是基于其它传输协议完成的。此协议设计的时候是进行小文件传输的。

因此它不具备通常的FTP的许多功能，它只能从文件服务器上获得或写入文件，不能列出目录，不进行认证，它传输8位数据。

(2)ftp上传占内存扩展阅读：

TFTP服务器的有点：

1、TFTP可用于UDP环境；比如当需要将程序或者文件同时向许多机器下载时就往往需要使用到TFTP协议。

2、TFTP代码所占的内存较小，这对于较小的计算机或者某些特殊用途的设备来说是很重要的，这些设备不需要硬盘，只需要固化了TFTP、UDP和IP的小容量只读存储器即可。当电源接通后，设备执行只读存储器中的代码，在网络上广播一个TFTP请求。

3、网络上的TFTP服务器就发送响应，其中包括可执行二进制程序。设备收到此文件后将其放入内存，然后开始运行程序。这种方式增加了灵活性，也减少了开销。

参考资料来源：网络-TFTP

3. FTP、TFTP、NFS的区别是什么

FTP_TFTP_NFS三种文件传输协议的区别

文件传送协议FTP(File Transfer Protocol)是Internet上使用比较广泛的文件传送协议。

FTP提供交互式的访问，允许客户指明文件的类型与格式，并允许文件具有存取权限。

FTP屏蔽了各种计算机系统的细节，因此适用于在异构网络中任意计算机之间传送文件。它的基本应用就是将文件从一台计算机复制到另一台计算机中。

它要存取一个文件，就必须先获得一个本地文件的副本，如果修改文件，也只能对文件的副本进行修改，然后再将修改后的文件副本传回到原节点。

您只要记住几个关键词：交互式、存取权限和副本。

单文件传送协议TFTP(Trivial File Transfer Protocol)是一个小而易于实现的文件传送协议。TFTP是基于UDP数据报，需要有自己的差错改正措施。TFTP只支持文件传输，不支持交互，没有庞大的命令集。也没有目录列表功能，以及不能对用户进行身份鉴别。但它的代码所占内存较小，不需要硬盘就可以固化TFTP代码，很适合较小的计算机和特殊用途的设备。

您会发现TFTP和FTP一个主要的区别就是它没有交互式，且不进行身份验证。

NFS最初应用于UNIX操作系统下，它允许应用进程打开一个远地文件，并能够在该文件中某一个特定位置上开始读写数据。