七牛云存储go

A. 关于七牛云存储自定义URL的问题

近段时间将使用七牛云存储来存放用户上传的数据，客户端通过七牛的js-sdk与七牛交互，服务端C#实现了七牛相关的接口。在这过程中多多少少遇到点问题，在这里总结一下。原文： 使用七牛云存储的一些经验总结
599错误处理
如果在与七牛的交互中出现http状态码为599的错误，一句话，不要犹豫，直接联系七牛技术支持 。七牛的文档也在很多地方提到这个错误，都是指导大家去联系技术支持的。笔者是在分块上传后的 mkfile 调用时出现的，联系技术支持后，说是调整了一下，让我重试。后来就好了...
分块上传无法从回调中获得文件的原始名
简单上传采用的是multipart/form-data方式上传，七牛服务端能够从请求中获得文件的原始名，并支持使用魔法变量 $(fname) 回调业务服务器。不过当使用分片上传的时候情况有所不同。分片上传需要在最后调用 mkfile ，来将分片拼接起来。但是， mkfile 接口支持普通的请求，并没有附带文件名，所以七牛也就无法获得文件名，此时从 $(fname) 中是取不到文件名的。这个问题我也向七牛技术支持提交了问题，得到的结果是使用自定义变量 mkfile 支持将自定义变量放在url中，回调的时候自定义变量可以传递给业务服务器。
慎用图片预处理
七牛云支持很多对文件的预处理，其中最常用的应该就是图片预处理了，可以对图片的大小做变换等。七牛推荐使用GET的方式直接指定图片处理结果的url，像这样：
http://qiniuphotos.qiniudn.com/gogopher.jpg?imageView2/1/w/200/h/200

处理后的图片会自动缓存，用户不用关心，只要每次访问都用这个url就行了。然而，笔者在开始的时候，为了保持与其他文件形式统一的处理方法，对图片使用了预处理（因为视频什么的只能预处理），即在token中指定了预处理。此时问题出现了，从后台的日志看到，图片的预处理通知回调竟然比正常的上传成功回调还要快！这就导致预处理结果到来之前，我的业务服务器的数据库中还没有这个图片，无法保存预处理结果了。所以 推荐还是使用url直接处理，对图片要慎用预处理
视频文件无法快进播放
通常用户在观看视频的时候都会根据自己的喜好，快速将视频定位到指定的时间播放。实现这个功能，需要视频本身有关键帧信息、服务端需要支持关键帧播放请求，在 这篇文章 中有详细讨论。
但是笔者发现，在使用七牛云转化后的视频，这样做是无效的。于是咨询技术支持，得到的答案是：转化的文件是具有关键帧的，但七牛使用CDN加速，所以关键帧请求需要CDN的支持，如果想要用这个功能的话，需要单独联系销售或技术支持在CDN上配置，而且时间比较长。笔者联系了销售和技术支持，说是帮我配置，但到现在还没有搞定，因为最近这个也不是特别重要，所以也没有跟下去。
Callback校验
这是可选的一个步骤。由于七牛云会在上传完成之后回调业务服务器，所以理论上说业务服务器需要校验这个回调的合理性。原理在七牛的 文档 中有，需要用到 HMAC-SHA1 签名函数。但是七牛的sdk中没有提供直接的方式来做校验，在研读文档、多次失败和查看sdk源码后，笔者终于校验成功了。关键的分歧在于，文档中的这句话：

获取明文：data = Request.URL.Path +”\n” +Request.Body

这里的 Request.URL.Path 是否包含Querystring?答案是包含的!下面是笔者C#服务端的校验代码，使用的是ASP.NET Web Api：
```C#
byte[] key = System.Text.Encoding.UTF8.GetBytes(Qiniu.Conf.Config.SECRET_KEY);
using (HMACSHA1 hmac = new HMACSHA1(key))
{
var t = filterContext.Request.Content.ReadAsStringAsync();
t.Wait();
string rawbody = t.Result;
log.DebugFormat("request's rawbody : {0}", rawbody);
string text = filterContext.Request.RequestUri.PathAndQuery + "\n" + rawbody;
log.DebugFormat("PathAndQuery + \n + rawbody : {0}", text);
byte[] digest = hmac.ComputeHash(System.Text.Encoding.UTF8.GetBytes(text));
string computed = Qiniu.Util.Base64URLSafe.Encode(digest);
log.DebugFormat("Computed hash after base64 : {0}", computed);
IEnumerable<string> auths;
if (filterContext.Request.Headers.TryGetValues("Authorization", out auths) && auths.Count() == 1)
{
string auth = auths.First();
log.DebugFormat("Authorization in header : {0}", auth);
if (auth.StartsWith("QBox "))
{
var arr = auth.Substring(5).Split(':');
if (arr.Length == 2)
{
if (arr[1] != computed)
{
log.ErrorFormat("Authorization failed. Since auth from header {0} not equals computed {1}", arr[1], computed);
}
else
{
log.Debug("Authorization success.");
//only pass can be return
return;
}
}
else
{
log.Error("Callback Authorization's format is invalid, can not find two part after split by ':'.");
}
}
else
{
log.Error("Callback Authorization's format is invalid, missing leading 'QBox '.");
}
}
else
{
log.Error("The request from qiniu callback is missing 'Authorization'");
}

filterContext.Response = filterContext.Request.CreateResponse(System.Net.HttpStatusCode.Forbidden);

}

如下几个注意点：

- 明文应当是请求的path+querystring部分和rawbody
- 对于.NET而言，明文和key都需要用UTF-8编码变换成字节才能进行签名。而php中的hash_hmac函数完全不用这么复杂...
- 签名的结果再用base64的url安全的方式编码，再与请求的http头部的Authorization比较

建议官方在文档中加入一些相对底层一些的编程语言的实现，php太高端了...

## js-sdk实现略显粗糙 ##

在使用过程中，我发现[官方的js-sdk](https://github.com/qiniupd/qiniu-js-sdk/)有几个我觉得不好的地方：

**不能为每个文件获取UpToken**

试想，在文件上传过程中有获取UpToken是必须的，而且UpToken又需要包含预处理指令，不同的文件显然需要不同的UpToken，而在js-sdk的实现中，只在初始化这个上传组件对象的时候请求一次上传凭证，后面所有的上传都需要使用这个预先得到的UpToken：

```javascript
uploader.bind('Init', function(up, params) {
getUpToken();
});

于是我修改了这部分，在 BeforeUpload 事件中请求UpToken。建议官方考虑更改这个地方
只能实现分片上传，无法断点续传
js-sdk的实现在分片上传的实现上，是很简单的，不仅没有使用分片，而是分块（一块4m，调用mkblk），而且没有实现持久化ctx，或者类似的回调或接口。4m分块这个问题还可以不追究，没有实现持久化ctx就说不过去了，不持久化怎么实现断点续传撒?!就算不实现，也应该给出回调的入口，让调用者来实现持久化，而我实在无法找到这个'空子'可钻，只能直接在源码上改动了。
没有复用流行类库的东西
这个其实算不上问题，因为作为一个不依赖jquery的sdk，当然不能使用jquery现成的东西，比如ajax。不依赖jquery就算了，依赖plupload是几个意思嘛，还依赖全局对象...于是最后，我干脆自己将sdk改成了Backbone的类，将不要的东西统统去掉，使用jquery和underscore简化代码了...

B. 七牛云存储的关于七牛

七牛，是一家云存储初创企业，由国内存储行业的领军人物之一许式伟于2011年创立。团队核心成员主要来自盛大、金山、网龙、惠普等知名互联网公司，核心成员之间已合作多年。
七牛采用全分布式存储架构，可以解决单一数据中心架构可能存在的风险。和传统的云存储服务不同，七牛还增加了上传下载全网加速以及图片、音视频的处理服务。
七牛云存储主要托管企业的静态资源，为企业提供一站式在线数据托管、上传下载全网加速、以及数据云端处理服务。主要做静态文件，包括富媒体一体化解决方案，解决富媒体存储、上传下载加速、数据处理，包括图片处理、音视频处理，比如说做缩略图，打水印。
此外，七牛还提供了镜像存储、客户端直传以及断点续上传等功能，方便开发者的使用。

C. 七牛云存储的技术实力怎么样

特有的上传加速能力。其他云存储通常只加速下载（CDN）。有的号称支持上传加速，其实也就只是做了上传的代理节点。但是七牛是全球首家采用多IDC架构的分布式存储。数据就近上传到某个IDC即落地，真正加速到极致。
特有的断点续上传功能。不再需要网络不行时在那一遍遍从头再来。无论网络多糟糕（尤其是3G/2G移动网络）、无论文件多大，我们都能够保证让你的数据到达服务器。这个在国内仍然没有其他云存储能够做到。
CDN整合。七牛目前整合了包括蓝汛、网宿在内的 4 家 CDN，总节点数已经超过 1000 个IDC，这让自建 CDN 望尘莫及。我们不重新发明轮子。但我们要让 CDN 从高端走向平民。为什么只能大公司才能享受 CDN 带来的好处？有了七牛，你就是个博客主也可以享受高品质的快感。七牛还帮你做了智能的 CDN 品质监测。万一某家 CDN 出现局部节点问题时，七牛还能够自动帮你把该区域切换到另一家 CDN，整个过程透明，让你省时省心。
独特的镜像存储，体验七牛云存储只需一键。
流媒体（音视频处理）支持。这个目前国内云存储也是首家。悄悄告诉你，最近音视频支持还会重大更新哦。
数据处理功能的级联（也就是管道）。图片先缩略再打水印，是管道功能的典型案例。
大文件支持。七牛云存储单文件最大支持到1TB

D. 《Go语言程序设计》epub下载在线阅读，求百度网盘云资源

《Go 语言程序设计》（Mark Summerfield）电子书网盘下载免费在线阅读

资源链接：

链接：https://pan..com/s/1SVbBaPldaVXv49op6H6klw

书名：Go 语言程序设计

作者：Mark Summerfield

译者：许式伟

豆瓣评分：6.9

出版社：人民邮电出版社

出版年份：2013-8-1

页数：354

内容简介：

国外最经典的Go语言着作，Go语言编程的先驱者Mark Summerfield的实践经验总结。

这是一本Go语言实战指南，帮你了解Go语言，按Go语言的方式思考，以及使用Go语言来编写高性能软件。

作者展示了如何编写充分利用Go语言突破性的特性和惯用法的代码，以及Go语言在其他语言之上所做的改进，并着重强调了Go语言的关键创新。

注重实践教学，每章都提供了多个经过精心设计的代码示例。

由国内第一个核心服务完全采用Go语言实现的团队——七牛团队核心成员翻译。

作者简介：

Mark Summerfield Qtrac公司创始人，独立的培训讲师、顾问、技术编辑，Go、Python、C++、Qt和PyQt方面的技术作家。他的着作包括Rapid GUI Programming with Python and Qt、C++ GUI Programming with Qt 4（与Jasmin Blanchette合着）、Programming in Python 3和Advanced Qt Programming等。

许式伟——七牛云存储CEO，开源爱好者，发布过十余个C++开源项目，拥有超过15年的C/C++开发经验。

吕桂华——七牛云存储联合创始人，拥有十余年的C/C++大型项目开发经验，也曾在Java和.NET平台上探索多年。

徐 立——七牛云存储首席布道师，前盛大创新院高级研究员。

何李石——七牛云存储布道师。

七牛云存储技术团队是国内第一个核心服务完全采用Go语言实现的团队。

E. 如何获取七牛云存储的AccessKey和SecretKey

牛在使用API方式管理文件是通过Access Key和Secret Key来认证的，这里只说下如何获取这两个KEY。
首先必须注册一个七牛账号（注册链接），注册完成后创建一个空间（BUCKEY，可以是公开的或私有的），点击导航上的“账号设置”：

然后点击左侧的“密钥”，在右边就可以看到你七牛账户对应的AK和SK，所有的使用API操作七牛云存储中的文件的方法都是需要提供这两个参数的：

另外使用“创建新密钥”的方法还可以再创建一组AK和SK，这样就可以同时使用这两组参数；或者创建一个新密钥，再把旧密钥停用后删除，这样就可以起到定期更换密钥的功能，安全性大有保障。

F. 看到云存储这块现在很火，主要的应用方向也就是网盘，对网盘挺感兴趣，有谁知道国内技术比较厉害的是哪家

目前，在云存储这一块，做的比较好的我个人觉得网络、华为、阿里等都是可以的！从性价比出发比较，我们公司用的南京云创存储开发的Minicloud迷你云软件，我感觉用着挺好的，文件数据块始终以双副本方式在不同节点上存放，绝不丢失数据，既可作为应用软件（如邮箱、视频监控）的海量存储空间，又可作为员工的私密存储空间，还可以作为数据共享空间等，大家可以试试看！

南京云创存储科技有限公司与CETC32所携手Intel联合开发的全球首款超低功耗、高密度的云存储产品——基于英特尔 凌动 处理器产品家族的云存储一体机。由CETC32所基于Intel Atom Processor for Storage开发的64位低功耗硬件平台，与云创存储自主创新核心产品cStor云存储系统完全结合的云存储一体机，全面展现了新一代高密度云存储产品超高容量、超高性能、节能环保的绿色魅力。与传统云存储产品相比，该产品可搭载总存储容量高达1824TB，单存储节点峰值功耗低于0.15KW，比传统云存储产品节能3倍，诸多优势完胜传统存储产品。

每节点主板功耗25W，单机架总功耗5700W,与传统云存储系统相比，节能3倍。系统采用了集中式直流供电，减少了电源逆变次数，提高电源效率。同时系统采用RMC智能管理模块对所有风扇进行管理，可根据系统局部温度变化调节风扇转速，达到节能效果。

G. 如何评价七牛云存储的 qnlang

槽点过多了，就算原来用 Go 的也会被坑死。
for语句
除了不支持 for range 文法，也不支持中途 continue、break（但是支持 return）。其他和 Go 语言完全类似

在一个细节上 qnlang 的 defer 和 Go 语言处理并不一致，那就是 defer 表达式中的变量值。

H. 上海七牛云公司的存储产品怎么样

七牛云成立10年，专注于云存储。区别于其他公司从云主机业务开始切入市场的方式，七牛云是一家典型的技术驱动型公司。成立初期，七牛云就定位于提供一站式的海量数据解决方案。据我了解在云存储这个领域，七牛云的实力不亚于国内任何一家同类型公司。以七牛云云存储一体机为例，预集成七牛自主研发的企业级存储服务和智能多媒体计算平台。操作简单，开箱即用，支持一键扩容。并能支持节点、机架、数据中心多等级可靠性保护；支持双活、多机房、跨区域数据保护。

I. 我为什么最终选择了七牛云存储

说实话，当初在用又拍云的时候，遇到了一些麻烦，因为我一开始不知道该怎么操作，其操作界面不是很人性化，弄了半天才弄明白怎么样新建一个空间，新建空间之后，还需要用 FTP 软件来管理这个空间的内容，在 Mac 上找到一个靠谱的FTP 管理工具并不容易，我试用了FileZilla 这个软件，使用和配置 FTP 又花了我不少功夫。

反观七牛则是一目了然，从新建空间、配置空间、上传文件、获取外链，全部都是在网页中可以完成简易的可视化操作：

在管理后台，无论是使用还是统计都是一目了然：

以我上传一张照片并获取外链供博客使用为例，比较一下又拍云和七牛云的流程：

又拍云

1.打开并登录 FTP 工具；

2.上传图片；

3.复制图片名

4.在博客管理后台输入外链路径+图片名（这一点最为麻烦，每次都需要手动输入一长串链接地址）

七牛云

1.直接在网页管理后台上传图片（这个界面很友好，和 wordpress 的图片上传界面类似）

2.直接获取复制完整外链即可（注意右侧的图片预览功能，这个对于图片多了之后防止误操作很是实用）

相比之下，显然是七牛云在操作使用上更加简便易行。

可视化图片处理设置
在数据处理环节，七牛云也比较方便，比如我的博客图片宽度不能超过550px，否则会撑破主题，并且想加上一个@望月的水印，那么就可以在数据处理界面进行设置。

这样，就不用在博客后台每次添加图片之后都去重新调整一下大小，也不用使用图片修改软件去添加水印之类的了。

免费的使用空间和流量
对于新用户，七牛云存储免费赠送10G 的使用空间+10G/月的流量，对于小博客来说，是完全够用了，推荐朋友还可以免费获取空间，如果你有需要，可以通过我的推荐链接注册七牛，也可以帮我增加一些免费空间和流量，谢谢。

同时，通过36Kr 的活动页面，还可以获取800元的代金券和85折的协议价进行续费充值。

即使是流量、存储空间和数据请求超出，七牛的价格也相对便宜。

一键加速功能
除此之外，还很是喜欢七牛云的一键加速网站功能，也就是镜像存储，源站资源(文件/图片等)根据初次访问自动同步到七牛云存储，数据平滑迁移。可使用绑定的自定义域名访问镜像存储的源站资源。格式:http://绑定域名/源站资源相对路径。

还可以配合使用七牛镜像存储 WordPress 插件一键实现 WordPress 博客静态文件 CDN 加速。

其实，七牛云在图片存储和使用方面的便捷就足够打动我了，综合来说，七牛云存储设计更加人性化、操作更加简便，价格更加适中，无论是对于博客用户还是开发者用户，都是个不错的选择。

J. 有用过七牛云产品的吗，这公司实力怎么样

七牛云发展十年，目前的主营业务包括云存储、CDN、纯PaaS平台即服务、MPaaS音视频平台即服务和DPaaS机器数据智能和解决方案的服务等，不过七牛云更专注于“云+数据”一体化的PaaS平台，这样更利于拓展to B行业领域。值得注意的是，七牛云自己开发的机器数据分析平台（PandoraIntelligent Service Analysis，简称“PISA”），采用schema on read技术与新一代计算引擎可以实现快速分析数据，在底层设计上具有稳定、强大、高性能、低成本的计算能力，可以支持开发者快速迭代数据分析场景应用，大大的适用场景也更加广泛，有望覆盖金融、汽车制造业等各行各业。
由此可见，七牛云仍具有强大的后劲。