搭建圖片文件伺服器
① 如何把圖片發布到遠程
在圖片伺服器建立一個ftp伺服器就可以了。
1.
如果圖片伺服器沒有外部IP，只有WEB有，在WEB上面做 21 埠轉發到圖片伺服器就可以了。
只是這樣會比較麻煩和復雜。FTP伺服器需要考慮主動和被動的模式。
2.
或者用VPN，在圖片伺服器和客戶端連接，這樣什麼問提都沒有了。不過這樣會是商業模式。
3.
弄外部IP地址配圖片伺服器。或者遠控帶傳輸文件的軟體。
方法狠很多，看你的承受。有技術，有收費，有免費，有安全，有不太安全的。
② 圖片伺服器的搭建01
nginx+vsftp搭建圖片伺服器
前言:
在分布式架構中，往往會有多個tomcat，然後你上傳的圖片只是在其中的某一個tomcat，你訪問時是由集群的tomcat隨機提供服務。當你訪問的tomcat是有圖片的那個時，圖片能正常顯示，如果恰巧是那個沒有圖片的tomcat時，圖片就不能正常顯示。這就完成了訪問同一個圖片，可能你刷新一次可以訪問，再刷新一次圖片就訪問不到了。這時，我們就需要一個伺服器用來專門存儲圖片，一般我們都用nginx。
1、nginx+vsftp:
上面分別介紹了nginx和vsftp，那麼這兩個東西怎麼組合起來用呢？怎麼實現這個圖片伺服器呢？我們知道，tomcat安裝好啟動後，在瀏覽器輸入localhost:8080，就會出現tomcat的歡迎頁，nginx也一樣。比如linux的ip是192.168.50.122，那麼啟動nginx後，在瀏覽器訪問這個地址也會出現nginx的歡迎頁，其實是因為它有個默認的訪問頁面，完整的地址應該是192.168.50.122/index.html，那麼我們就可以根據這個，把它默認的訪問頁面改成我們上傳的圖片的保存路徑，比如上傳了一張pic.jpg圖片到linux的/home/ftpuser/images中，如果我們把默認訪問頁面改成/home/ftpuser，那麼在瀏覽器中輸入192.168.50.122/images/pic.jpg，就可以訪問到這張圖片了。下面就來介紹nginx、vsftp的安裝以及配置。
<meta charset="utf-8">
1、安裝:
2、添加ftp用戶:
3、給ftp用戶添加密碼:
輸入兩次密碼後修改密碼。
4、修改selinux:
①查看狀態:
執行這個命令可以看到
這兩個都off，執行如下命令設置為on:
再次執行 getsebool -a | grep ftp 看到那兩個狀態是on就行了。
5、關閉匿名訪問:
執行
命令:
還要在vsftp.conf文件最下面添加以下內容:
然後保存退出即可。
6、設置開機啟動:
7、測試:
打開filezilla工具，輸入虛擬機的ip，21埠，用戶名和密碼，點擊快速連接，連接vsftp服務:
如圖所示則連接成功。
<meta charset="utf-8">
按照以上步驟安裝好nginx和vsftp後，還是不能訪問上傳的圖片的，需要進行如下配置:
執行
命令，打開nginx的配置文件:
按道理這樣就可以了，但是我訪問卻報錯:
403 forbidden ，最後發現是因為ftpuser文件夾沒有可讀許可權，執行如下命令:
再次訪問即可成功！
至此圖片伺服器搭建完成！至於在Java中如何使用這個圖片伺服器，請參考 Java實現把圖片上傳到圖片伺服器 。
在搭建的過程中，遇到很多坑，因為我參考的教程是centos 6，防火牆是iptables，而centos 7是firewall，
③ 使用seaweedfs搭建一個圖片伺服器 (上)
https://github.com/chrislusf/seaweedfs/releases
經典論文翻譯導讀之《Finding a needle in Haystack: Facebook』s photo storage》
http://www.importnew.com/3292.html
下面一張圖總結下相互關系：
weed master 創建的是一個master伺服器。
參數：
-defaultReplication string 備份策略（詳細見 https://github.com/chrislusf/seaweedfs/wiki/Replication ）
-ip string
-mdir string 選項用於配置保存生成的序列文件id的文件夾
-port int (default 9333)
-volumeSizeLimitMB uint 自定義不能大於30000(default 30000)
-whiteList string 白名單，ip地址用逗號隔開
master伺服器可以創建多個來實現故障轉移主伺服器，詳細見 https://github.com/chrislusf/seaweedfs/wiki/Failover-Master-Server
參數：
-dir string 數據保存的路徑，如果master的mdir沒有指定會使用這個，如果filer的dir沒有指定會新增並使用該目錄下的filer目錄
-ip string
-mserver string (default "localhost:9333")
-port
-dataCenter string
-rack string
-whiteList string
weed volume會創建一個 datanode ，可以指定所屬的 datacenter rack和master ，會根據配置存儲文件，默認一開始沒有volume，當開始存儲文件的時候才會創建一個volume，當這一個volume大小超過了volumeSizeLimitMB 就會新增一個volume，當volume個數超過了max則該datanode就不能新增數據了。那就需要在通過weed volume命令新增一個datanode。
weed filer
參數
-collection string 所有數據將存儲在此集合中
-dataCenter string 更傾向於在這個數據中心寫入卷
-dirListLimit int limit sub dir listing size (default 100000)
-ip string
-master string
-port int(default 8888)
更詳細的說明請見： https://mp.csdn.net/mdeditor/85049078#
或者訪問官網wiki ： https://github.com/chrislusf/seaweedfs/wiki
出現如下提示說明啟動成功
執行下面的命令：
出現DataCenters是null的原因是沒有執行weed volume創建DataCenter。
" 這里說一下抽象概念"：
我們抽象的認為我們的圖片伺服器，一個master需要兩個datacenter叫imgdatacenter1，imgdatacenter2；imgdatacenter1需要兩個rack叫imgrack1,imgrack2；然後imgrack1需要兩個datanode1，datanode2；
創建datanode時 ，統一設置每個datanode包含10個volume即可。當datanode裡面的volume滿了以後再創建 新的datanode即可，方便擴展，並且不同datanode可以在不同磁碟位置；
（imgdatacenter1的imgrack2和imgdatacenter2按照上面的方式創建即可，見附錄 ）
目前我們只是用imgdatacenter1->imgrack1->datanode1中的datanode1 :
創建datanode1的時候 master命令行會列印，提示leader新增child imgdatacenter1成功；imgdatacenter1新增child imgrack1成功；imgdatacenter1，imgrack1新增child 9991成功；volume server在9991埠。
此時再執行查看master狀態的命名；
DataCenters Racks DataNodes都存在了；
但是名為localhost:9991的datanode中的volumes為0，明明我們設置了10啊；
因為沒有上傳文件之前不會創建volume，volume會在上傳文件的時候根據實際情況創建。
這里注意下layouts，現在是null，當上傳文件的時候會出現一個名為""的collection，裡面的writables就是volume 的id數組，如果你自定義了collection，name你自定義的collection也會出現在這里，並且所有collection的volume個數之和小於等於我們設置的10；
collection刪除後再新增，裡面的volume的id會一直遞增，不會使用原先刪除的volume id。
此時我們可以上傳文件了。
上傳文件有多種方式，這里我們先說明兩個
1.先向master申請文件id，然後用文件id向datanode上傳文件：
修改只需要在fid上傳別的文件即可
上傳成功後訪問，只需要拼接url即可： localhost:9991/1,015b7256d5
2.直接向master上傳文件，master自己生成文件id，並向datanode上傳文件，然後返回結果：
此時你再查看狀態發現volume就創建了10個。
此時查看datanode的狀態：
因為我1.jpg上傳了兩次，而且第一次在id為1的volume中，第二次在id為3的volume中，所有你會發現這兩個id的volume的FileCount都為1
並發的上傳文件：
一個卷伺服器一次只寫一個卷。如果需要增加並發性，可以預先分配大量卷。下面是例子。您還可以組合所有不同的選項。狀態詳情見附錄
刪除文件：
文件的刪除不是實時的，因為weed默認有個閾值，超過這個閾值才會清理沒使用的空間，如果你一時間內刪除了大量文件，想立馬生效，可以用這種方式清理未使用的空間：
此時文件通過url的增刪改查都可以了，下面把服務映射成文件系統來操作，可以方便的操作本地的大量文件
filer是將文件以文件目錄的方式上傳到圖片服務，然後你根據文件目錄的方式訪問
默認使用leveldb保存映射關系，打開filer.toml文件修改保存映射文件的文件夾為ftmp（自定義）
然後啟動filer服務
master列印如下信息說明成功
自身的log
直接往weed filer中拷貝目錄或者文件（-include是文件模式通配符前使用？？）
weed filer. nginxdir http://localhost:8888/aaa 把nginxdir拷貝到aaa目錄下
weed filer. -include *.go . http://localhost:8888/github/
詳細請見 https://github.com/chrislusf/seaweedfs/wiki/Filer-Server-API
然而我們時長會有這樣的需求，批量把照片保存成圖片文件備份起來，而不是備份一個bat文件；
或者我們想以目錄結構的方式通過本地訪問，而不是通過web訪問？
此時最簡單有效的方法就是把filer伺服器mount到本地，然後直接操作文件系統：
weed mount 像訪問本地目錄一樣訪問文件系統，前提是開啟了 master volume filer
（它使用bazil.org/FUSE，它允許在Linux和OSX上編寫FUSE文件系統。在OSX上，它需要OSXFUSE）
可以指定 collection
關閉掛在需要關閉mount並且手動umont ~/mdir目錄，如果一般用戶失敗請使用root用戶
一個場景：
如果本地已經有很多文件了，如何快速的遷移到seaweedfs中呢？
1.啟動master、volume、filer
2.啟動mount
3.手動拷貝到mount目錄中（單線程的）
4.使用weed filer. file_or_dir1 [file_or_dir2 file_or_dir3] http://localhost:8888/path/to/a/folder/ （多線程且繞過fuse層）
aws s3 兼容
Each bucket is stored in one collection, and mapped to folder /buckets/<bucket_name> by default
可以通過刪除collection來快速刪除一個bucket
非同步復制
應該有兩個SeawideFileSystems運行，可能跨數據中心運行。每個伺服器都應該有自己的文件伺服器、主伺服器和卷伺服器。
這是我執行了（curl " http://localhost:9333/vol/grow?collection=imgcoll&count=3 " ）的結果
詳細文檔請見官方wiki
https://github.com/chrislusf/seaweedfs/wiki/Getting-Started