當前位置:首頁 » 文件管理 » redis分布式緩存php

redis分布式緩存php

發布時間: 2025-03-27 02:50:43

A. php手把手教你做網站(二十九)thinkphp6部署多個資料庫

前邊介紹了負載均衡,mysql同步,接下來介紹tp6分布式部署多個資料庫,實現讀寫分離。

tp6的分布式部署讀和寫仍然是一個系統,這里我們分開操作,給用戶展示的就是從資料庫,後端添加文章就是主庫,然後同步到從庫。

1、配置資料庫鏈接參數

目標:實現隨機使用資料庫展示信息,只是讀操作。

測試:前台可以讀取表中內容(存放的不一致),查看是否是隨機顯示的。

打開.env文件進行編輯

說明:

2、編輯database.php

找到deploy設置為1分布式部署,下邊不要改,都是讀,寫入的也就是後端的我們單獨建站連接主庫。

配置完成,tp6使用的是mt_rand取隨機數判斷使用哪個資料庫。

3、資料庫交互寫操作

比如瀏覽量沒必要每次都去更新資料庫,可以先使用redis緩存,存夠1000的整數倍,再去更新資料庫。

4、後台獨立,也就是寫

可以前後端分離,單獨做一個網站(沒有前端)使用ip訪問或者獨立的域名連接後台。

5、上傳附件(jquery ajax跨域上傳)

使用了nginx負載均衡,肯定是多個一樣的網站,如果圖片存放到一個站,別的就不能訪問了,可以單獨設置一個附件(壓縮包,圖片等)伺服器,可以使用二級域名連接,這就要求我們上傳附件的時候,是上傳到附件伺服器。

jqueryURL

API控制器apdpic方法

說明:

也可以先傳到後台伺服器然後使用(php)ftp上傳,或者是通過curl上傳到附件伺服器,感覺那樣畢竟麻煩,直接設置跨域會比較簡單。

也測試了使用jsonp跨域,但是不能上傳附件。

6、thinkphp6實現讀寫分離(在一個站點)

我個人是不喜歡這樣的,負載均衡應該是均衡地讀,也就是前台單獨一個站點,後端的寫是另一個獨立的站點,看個人喜好吧。

獨立後台的優點:可以提升安全性,因為我們的後台網址是不公開的,避免用戶猜測一些後台的信息。

.env配置按照1所述編輯,默認第一個是主庫。

database.php

願大家在新的一年心想事成,萬事如意!!!

B. 正確地使用Redis的SETNX實現鎖機制

在Redis中,setNX命令是實現鎖機制的關鍵工具,但其巧妙使用卻需要深入理解。setNX即"set if not exists",只有當鍵不存在時才會設置並返回1,否則返回0。看似簡單,但在實際應用中卻隱藏著潛在問題。


在處理高並發場景時,如資料庫查詢介面緩存,一旦緩存過期,大量請求湧入可能導致雪崩。這時,一個有效的鎖機制能避免並發更新造成的數據混亂。常見的做法是:


if ($redis->setNX($key, $value)) { // 更新緩存邏輯 $redis->del($key); }

然而,這里的問題在於,如果更新過程中程序意外退出,鎖不會自動刪除,引發後續問題。為避免這種情況,有些人嘗試設置過期時間,如:


$redis->multi(); $redis->setNX($key, $value); $redis->expire($key, $ttl); $redis->exec();

雖然增加了原子性,但仍有漏洞:如果多個請求同時到達,一個setNX成功但expire可能失敗,導致鎖失效。Redis從2.6.12版本開始,SET命令增加了SETEX的功能,可以直接解決這個問題:


$rs = $redis->set($key, $value, ['nx', 'ex' => $ttl]); if ($rs) { // 更新緩存邏輯 $redis->del($key); }

然而,這並未完全解決問題,因為如果更新緩存時間過長,鎖可能在更新過程中失效。為避免誤刪其他請求的鎖,我們需要在刪除前加入額外的驗證:


$rs = $redis->set($key, $random, ['nx', 'ex' => $ttl]); if ($rs) { // 更新緩存邏輯 if ($redis->get($key) == $random) { $redis->del($key); } }

通過這些細致的調整,我們可以更穩健地使用setNX實現鎖,確保在高並發下數據的一致性和可靠性。如果你追求更多PHP技術的精華內容,包括框架、微服務、分布式和高並發場景,不妨關注我們的公眾號:PHP開源社區,那裡有豐富的技術資料和文章合集,帶你深入探索PHP的世界。


精華PHP技術文章集合:
- PHP框架篇
- 微服務架構篇
- 分布式架構篇
- 高並發場景篇
- 資料庫篇


持續學習,共同進步,讓我們在技術的道路上攜手前行!

C. php redis做mysql的緩存,怎麼非同步redis同步到mysql資料庫

對於變化頻率非常快的數據來說,如果還選擇傳統的靜態緩存方式(Memocached、File System等)展示數據,可能在緩存的存取上會有很大的開銷,並不能很好的滿足需要,而Redis這樣基於內存的NoSQL資料庫,就非常適合擔任實時數據的容器。

但是往往又有數據可靠性的需求,採用MySQL作為數據存儲,不會因為內存問題而引起數據丟失,同時也可以利用關系資料庫的特性實現很多功能。

所以就會很自然的想到是否可以採用MySQL作為數據存儲引擎,Redis則作為Cache。而這種需求目前還沒有看到有特別成熟的解決方案或工具,因此採用Gearman+PHP+MySQL UDF的組合非同步實現MySQL到Redis的數據復制。

MySQL到Redis數據復制方案

無論MySQL還是Redis,自身都帶有數據同步的機制,比較常用的MySQL的Master/Slave模式,就是由Slave端分析Master的binlog來實現的,這樣的數據復制其實還是一個非同步過程,只不過當伺服器都在同一內網時,非同步的延遲幾乎可以忽略。

那麼理論上也可以用同樣方式,分析MySQL的binlog文件並將數據插入Redis。但是這需要對binlog文件以及MySQL有非常深入的理解,同時由於binlog存在Statement/Row/Mixedlevel多種形式,分析binlog實現同步的工作量是非常大的。

因此這里選擇了一種開發成本更加低廉的方式,借用已經比較成熟的MySQL UDF,將MySQL數據首先放入Gearman中,然後通過一個自己編寫的PHP Gearman Worker,將數據同步到Redis。比分析binlog的方式增加了不少流程,但是實現成本更低,更容易操作。

Gearman的安裝與使用

Gearman是一個支持分布式的任務分發框架。設計簡潔,獲得了非常廣泛的支持。一個典型的Gearman應用包括以下這些部分:

Gearman Job Server:Gearman核心程序,需要編譯安裝並以守護進程形式運行在後台

Gearman Client:可以理解為任務的收件員,比如在後台執行一個發送郵件的任務,可以在程序中調用一個Gearman Client並傳入郵件的信息,然後就可以將執行結果立即展示給用戶,而任務本身會慢慢在後台運行。

Gearman Worker:任務的真正執行者,一般需要自己編寫具體邏輯並通過守護進程方式運行,Gearman Worker接收到Gearman Client傳遞的任務內容後,會按順序處理。

以前曾經介紹過類似的後台任務處理項目Resque。兩者的設計其實非常接近,簡單可以類比為:

Gearman Job Server:對應Resque的Redis部分

Gearman Client:對應Resque的Queue操作

Gearman Worker:對應Resque的Worker和Job

這里之所以選擇Gearman而不是Resque是因為Gearman提供了比較好用的MySQL UDF,工作量更小。

安裝Gearman及PHP Gearman擴展

以下均以Ubuntu12.04為例。

apt-get install gearman gearman-server libgearman-dev

檢查Gearman的運行狀況:

/etc/init.d/gearman-job-server status

* gearmand is running

說明Gearman已經安裝成功。

PHP的Gearman擴展可以通過pecl直接安裝

pecl install gearman

echo "extension=gearman.so">/etc/php5/conf.d/gearman.ini

service php5-fpm restart

但是實測發現ubuntu默認安裝的gearman版本過低,直接運行pecl install gearman會報錯

configure: error: libgearman version 1.1.0or later required

因此Gearman + PHP擴展建議通過編譯方式安裝,這里為了簡單說明,選擇安裝舊版本擴展:

pecl install gearman-1.0.3

Gearman + PHP實例

為了更容易理解後文Gearman的運行流程,這里不妨從一個最簡單的Gearman實例來說明,比如要進行一個文件處理的操作,首先編寫一個Gearman Client並命名為client.php:

<?php

$client =newGearmanClient();

$client->addServer();

$client->doBackground('writeLog','Log content');

echo '文件已經在後台操作';

運行這個文件,相當於模擬用戶請求一個Web頁面後,將處理結束的信息返回用戶:

php client.php

查看一下Gearman的狀況:

(echo status ; sleep 0.1)| netcat127.0.0.14730

可以看到輸出為

writeLog 100.

說明已經在Gearman中建立了一個名為writeLog的任務,並且有1個任務在隊列等待中。

而上面的4列分別代表當前的Gearman的運行狀態:

任務名稱

在等待隊列中的任務

正在運行的任務

正在運行的Worker進程

可以使用watch進行實時監控:

watch -n 1"(echo status; sleep 0.1) | nc 127.0.0.1 4730"

然後我們需要編寫一個Gearman Worker命名為worker.php:

<?php

$worker =newGearmanWorker();

$worker->addServer();

$worker->addFunction('writeLog','writeLog');while($worker->work());function writeLog($job){

$log = $job->workload();file_put_contents(__DIR__ .'/gearman.log', $log ." ", FILE_APPEND | LOCK_EX);}

Worker使用一個while死循環實現守護進程,運行

php worker.php

可以看到Gearman狀態變為:

writeLog 001

同時查看同目錄下gearman.log,內容應為從Client傳入的值Log content。

通過MySQL UDF + Trigger同步數據到Gearman

MySQL要實現與外部程序互通的最好方式還是通過MySQL UDF(MySQL user defined functions)來實現。為了讓MySQL能將數據傳入Gearman,這里使用了lib_mysqludf_json和gearman-mysql-udf的組合。

安裝lib_mysqludf_json

使用lib_mysqludf_json的原因是因為Gearman只接受字元串作為入口參數,可以通過lib_mysqludf_json將MySQL中的數據編碼為JSON字元串

apt-get install libmysqlclient-dev

wget https://github.com/mysqludf/lib_mysqludf_json/archive/master.zip

unzip master.zip

cd lib_mysqludf_json-master/

rm lib_mysqludf_json.so

gcc $(mysql_config --cflags)-shared -fPIC -o lib_mysqludf_json.so lib_mysqludf_json.c

可以看到重新編譯生成了 lib_mysqludf_json.so 文件,此時需要查看MySQL的插件安裝路徑:

mysql -u root -pPASSWORD --execute="show variables like '%plugin%';"+---------------+------------------------+|Variable_name|Value|+---------------+------------------------+| plugin_dir |/usr/lib/mysql/plugin/|+---------------+------------------------+

然後將 lib_mysqludf_json.so 文件復制到對應位置:

cp lib_mysqludf_json.so /usr/lib/mysql/plugin/

最後登入MySQL運行語句注冊UDF函數:

CREATE FUNCTION json_object RETURNS STRING SONAME 'lib_mysqludf_json.so';

安裝gearman-mysql-udf

方法幾乎一樣:

apt-get install libgearman-dev

wget https://launchpad.net/gearman-mysql-udf/trunk/0.6/+download/gearman-mysql-udf-0.6.tar.gz

tar -xzf gearman-mysql-udf-0.6.tar.gz

cd gearman-mysql-udf-0.6./configure --with-mysql=/usr/bin/mysql_config

-libdir=/usr/lib/mysql/plugin/

make && make install

登入MySQL運行語句注冊UDF函數:

CREATE FUNCTION gman_do_background RETURNS STRING SONAME 'libgearman_mysql_udf.so';

CREATE FUNCTION gman_servers_set RETURNS STRING SONAME 'libgearman_mysql_udf.so';

最後指定Gearman伺服器的信息:

SELECT gman_servers_set('127.0.0.1:4730');

通過MySQL觸發器實現數據同步

最終同步哪些數據,同步的條件,還是需要根據實際情況決定,比如將數據表data的數據在每次更新時同步,那麼編寫Trigger如下:

DELIMITER $$

CREATE TRIGGER datatoredis AFTER UPDATE ON data

FOR EACH ROW BEGIN

SET @ret=gman_do_background('syncToRedis', json_object(NEW.id as`id`, NEW.volume as`volume`));END$$

DELIMITER ;

嘗試在資料庫中更新一條數據查看Gearman是否生效。

Gearman PHP Worker將MySQL數據非同步復制到Redis

Redis作為時下當熱的NoSQL緩存解決方案無需過多介紹,其安裝及使用也非常簡單:

apt-get install redis-server

pecl install redis

echo "extension=redis.so">/etc/php5/conf.d/redis.ini

然後編寫一個Gearman Worker:redis_worker.php

#!/usr/bin/env php<?

$worker =newGearmanWorker();

$worker->addServer();

$worker->addFunction('syncToRedis','syncToRedis');

$redis =newRedis();

$redis->connect('127.0.0.1',6379);while($worker->work());function syncToRedis($job){global $redis;

$workString = $job->workload();

$work = json_decode($workString);if(!isset($work->id)){returnfalse;}

$redis->set($work->id, $workString);}

最後需要將Worker在後台運行:

nohup php redis_worker.php &

通過這種方式將MySQL數據復制到Redis,經測試單Worker基本可以瞬時完成。

熱點內容
samba源碼 發布:2025-03-30 02:53:45 瀏覽:485
小米2s手機存儲 發布:2025-03-30 02:48:47 瀏覽:785
去傾斜演算法 發布:2025-03-30 02:48:12 瀏覽:917
java是編譯 發布:2025-03-30 02:33:36 瀏覽:293
php水印類 發布:2025-03-30 02:25:03 瀏覽:963
伺服器怎麼下載地圖 發布:2025-03-30 02:22:20 瀏覽:421
sql編碼注入滲透伺服器怎麼用 發布:2025-03-30 02:15:36 瀏覽:479
獵人伺服器搭建 發布:2025-03-30 02:10:39 瀏覽:957
伺服器電腦拆解 發布:2025-03-30 01:53:40 瀏覽:148
起點上傳圖片 發布:2025-03-30 01:47:00 瀏覽:234