redis多埠數據如何存儲
A. 如何使用redis存儲海量小數據
redis自帶的 redis-cli 的 --pipe 參數可以實現快速載入數據,但是需要我們把數據轉成redis協議。 --pipe-timeout 參數設置為0,防止redis響應太晚redis-cli過早退出。
但是pl的性能稍弱,還沒到redis的吞吐量瓶頸,自己CPU先100%了,為此,使用20個進程,每個進程500萬數據,這樣redis的CPU使用率到了100%,數據載入可以在5分鍾內完成。
B. redis集群數據是怎麼存儲的
1.
手動寫腳本把舊的redis中的數據刷到新的redis集群中。而在同步的過程中,產生的新的變化數據你需要再刷一遍(補刷)。優點是切換的時候無壓力變化,缺點是容易造成數據錯誤。
2.
不去管它,直接讓它切換到集群,原有redis數據全都作廢,讓它重新生成。優點是不容易出錯,缺點是會有一定時間壓力壓到庫上。
具體怎麼選擇取決於業務邏輯和你原有程序的寫法。
C. Redis 在存放設備實時數據的時候的存儲策略是什麼
你的方式也不是不可以,但是如果要多次重復取一條數據就比較耗時,因為每次取出來都要解析一次,最好還是存之前都解析好,一般使用hash數據結構即可,也就是java中的map,將各個參數放入map中,設備號作為key,map作為value,獲取數據時可以獲取某個設備的所有參數,也可以獲取某個設備的指定參數。
D. redis 怎麼啟用多埠
我來回答通常sniffer所要關心的內容可以分成這樣幾類:1、口令我想這是絕大多數非法使用sniffer的理由,sniffer可以記錄到明文傳送的userid和passwd.就算你在網路傳送過程中使用了加密的數據,sniffer記錄的數據一樣有可能使入侵者在家裡邊吃肉串邊想法算出你的演算法。2、金融帳號許多用戶很放心在網上使用自己的信用卡或現金帳號,然而sniffer可以很輕松截獲在網上傳送的用戶姓名、口令、信用卡號碼、截止日期、帳號和pin.3、偷窺機密或敏感的信息數據通過攔截數據包,入侵者可以很方便記錄別人之間敏感的信息傳送,或者乾脆攔截整個的email會話過程。4、窺探低級的協議信息。這是很可怕的事,我認為,通過對底層的信息協議記錄,比如記錄兩台主機之間的網路介面地址、遠程網路介面ip地址、ip路由信息和tcp連接的位元組順序號碼等。這些信息由非法入侵的人掌握後將對網路安全構成極大的危害,通常有人用sniffer收集這些信息只有一個原因:他正在進行一次欺詐,(通常的ip地址欺詐就要求你准確插入tcp連接的位元組順序號,這將在以後整理的文章中指出)如果某人很關心這個問題,那麼sniffer對他來說只是前奏,今後的問題要大得多。(對於高級的hacker而言,我想這是使用sniffer的唯一理由吧)二.sniffer的工作環境snifffer就是能夠捕獲網路報文的設備。嗅探器的正當用處在於分析網路的流量,以便找出所關心的網路中潛在的問題。例如,假設網路的某一段運行得不是很好,報文的發送比較慢,而我們又不知道問題出在什麼地方,此時就可以用嗅探器來作出精確的問題判斷。嗅探器在功能和設計方面有很多不同。有些只能分析一種協議,而另一些可能能夠分析幾百種協議。一般情況下,大多數的嗅探器至少能夠分析下面的協議:1.標准乙太網2.TCP/IP3.IPX4.DECNet嗅探器通常是軟硬體的結合。專用的嗅探器價格非常昂貴。另一方面,免費的嗅探器雖然不需要花什麼錢,但得不到什麼支持。嗅探器與一般的鍵盤捕獲程序不同。鍵盤捕獲程序捕獲在終端上輸入的鍵值,而嗅探器則捕獲真實的網路報文。嗅探器通過將其置身於網路介面來達到這個目的——例如將乙太網卡設置成雜收模式。(為了理解雜收模式是怎麼回事,先解釋區域網是怎麼工作的)。數據在網路上是以很小的稱為幀(Ftame)的單位傳輸的幀由好幾部分組成,不同的部分執行不同的功能。(例如,乙太網的前12個位元組存放的是源和目的的地址,這些位告訴網路:數據的來源和去處。乙太網幀的其他部分存放實際的用戶數據、TCP/IP的報文頭或IPX報文頭等等)。幀通過特定的稱為網路驅動程序的軟體進行成型,然後通過網卡發送到網線上。通過網線到達它們的目的機器,在目的機器的一端執行相反的過程。接收端機器的乙太網卡捕獲到這些幀,並告訴操作系統幀的到達,然後對其進行存儲。就是在這個傳輸和接收的過程中,嗅探器會造成安全方面的問題。每一個在LAN上的工作站都有其硬體地址。這些地址唯一地表示著網路上的機器(這一點於Internet地址系統比較相似)。當用戶發送一個報文時,這些報文就會發送到LAN上所有可用的機器。在一般情況下,網路上所有的機器都可以「聽」到通過的流量,但對不屬於自己的報文則不予響應(換句話說,工作站A不會捕獲屬於工作站B的數據,而是簡單的忽略這些數據)。如果某在工作站的網路介面處於雜收模式,那麼它就可以捕獲網路上所有的報文和幀,如果一個工作站被配置成這樣的方式,它(包括其軟體)就是一個嗅探器。嗅探器可能造成的危害:1.嗅探器能夠捕獲口令2.能夠捕獲專用的或者機密的信息3.可以用來危害網路鄰居的安全,或者用來獲取更高級別的訪問許可權事實上,如果你在網路上存在非授權的嗅探器就以為著你的系統已經暴露在別人面前了。(大家可以試試天行2的嗅探功能)一般我們只嗅探每個報文的前200到300個位元組。用戶名和口令都包含在這一部分中,這是我們關心的真正部分。工人,也可以嗅探給定介面上的所有報文,如果有足夠的空間進行存儲,有足夠的那裡進行處理的話,將會發現另一些非常有趣的東西……簡單的放置一個嗅探器賓將其放到隨便什麼地方將不會起到什麼作用。將嗅探器放置於被攻擊機器或網路附近,這樣將捕獲到很多口令,還有一個比較好的方法就是放在網關上。如果這樣的話就能捕獲網路和其他網路進行身份鑒別的過程。這樣的方式將成倍地增加我們能夠攻擊的范圍。三.誰會使用sniffers可能誰都回知道誰會使用sniffer,但是並不是每個使用它的人都是網路高手,因為現在有很多的sniffer都成了傻瓜似的了,前段時間用的最多的不外乎oicqsniffer。我想那些喜歡查好友ip的朋友都應該記得它吧。呵呵,我都使用過它,現在當然不用了啊!當然系統管理員使用sniffer來分析網路信息交通並且找出網路上何處發生問題。一個安全管理員可以同時用多種sniffer,將它們放置在網路的各處,形成一個入侵警報系統。對於系統管理員來說sniffer是一個非常好的工具,但是它同樣是一個經常被黑客使用的工具.駭客安裝sniffer以獲得用戶名和賬號,信用卡號碼,個人信息,和其他的信息可以導致對你或是你的公司的極大危害如果向壞的方面發展。當它們得到這些信息後,駭客將使用密碼來進攻其他的internet站點甚至倒賣信用卡號碼。三.sniffer是如何在網路上實施的談這個問題之前還應該先說一下Ethernet的通訊。通常在同一個網段的所有網路介面都有訪問在媒體上傳輸的所有數據的能力,而每個網路介面都還應該有一個硬體地址,該硬體地址不同於網路中存在的其它網路介面的硬體地址,同時,每個網路至少還要一個廣播地址。在正常情況下,一個合法的網路介面應該只響應這樣的兩種數據幀:1幀的目標區域具有和本地網路介面相匹配的硬體地址。2幀的目標區域具有「廣播地址」。在接受到上面兩種情況的數據包時,網卡通過cpu產生一個硬體中斷。該中斷能引起操作系統注意,然後將幀中所包含的數據傳送給系統進一步處理。而sniffer就是一種能將本地網卡狀態設成雜亂模式(promiscuousMode)的軟體。當網卡處於雜亂模式時,該網卡具備「廣播地址」,它對所有遇到的每一個幀都產生一個硬體中斷以提醒操作系統處理每一個報文包。(絕大多數的網卡具備設置成雜亂模式的能力。可見,sniffer工作在網路環境中的底層,它會攔截所有的正在網路上傳送的數據。通過相應的軟體處理,可以實時分析這些數據的內容,進而分析所處的網路狀態和整體布局。值得注意的是:sniffer是極其安靜的,它是一種消極的安全攻擊。四.哪裡可以得到sniffer我們講的sniffer,主要是在unix系統下運用的,至於那些oicqsniffer就不在我們討論的范圍。Sniffer是黑客們最常用的入侵手段之一。你可以在經過允許的網路中運行sniffer,了解它是如何有效地危及本地機器安全。Sniffer可以是硬體,也可以是軟體。現在品種最多,應用最廣的是軟體Sniffer,絕大多數黑客們用的也是軟體Sniffer。以下是一些也被廣泛用於調試網路故障的sniffer工具:(一).商用sniffer:1.NetworkGeneral.NetworkGeneral開發了多種產品。最重要的是ExpertSniffer,它不僅僅可以sniff,還能夠通過高性能的專門系統發送/接收數據包,幫助診斷故障。還有一個增強產品"DistrbutedSnifferSystem"可以將UNIX工作站作為sniffer控制台,而將snifferagents(代理)分布到遠程主機上。2.Microsoft'sNetMonitor對於某些商業站點,可能同時需要運行多種協議--NetBEUI、IPX/SPX、TCP/IP、802.3和SNA等。這時很難找到一種sniffer幫助解決網路問題,因為許多sniffer往往將某些正確的協議數據包當成了錯誤數據包。Microsoft的NetMonitor(以前叫Bloodhound)可以解決這個難題。它能夠正確區分諸如Netware控制數據包、NTNetBios名字服務廣播等獨特的數據包。(etherfind只會將這些數據包標識為類型0000的廣播數據包。)這個工具運行在MSWindows平台上。它甚至能夠按MAC地址(或主機名)進行網路統計和會話信息監視。只需簡單地單擊某個會話即可獲得tcpmp標準的輸出。過濾器設置也是最為簡單的,只要在一個對話框中單擊需要監視的主機即可。(二).免費軟體sniffer1.Sniffit由LawrenceBerkeley實驗室開發,運行於Solaris、SGI和linux等平台。可以選擇源、目標地址或地址集合,還可以選擇監聽的埠、協議和網路介面等。這個SNIFFER默認狀態下只接受最先的400個位元組的信息包,這對於一次登陸會話進程剛剛好。2.SNORT:這個SNIFFER有很多選項供你使用並可移植性強,可以記錄一些連接信息,用來跟蹤一些網路活動。3.TCPDUMP:這個SNIFFER很有名,linux,FREEBSD還搭帶在系統上,是一個被很多UNIX高手認為是一個專業的網路管理工具,記得以前TsutomuShimomura(應該叫下村侵吧)就是使用他自己修改過的TCPDUMP版本來記錄了KEVINMITNICK攻擊他系統的記錄,後來就配合FBI抓住了KEVINMITNICK,後來他寫了一文:使用這些LOG記錄描述了那次的攻擊,((四).Linux下的sniffer工具Linux下的sniffer工具,我推薦Tcpmp。[1].tcpmp的安裝在linux下tcpmp的安裝十分簡單,一般由兩種安裝方式。一種是以rpm包的形式來進行安裝。另外一種是以源程序的形式安裝。1.rpm包的形式安裝這種形式的安裝是最簡單的安裝方法,rpm包是將軟體編譯後打包成二進制的格式,通過rpm命令可以直接安裝,不需要修改任何東西。以超級用戶登錄,使用命令如下:#rpm-ivhtcpmp-3_4a5.rpm這樣tcpmp就順利地安裝到你的linux系統中。怎麼樣,很簡單吧。2.源程序的安裝既然rpm包的安裝很簡單,為什麼還要採用比較復雜的源程序安裝呢其實,linux一個最大的誘人之處就是在她上面有很多軟體是提供源程序的,人們可以修改源程序來滿足自己的特殊的需要。所以我特別建議朋友們都採取這種源程序的安裝方法。·第一步取得源程序在源程序的安裝方式中,我們首先要取得tcpmp的源程序分發包,這種分發包有兩種形式,一種是tar壓縮包(tcpmp-3_4a5.tar.Z),另一種是rpm的分發包(tcpmp-3_4a5.src.rpm)。這兩種形式的內容都是一樣的,不同的僅僅是壓縮的方式.tar的壓縮包可以使用如下命令解開:#tarxvfztcpmp-3_4a5.tar.Zrpm的包可以使用如下命令安裝:#rpm-ivhtcpmp-3_4a5.src.rpm這樣就把tcpmp的源代碼解壓到/usr/src/redhat/SOURCES目錄下.·第二步做好編譯源程序前的准備活動在編譯源程序之前,最好已經確定庫文件libpcap已經安裝完畢,這個庫文件是tcpmp軟體所需的庫文件。同樣,你同時還要有一個標準的c語言編譯器。在linux下標準的c語言編譯器一般是gcc。在tcpmp的源程序目錄中。有一個文件是Makefile.in,configure命令就是從Makefile.in文件中自動產生Makefile文件。在Makefile.in文件中,可以根據系統的配置來修改BINDEST和MANDEST這兩個宏定義,預設值是BINDEST=@sbindir@MANDEST=@mandir@第一個宏值表明安裝tcpmp的二進制文件的路徑名,第二個表明tcpmp的man幫助頁的路徑名,你可以修改它們來滿足系統的需求。·第三步編譯源程序使用源程序目錄中的configure腳本,它從系統中讀出各種所需的屬性。並且根據Makefile.in文件自動生成Makefile文件,以便編譯使用.make命令則根據Makefile文件中的規則編譯tcpmp的源程序。使用makeinstall命令安裝編譯好的tcpmp的二進制文件。總結一下就是:#tarxvfztcpmp-3_4a5.tar.Z#viMakefile.in#./configure#make#makeinstall[2].Tcpmp的使用tcpmp採用命令行方式,它的命令格式為:tcpmp[-adeflnNOpqStvx][-c數量][-F文件名][-i網路介面][-r文件名][-ssnaplen][-T類型][-w文件名][表達式]1.tcpmp的選項介紹-a將網路地址和廣播地址轉變成名字;-d將匹配信息包的代碼以人們能夠理解的匯編格式給出;-dd將匹配信息包的代碼以c語言程序段的格式給出;-ddd將匹配信息包的代碼以十進制的形式給出;-e在輸出行列印出數據鏈路層的頭部信息;-f將外部的Internet地址以數字的形式列印出來;-l使標准輸出變為緩沖行形式;-n不把網路地址轉換成名字;-t在輸出的每一行不列印時間戳;-v輸出一個稍微詳細的信息,例如在ip包中可以包括ttl和服務類型的信息;-vv輸出詳細的報文信息;-c在收到指定的包的數目後,tcpmp就會停止;-F從指定的文件中讀取表達式,忽略其它的表達式;-i指定監聽的網路介面;-r從指定的文件中讀取包(這些包一般通過-w選項產生);-w直接將包寫入文件中,並不分析和列印出來;-T將監聽到的包直接解釋為指定的類型的報文,常見的類型有rpc(遠程過程調用)和snmp(簡單網路管理協議;)2.tcpmp的表達式介紹表達式是一個正則表達式,tcpmp利用它作為過濾報文的條件,如果一個報文滿足表達式的條件,則這個報文將會被捕獲。如果沒有給出任何條件,則網路上所有的信息包將會被截獲。在表達式中一般如下幾種類型的關鍵字,一種是關於類型的關鍵字,主要包括host,net,port,例如host210.27.48.2,指明210.27.48.2是一台主機,net202.0.0.0指明202.0.0.0是一個網路地址,port23指明埠號是23。如果沒有指定類型,預設的類型是host.第二種是確定傳輸方向的關鍵字,主要包括src,dst,dstorsrc,dstandsrc,這些關鍵字指明了傳輸的方向。舉例說明,src210.27.48.2,指明ip包中源地址是210.27.48.2,dstnet202.0.0.0指明目的網路地址是202.0.0.0。如果沒有指明方向關鍵字,則預設是srcordst關鍵字。第三種是協議的關鍵字,主要包括fddi,ip,arp,rarp,tcp,udp等類型。Fddi指明是在FDDI(分布式光纖數據介面網路)上的特定的網路協議,實際上它是"ether"的別名,fddi和ether具有類似的源地址和目的地址,所以可以將fddi協議包當作ether的包進行處理和分析。其他的幾個關鍵字就是指明了監聽的包的協議內容。如果沒有指定任何協議,則tcpmp將會監聽所有協議的信息包。除了這三種類型的關鍵字之外,其他重要的關鍵字如下:gateway,broadcast,less,greater,還有三種邏輯運算,取非運算是'not''!',與運算是'and','&&';或運算是'or','';這些關鍵字可以組合起來構成強大的組合條件來滿足人們的需要,下面舉幾個例子來說明。(1)想要截獲所有210.27.48.1的主機收到的和發出的所有的數據包:#tcpmphost210.27.48.1(2)想要截獲主機210.27.48.1和主機210.27.48.2或210.27.48.3的通信,使用命令:(在命令行中適用括弧時,一定要#tcpmphost210.27.48.1and\(210.27.48.2or210.27.48.3\)(3)如果想要獲取主機210.27.48.1除了和主機210.27.48.2之外所有主機通信的ip包,使用命令:#tcpmpiphost210.27.48.1and!210.27.48.2(4)如果想要獲取主機210.27.48.1接收或發出的telnet包,使用如下命令:#tcpmptcpport23host210.27.48.13.tcpmp的輸出結果介紹下面我們介紹幾種典型的tcpmp命令的輸出信息(1)數據鏈路層頭信息使用命令#tcpmp--ehosticeice是一台裝有linux的主機,她的MAC地址是0:90:27:58:AF:1AH219是一台裝有SOLARIC的SUN工作站,它的MAC地址是8:0:20:79:5B:46;上一條命令的輸出結果如下所示:21:50:12.847509eth08:0:20:79:5b:460:90:27:58:af:1aip60:h219.33357>ice.telnet0:0(0)ack22535win8760(DF)分析:21:50:12是顯示的時間,847509是ID號,eth0表示從網路介面設備發送數據包,8:0:20:79:5b:46是主機H219的MAC地址,它表明是從源地址H219發來的數據包.0:90:27:58:af:1a是主機ICE的MAC地址,表示該數據包的目的地址是ICE.ip是表明該數據包是IP數據包,60是數據包的長度,h219.33357>ice.telnet表明該數據包是從主機H219的33357埠發往主機ICE的TELNET(23)埠.ack22535表明對序列號是222535的包進行響應.win8760表明發送窗口的大小是8760.(2)ARP包的TCPDUMP輸出信息使用命令#tcpmparp得到的輸出結果是:22:32:42.802509eth0>arpwho-hasroutetellice(0:90:27:58:af:1a)22:32:42.802902eth0表明從主機發出該數據包,arp表明是ARP請求包,who-hasroutetellice表明是主機ICE請求主機ROUTE的MAC地址。0:90:27:58:af:1a是主機ICE的MAC地址。(3)TCP包的輸出信息用TCPDUMP捕獲的TCP包的一般輸出信息是:src>dst:flagsdata->dst:表明從源地址到目的地址,flags是TCP包中的標志信息,S是SYN標志,F(FIN),P(PUSH),R(RST)"."(沒有標記);data-seqno是數據包中的數據的順序號,ack是下次期望的順序號,window是接收緩存的窗口大小,urgent表明數據包中是否有緊急指針.Options是選項.(4)UDP包的輸出信息用TCPDUMP捕獲的UDP包的一般輸出信息是:route.port1>ice.port2:udplenthUDP十分簡單,上面的輸出行表明從主機ROUTE的port1埠發出的一個UDP數據包到主機ICE的port2埠,類型是UDP,包的長度是lenth上面,我就詳細介紹了TCPDUMP的安裝和使用,希望會對大家有所幫助。如果想要熟練運用TCPDUMP這個LINUX環境下的SNIFFER利器,還需要大家在實踐中總結經驗,充分發揮它的威力。(五).windows平台上的sniffer我推薦netxray和snifferpro軟體,想必大家都用過他們,不過我在這兒還要再簡單介紹一下他們。
E. redis多個資料庫 內存怎麼分配的
1、redis 中的每一個資料庫,都由一個 redisDb 的結構存儲。其中,redisDb.id 存儲著 redis 資料庫以整數表示的號碼。redisDb.dict 存儲著該庫所有的鍵值對數據。redisDb.expires 保存著每一個鍵的過期時間。
2、當redis 伺服器初始化時,會預先分配 16 個資料庫(該數量可以通過配置文件配置),所有資料庫保存到結構 redisServer 的一個成員 redisServer.db 數組中。當我們選擇資料庫 select number 時,程序直接通過 redisServer.db[number] 來切換資料庫。有時候當程序需要知道自己是在哪個資料庫時,直接讀取 redisDb.id 即可。
3、既然我們知道一個資料庫的所有鍵值都存儲在redisDb.dict中,那麼我們要知道如果找到key的位置,就有必要了解一下dict 的結構了:
typedef struct dict {
// 特定於類型的處理函數
dictType *type;
// 類型處理函數的私有數據
void *privdata;
// 哈希表(2個)
dictht ht[2];
// 記錄 rehash 進度的標志,值為-1 表示 rehash 未進行
int rehashidx;
// 當前正在運作的安全迭代器數量
int iterators;
} dict;
由上述的結構可以看出,redis 的字典使用哈希表作為其底層實現。dict 類型使用的兩個指向哈希表的指針,其中 0 號哈希表(ht[0])主要用於存儲資料庫的所有鍵值,而1號哈希表主要用於程序對 0 號哈希表進行 rehash 時使用,rehash 一般是在添加新值時會觸發,這里不做過多的贅述。所以redis 中查找一個key,其實就是對進行該dict 結構中的 ht[0] 進行查找操作。
4、既然是哈希,那麼我們知道就會有哈希碰撞,那麼當多個鍵哈希之後為同一個值怎麼辦呢?redis採取鏈表的方式來存儲多個哈希碰撞的鍵。也就是說,當根據key的哈希值找到該列表後,如果列表的長度大於1,那麼我們需要遍歷該鏈表來找到我們所查找的key。當然,一般情況下鏈表長度都為是1,所以時間復雜度可看作o(1)。
二、當redis 拿到一個key 時,如果找到該key的位置。
了解了上述知識之後,我們就可以來分析redis如果在內存找到一個key了。
1、當拿到一個key後, redis 先判斷當前庫的0號哈希表是否為空,即:if (dict->ht[0].size == 0)。如果為true直接返回NULL。
2、判斷該0號哈希表是否需要rehash,因為如果在進行rehash,那麼兩個表中者有可能存儲該key。如果正在進行rehash,將調用一次_dictRehashStep方法,_dictRehashStep 用於對資料庫字典、以及哈希鍵的字典進行被動 rehash,這里不作贅述。
3、計算哈希表,根據當前字典與key進行哈希值的計算。
4、根據哈希值與當前字典計算哈希表的索引值。
5、根據索引值在哈希表中取出鏈表,遍歷該鏈表找到key的位置。一般情況,該鏈表長度為1。
6、當 ht[0] 查找完了之後,再進行了次rehash判斷,如果未在rehashing,則直接結束,否則對ht[1]重復345步驟。
到此我們就找到了key在內存中的位置了。
F. 如何往redis中存儲數據 java
可以把組裝好了得map數據轉成json字元串,然後存到redis裡面,從redis取出來之後再轉回來使用
G. redis怎麼存儲json數據
如你所說,每次請求最大能處理2048個位元組。我的json都超過了這個,所有不能存儲 (3年前)
武當劍客回復 @宇智波帶土 : 好的,感謝你 (3年前)
宇智波帶土回復 @武當劍客 : 我估計是網路開發雲的redis在在線測試,包裝了redis客戶端,就提供字元存儲,不然的話,存儲字元串,字
H. redis怎麼存儲
redis是一個性能非常優秀的內存資料庫,通過key-value存儲系統。
和Memcached類似,它支持存儲的value類型相對更多,包括string(字元串)、list(鏈表)、set(集合)、zset(sorted set --有序集合)和hashs(哈希類型)。
這些數據類型都支持push/pop、add/remove及取交集並集和差集及更豐富的操作,而且這些操作都是原子性的。
與memcached一樣,為了保證效率,數據都是緩存在內存中。區別的是redis會周期性的把更新的數據寫入磁碟或者把修改操作寫入追加的記錄文件,並且在此基礎上實現了master-slave(主從)同步。