jedis客戶端查詢速度（Jedis常見異常匯總）

2023-04-16 21:19:15 5

摘要： Jedis雖然使用起來比較簡單，但是如果不能根據使用場景設置合理的參數(例如連接池參數)，不合理的使用一些功能(例如Lua和事務)也會產生很多問題，本文對這些問題逐個說明

Jedis雖然使用起來比較簡單，但是如果不能根據使用場景設置合理的參數(例如連接池參數)，不合理的使用一些功能(例如Lua和事務)也會產生很多問題，本文對這些問題逐個說明：

一.無法從連接池獲取到Jedis連接

1.異常堆棧

(1) 連接池參數blockWhenExhausted = true(默認)

如果連接池沒有可用Jedis連接，會等待maxWaitMillis(毫秒)，依然沒有獲取到可用Jedis連接，會拋出如下異常：

Redis.clients.jedis.exceptions.JedisConnectionException: Could not get a resource from the pool …Caused by: java.util.NoSuchElementException: Timeout waiting for idle object at org.apache.commons.pool2.impl.GenericObjectPool.borrowObject(GenericObjectPool.java:449)

(2) 連接池參數blockWhenExhausted = false

設置如果連接池沒有可用Jedis連接，立即拋出異常：

redis.clients.jedis.exceptions.JedisConnectionException: Could not get a resource from the pool …Caused by: java.util.NoSuchElementException: Pool exhausted at org.apache.commons.pool2.impl.GenericObjectPool.borrowObject(GenericObjectPool.java:464)

2.異常描述

1

上述異常是客戶端沒有從連接池(最大maxTotal個)拿到可用Jedis連接造成的，具體可能有如下原因：

(1) 連接洩露 (較為常見)

JedisPool默認的maxTotal=8，下面的代碼從JedisPool中借了8次Jedis，但是沒有歸還，當第9次(jedisPool.getResource.ping)

GenericObjectPoolConfig poolConfig = new GenericObjectPoolConfig;JedisPool jedisPool = new JedisPool(poolConfig, "127.0.0.1", 6379);//向JedisPool借用8次連接，但是沒有執行歸還操作。for (int i = 0; i < 8; i ) { Jedis jedis = null; try { jedis = jedisPool.getResource; jedis.ping; } catch (Exception e) { logger.error(e.getMessage, e); }}jedisPool.getResource.ping;

所以推薦使用的代碼規範是：

執行命令如下：Jedis jedis = null;try { jedis = jedisPool.getResource; //具體的命令 jedis.executeCommand} catch (Exception e) { //如果命令有key最好把key也在錯誤日誌列印出來，對於集群版來說通過key可以幫助定位到具體節點。 logger.error(e.getMessage, e);} finally { //注意這裡不是關閉連接，在JedisPool模式下，Jedis會被歸還給資源池。 if (jedis != null) jedis.close;}

(2) 業務並發量大，maxTotal確實設置小了。

舉個例子：

那麼理論上需要的資源池大小是50000 / 1000 = 50個，實際maxTotal可以根據理論值進行微調。

(3) Jedis連接還的太慢

例如Redis發生了阻塞(例如慢查詢等原因)，所有連接在超時時間範圍內等待，並發量較大時，會造成連接池資源不足。

(4) 其他問題

例如丟包、DNS、客戶端TCP參數配置，具體可以參考：Jedis介紹及常見問題分析

3.解決方法：

可以看到這個問題稍微複雜一些，不要被異常的表象所迷惑，簡單地認為連接池不夠就盲目加大maxTotal，要具體問題具體分析。

連接池參數優化可以參考：JedisPool資源池優化

4.處理人

客戶先確認，如解決不了，需要藉助工單解決

還有一種情況是：從池子裡拿連接，由於沒有空閒連接，需要重新生成一個Jedis連接，但是連接被拒絕：

redis.clients.jedis.exceptions.JedisConnectionException: Could not get a resource from the pool at redis.clients.util.Pool.getResource(Pool.java:50) at redis.clients.jedis.JedisPool.getResource(JedisPool.java:99) at TestAdmin.main(TestAdmin.java:14)Caused by: redis.clients.jedis.exceptions.JedisConnectionException: java.net.ConnectException: Connection refused at redis.clients.jedis.Connection.connect(Connection.java:164) at redis.clients.jedis.BinaryClient.connect(BinaryClient.java:80) at redis.clients.jedis.BinaryJedis.connect(BinaryJedis.java:1676) at redis.clients.jedis.JedisFactory.makeObject(JedisFactory.java:87) at org.apache.commons.pool2.impl.GenericObjectPool.create(GenericObjectPool.java:861) at org.apache.commons.pool2.impl.GenericObjectPool.borrowObject(GenericObjectPool.java:435) at org.apache.commons.pool2.impl.GenericObjectPool.borrowObject(GenericObjectPool.java:363) at redis.clients.util.Pool.getResource(Pool.java:48) ... 2 moreCaused by: java.net.ConnectException: Connection refused at java.net.PlainSocketImpl.socketConnect(Native Method) at java.net.AbstractPlainSocketImpl.doConnect(AbstractPlainSocketImpl.java:339) at java.net.AbstractPlainSocketImpl.connectToAddress(AbstractPlainSocketImpl.java:200) at java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:182) at java.net.SocksSocketImpl.connect(SocksSocketImpl.java:392) at java.net.Socket.connect(Socket.java:579) at redis.clients.jedis.Connection.connect(Connection.java:158) ... 9 more

可以從at redis.clients.jedis.Connection.connect(Connection.java:158)看到實際是一個Socket連接：

socket.setSoLinger(true, 0); // Control calls close method, // the underlying socket is closed // immediately // <-@wjw_add158: socket.connect(new InetSocketAddress(host, port), connectionTimeout);

一般這種需要檢查Redis的域名配置是否正確，排查該段時間網絡是否正常

二、客戶端緩衝區異常

1.異常堆棧

redis.clients.jedis.exceptions.JedisConnectionException: Unexpected end of stream. at redis.clients.util.RedisInputStream.ensureFill(RedisInputStream.java:199) at redis.clients.util.RedisInputStream.readByte(RedisInputStream.java:40) at redis.clients.jedis.Protocol.process(Protocol.java:151)......

2.異常描述：

這個異常是客戶端緩衝區異常，產生這個問題可能有三個原因：

(1) 常見原因：多個線程使用一個Jedis連接，正常的情況是一個線程使用一個Jedis連接，可以使用JedisPool管理Jedis連接，實現線程安全，防止出現這種情況，例如下面代碼中兩個線程用了一個Jedis連接：

new Thread(new Runnable { public void run { for (int i = 0; i < 100; i ) { jedis.get("hello"); } }}).start;new Thread(new Runnable { public void run { for (int i = 0; i < 100; i ) { jedis.hget("haskey", "f"); } }}).start;

(2) 客戶端緩衝區滿了

Redis有三種客戶端緩衝區：

客戶端緩衝區

Redis的客戶端緩衝區配置具體格式是：

client-output-buffer-limit

(a) class: 客戶端類型：(a) normal、(b) slave、(c) pubsub

(b) hard limit: 如果客戶端使用的輸出緩衝區大於hard limit，客戶端會被立即關閉。

(c) soft limit和soft seconds: 如果客戶端使用的輸出緩衝區超過了soft limit並且持續了soft limit秒，客戶端會被立即關閉

例如下面是一份Redis緩衝區的配置，所以當條件滿足時，客戶端連接會被關閉，就會出現Unexpected end of stream。

redis> config get client-output-buffer-limit1) "client-output-buffer-limit"2) "normal 524288000 0 0 slave 2147483648 536870912 480 pubsub 33554432 8388608 60"

(3) 長時間閒置連接被服務端主動斷開，可以查詢timeout配置的設置以及自身連接池配置是否需要做空閒檢測。

3.解決方法和處理人：

客戶：排查自身代碼是否使用JedisPool管理Jedis連接，是否存在並發操作Jedis的情況。

工單: 排查(2)(3)，阿里雲Redis中timeout=0，也就是不會主動關閉空閒連接，緩衝區設置為0 0 0 也就是不會對客戶端緩衝區進行限制，一般不會有問題

三、非法客戶端地址 （阿里雲Redis提供客戶端白名單功能）

1.異常堆棧

Caused by: redis.clients.jedis.exceptions.JedisDataException: ERR illegal address at redis.clients.jedis.Protocol.processError(Protocol.java:117) at redis.clients.jedis.Protocol.process(Protocol.java:151) at redis.clients.jedis.Protocol.read(Protocol.java:205) ......

2.異常描述：

Redis實例配置了白名單，但當前訪問Redis的客戶端(IP)不在白名單中。

3.解決方法：

添加該客戶端(IP)的白名單

4.處理人

客戶或者工單都可以

四、客戶端連接數達到最大值

1.異常堆棧

redis.clients.jedis.exceptions.JedisDataException: ERR max number of clients reached

2.異常描述：

如果客戶端連接數超過了Redis實例配置的最大maxclients

3.解決方法：

提工單幫助臨時調大最大連接數，並讓客戶找到連接數暴漲的原因(因為上述調整隻是臨時調整)，

4.處理人

五、客戶端讀寫超時

1.異常堆棧

redis.clients.jedis.exceptions.JedisConnectionException: java.net.SocketTimeoutException: Read timed out

2.異常描述：

該問題原因可能有如下幾種：(1) 讀寫超時設置的過短。(2) 有慢查詢或者Redis發生阻塞。(3) 網絡不穩定。

3.解決方法：

客戶提供讀寫超時時間，提交工單定位相關原因

4.處理人：

工單。

六、密碼相關的異常

1.異常堆棧

Redis設置了密碼，客戶端請求沒傳密碼：

Exception in thread "main" redis.clients.jedis.exceptions.JedisDataException: NOAUTH Authentication required. at redis.clients.jedis.Protocol.processError(Protocol.java:127) at redis.clients.jedis.Protocol.process(Protocol.java:161) at redis.clients.jedis.Protocol.read(Protocol.java:215)

Redis沒有設置密碼，客戶端傳了密碼：

Exception in thread "main" redis.clients.jedis.exceptions.JedisDataException: ERR Client sent AUTH, but no password is set at redis.clients.jedis.Protocol.processError(Protocol.java:127) at redis.clients.jedis.Protocol.process(Protocol.java:161) at redis.clients.jedis.Protocol.read(Protocol.java:215)

客戶端傳了錯誤的密碼：

redis.clients.jedis.exceptions.JedisDataException: ERR invalid password at redis.clients.jedis.Protocol.processError(Protocol.java:117) at redis.clients.jedis.Protocol.process(Protocol.java:151) at redis.clients.jedis.Protocol.read(Protocol.java:205)

2.解決方法：弄清楚到底有沒有密碼，密碼是否正確。

七、事務異常

1.異常堆棧

redis.clients.jedis.exceptions.JedisDataException: EXECABORT Transaction discarded because of previous errors

2.異常描述：

這個是Redis的事務異常：事務中包含了錯誤的命令，例如如下sett是個不存在的命令。

127.0.0.1:6379> multiOK127.0.0.1:6379> sett key world(error) ERR unknown command 'sett'127.0.0.1:6379> incr counterQUEUED127.0.0.1:6379> exec(error) EXECABORT Transaction discarded because of previous errors.

3.解決方法和處理人：

客戶修復自身代碼錯誤。

八、類轉換錯誤

1.異常堆棧

java.lang.ClassCastException: java.lang.Long cannot be cast to java.util.List at redis.clients.jedis.Connection.getBinaryMultiBulkReply(Connection.java:199) at redis.clients.jedis.Jedis.hgetAll(Jedis.java:851) at redis.clients.jedis.ShardedJedis.hgetAll(ShardedJedis.java:198)

java.lang.ClassCastException: java.util.ArrayList cannot be cast to [B at redis.clients.jedis.Connection.getBinaryBulkReply(Connection.java:182) at redis.clients.jedis.Connection.getBulkReply(Connection.java:171) at redis.clients.jedis.Jedis.rpop(Jedis.java:1109) at redis.clients.jedis.ShardedJedis.rpop(ShardedJedis.java:258).......

2.異常描述：

Jedis正確的使用方法是：一個線程操作一個Jedis，通常來講產生該錯誤是由於沒有使用JedisPool造成的，例如如下代碼在兩個線程並發使用了一個Jedis。(get、hgetAll返回類型也是不一樣的)

new Thread(new Runnable { public void run { for (int i = 0; i < 100; i ) { jedis.set("hello", "world"); jedis.get("hello"); } }}).start;new Thread(new Runnable { public void run { for (int i = 0; i 'maxmemory'.

2.異常描述：

Redis節點(如果是集群，則是其中一個節點)使用大於該實例的內存規格(maxmemory配置)。

3.解決方法：

原因可能有以下幾個：

緊急處理，可以臨時提工單幫助臨時調整maxmeory，後續諮詢用戶是否升配或者調整配置。

4.處理人

十一、Redis正在加載持久化文件

1.異常堆棧

redis.clients.jedis.exceptions.JedisDataException: LOADING Redis is loading the dataset in memory

2.異常描述：

Jedis調用Redis時，如果Redis正在加載持久化文件，無法進行正常的讀寫。

3.解決方法：

正常情況下，阿里雲Redis不會出現這種情況，如果出現，則提交工單處理。

4.處理人：

工單。

十二、Lua腳本超時

1.異常堆棧

redis.clients.jedis.exceptions.JedisDataException: BUSY Redis is busy running a script. You can only call SCRIPT KILL or SHUTDOWN NOSAVE.

2.異常描述：

如果Redis當前正在執行Lua腳本，並且超過了lua-time-limit，此時Jedis調用Redis時，會收到下面的異常

3.解決方法：

按照異常提示：You can only call SCRIPT KILL or SHUTDOWN NOSAVE. (使用script kill:kill掉Lua腳本)

4.處理人：

最好客戶自己處理，如果解決不了，值班人員可以協助操作。

十三 連接超時

1.異常堆棧

redis.clients.jedis.exceptions.JedisConnectionException: java.net.SocketTimeoutException: connect timed out

2.異常描述：

可能產生的原因：

3.解決方法：

客戶提供連接超時時間，提交工單定位相關原因。

4.處理人：

工單。

十四 Lua腳本寫超時

1.異常堆棧

(error) UNKILLABLE Sorry the script already executed write commands against the dataset. You can either wait the script termination or kill the server in a hard way using the SHUTDOWN NOSAVE command.

2.異常描述：

如果Redis當前正在執行Lua腳本，並且超過了lua-time-limit，並且已經執行過寫命令，此時Jedis調用Redis時，會收到上面的異常

3.解決方法：

提交工單做緊急處理，管理員要做重啟或者切換Redis節點。

4.處理人：

工單。

十五、類加載錯誤

1.異常堆棧

例如找不到類和方法：

Exception in thread "commons-pool-EvictionTimer" java.lang.NoClassDefFoundError: redis/clients/util/IOUtils at redis.clients.jedis.Connection.disconnect(Connection.java:226) at redis.clients.jedis.BinaryClient.disconnect(BinaryClient.java:941) at redis.clients.jedis.BinaryJedis.disconnect(BinaryJedis.java:1771) at redis.clients.jedis.JedisFactory.destroyObject(JedisFactory.java:91) at org.apache.commons.pool2.impl.GenericObjectPool.destroy(GenericObjectPool.java:897) at org.apache.commons.pool2.impl.GenericObjectPool.evict(GenericObjectPool.java:793) at org.apache.commons.pool2.impl.BaseGenericObjectPool$Evictor.run(BaseGenericObjectPool.java:1036) at java.util.TimerThread.mainLoop(Timer.java:555) at java.util.TimerThread.run(Timer.java:505)Caused by: java.lang.ClassNotFoundException: redis.clients.util.IOUtils......

2.異常描述：

運行時，Jedis執行命令，拋出異常：某個類找不到。一般此類問題都是由於加載多個jedis版本(例如jedis 2.9.0和jedis 2.6)，在編譯期代碼未出現問題，但類加載器在運行時加載了低版本的Jedis，造成運行時找不到類。

3.解決方法：

通常此類問題，可以將重複的jedis排除掉，例如利用maven的依賴樹，把無用的依賴去掉或者exclusion掉。

4.處理人

客戶排查自身代碼

十六、服務端命令不支持

1.異常堆棧

例如客戶端執行了geoadd命令，但是服務端返回不支持此命令

redis.clients.jedis.exceptions.JedisDataException: ERR unknown command 'GEOADD'

2.異常描述：

該命令不能被Redis端識別，有可能有兩個原因：

3.解決方法：

諮詢是否有Redis版本支持該命令，如支持可以讓客戶做小版本升級。

4.處理人

十七、pipeline錯誤使用

1.異常堆棧

redis.clients.jedis.exceptions.JedisDataException: Please close pipeline or multi block before calling this method.

2.異常描述：

在pipeline.sync執行之前，通過response.get獲取值，在pipeline.sync執行前，命令沒有執行(可以通過monitor做驗證)，下面代碼就會引起上述異常

Jedis jedis = new Jedis("127.0.0.1", 6379);Pipeline pipeline = jedis.pipelined;pipeline.set("hello", "world"); pipeline.set("java", "jedis"); Response pipeString = pipeline.get("java");//這個get必須在sync之後，如果是批量獲取值建議直接用List objectList = pipeline.syncAndReturnAll;System.out.println(pipeString.get);//命令此時真正執行pipeline.sync;

Jedis中Reponse中get方法，有個判斷:如果set=false就會報錯，而response中的set初始化為false.

public T get { // if response has dependency response and dependency is not built, // build it first and no more!! if (dependency != null && dependency.set && !dependency.built) { dependency.build; } if (!set) { throw new JedisDataException( "Please close pipeline or multi block before calling this method."); } if (!built) { build; } if (exception != null) { throw exception; } return response;}

pipeline.sync會每個結果設置set=true。

public void sync { if (getPipelinedResponseLength > 0) { List unformatted = client.getAll; for (Object o : unformatted) { generateResponse(o); } }}

其中generateResponse(o):

protected Response generateResponse(Object data) { Response response = pipelinedResponses.poll; if (response != null) { response.set(data); } return response;}

其中response.set(data);

public void set(Object data) { this.data = data; set = true;}

3.解決方法：

實際上對於批量結果的解析，建議使用pipeline.syncAndReturnAll來實現，下面操作模擬了批量hgetAll

/*** pipeline模擬批量hgetAll* @param keyList* @return*/public Map<String, Map> mHgetAll(List keyList) {// 1.生成pipeline對象Pipeline pipeline = jedis.pipelined;// 2.pipeline執行命令，注意此時命令並未真正執行for (String key : keyList) { pipeline.hgetAll(key);}// 3.執行命令 syncAndReturnAll返回結果List objectList = pipeline.syncAndReturnAll;if (objectList == null || objectList.isEmpty) { return Collections.emptyMap;} // 4.解析結果Map<String,Map> resultMap = new HashMap<String, Map>;for (int i = 0; i < objectList.size; i ) { Object object = objectList.get(i); Map map = (Map) object; String key = keyList.get(i); resultMap.put(key, map);}return resultMap;}

4.處理人：

修改業務代碼。

十八、管理員命令，普通用戶不能執行

1.異常堆棧

命令role不能被普通用戶執行，可以參考暫未開放的Redis命令

redis.clients.jedis.exceptions.JedisDataException: ERR command role not support for normal user

2.異常描述：

改命令尚未開放

3.解決方法：

不能使用該命令，如果有需求或者疑問可以聯繫值班人員。

4.處理人

從文檔中確認該命令是否開放

其他問題：

1.Jedis版本如何選擇：

原則上選擇最新的release版本，但最好選擇release一段時間後的版本，因為jedis歷史上出現過一次問題較大的release版本，目前來說2.9.0比較穩定。

redis.clients jedis 2.9.0 jar compile

2.Jedis中的JedisCluster是阿里雲Redis集群版的客戶端嗎？

答：不是，使用阿里雲集群版的客戶端，直接使用Jedis和JedisPool即可。因為官方集群和阿里雲Redis集群是不同的架構，具體參考：redis4.0、codis、阿里雲redis 3種redis集群對比分析

……其他待補充……

附贈連接池參數

1. 資源設置和使用

序號參數名含義默認值使用建議1maxTotal資源池中最大連接數8設置建議見下節2maxIdle資源池允許最大空閒的連接數8設置建議見下節3minIdle資源池確保最少空閒的連接數0設置建議見下節4blockWhenExhausted當資源池用盡後，調用者是否要等待。只有當為true時，下面的maxWaitMillis才會生效true建議使用默認值5maxWaitMillis當資源池連接用盡後，調用者的最大等待時間(單位為毫秒)-1：表示永不超時不建議使用默認值6testOnBorrow向資源池借用連接時是否做連接有效性檢測(ping)，無效連接會被移除false業務量很大時候建議設置為false(多一次ping的開銷)。7testOnReturn向資源池歸還連接時是否做連接有效性檢測(ping)，無效連接會被移除false業務量很大時候建議設置為false(多一次ping的開銷)。8jmxEnabled是否開啟jmx監控，可用於監控true建議開啟，但應用本身也要開啟

2.空閒資源監測

空閒Jedis對象檢測，下面四個參數組合來完成，testWhileIdle是該功能的開關。

序號參數名含義默認值使用建議1testWhileIdle是否開啟空閒資源監測falsetrue2timeBetweenEvictionRunsMillis空閒資源的檢測周期(單位為毫秒)-1：不檢測建議設置，周期自行選擇，也可以默認也可以使用下面JedisPoolConfig中的配置3minEvictableIdleTimeMillis資源池中資源最小空閒時間(單位為毫秒)，達到此值後空閒資源將被移除100060 30 = 30分鐘可根據自身業務決定，大部分默認值即可，也可以考慮使用下面JeidsPoolConfig中的配置4numTestsPerEvictionRun做空閒資源檢測時，每次的採樣數3可根據自身應用連接數進行微調,如果設置為-1，就是對所有連接做空閒監測

本文作者：carlosfu原文連結：https://yq.aliyun.com/articles/236384