這篇文章主要為大家展示了“Spring中@Scheduled和HttpClient的示例分析”,內容簡而易懂,條理清晰,希望能夠幫助大家解決疑惑,下面讓小編帶領大家一起研究并學習一下“Spring中@Scheduled和HttpClient的示例分析”這篇文章吧。
曾經踩過一個大坑:
由于業務特殊性,會定時跑很多定時任務,對業務數據進行補償操作等。
在Spring使用過程中,我們可以使用@Scheduled注解可以方便的實現定時任務。
有一天早上突然發現,從前一天晚上某一時刻開始,所有的定時任務全部都卡死不再運行了。
@Scheduled默認單線程
經排查后發現,我們使用@Scheduled注解默認的配置的話,所有的任務都是單線程去跑的。寫了一個測試的task讓它sleep住,就很容易發現,其他所有的task在時間到的時候都沒有觸發。
如果需要開啟多線程處理,則需要進行如下的配置,設置一下線程數:
@Configuration public class ScheduleConfig implements SchedulingConfigurer { @Override public void configureTasks(ScheduledTaskRegistrar taskRegistrar) { taskRegistrar.setScheduler(Executors.newScheduledThreadPool(5)); } }
這樣就解決了如果一個task卡住,會引起所有task全部卡住的問題。
但是為什么會有task卡住呢?
HttpClient默認參數配置
原來,有些task會定時請求外部服務的restful接口,而HttpClient的配置如下:
PoolingHttpClientConnectionManager connManager = new PoolingHttpClientConnectionManager(); connManager.setMaxTotal(maxConnection); httpClient = HttpClients.custom() .setConnectionManager(connManager) .build();
在最開始使用HttpClient的時候,根本沒有想這么多,基本也都是用用默認配置。
追蹤源碼可以發現,在使用上述方式進行配置的時候,HttpClient的timeout時間竟然全部都是-1,也就是說如果對方服務有問題,HttpClient的請求會永不超時,一直等待。源碼如下:
Builder() { super(); this.staleConnectionCheckEnabled = false; this.redirectsEnabled = true; this.maxRedirects = 50; this.relativeRedirectsAllowed = true; this.authenticationEnabled = true; this.connectionRequestTimeout = -1; this.connectTimeout = -1; this.socketTimeout = -1; this.contentCompressionEnabled = true; }
所以我們這時候必須手動指定timeout時間,問題就解決了。例如:
PoolingHttpClientConnectionManager connManager = new PoolingHttpClientConnectionManager(); connManager.setMaxTotal(maxConnection); RequestConfig defaultRequestConfig = RequestConfig.custom() .setSocketTimeout(3000) .setConnectTimeout(3000) .setConnectionRequestTimeout(3000) .build(); httpClient = HttpClients.custom() .setDefaultRequestConfig(defaultRequestConfig) .setConnectionManager(connManager) .build();
聯想到另一個問題
其實HttpClient的使用過程中也遇到過另外一個配置的問題,就是defaultMaxPerRoute這個參數。
最開始使用的時候也沒有注意過這個參數,只是設置過連接池的最大連接數maxTotal。
defaultMaxPerRoute參數其實代表了每個路由的最大連接數。比如你的系統需要訪問另外兩個服務:google.com 和 bing.com。如果你的maxTotal設置了100,而defaultMaxPerRoute設置了50,那么你的每一個服務的最大請求數最大只能是50。
那么如果defaultMaxPerRoute沒有設置呢,追蹤源碼:
public PoolingHttpClientConnectionManager( final HttpClientConnectionOperator httpClientConnectionOperator, final HttpConnectionFactory<HttpRoute, ManagedHttpClientConnection> connFactory, final long timeToLive, final TimeUnit tunit) { super(); this.configData = new ConfigData(); //這里使用的CPool構造方法,第二個參數即為defaultMaxPerRoute,也就是默認為2。 this.pool = new CPool(new InternalConnectionFactory( this.configData, connFactory), 2, 20, timeToLive, tunit); this.pool.setValidateAfterInactivity(2000); this.connectionOperator = Args.notNull(httpClientConnectionOperator, "HttpClientConnectionOperator"); this.isShutDown = new AtomicBoolean(false); }
這里發現,原來默認值竟然只有2。怪不得當時在高并發情況下總會出現超時,明明maxTotal已經設的很高。
所以如果你的服務訪問很多不同的外部服務,并且并發量比較大,一定要好好配置maxTotal和defaultMaxPerRoute兩個參數。
所以后來再使用任何新的東西,都有好好看下都什么配置,有疑問的一定要先查一下,不要網上copy一段代碼直接就用。當時可能沒問題,但是以后沒準就被坑了。
以上是“Spring中@Scheduled和HttpClient的示例分析”這篇文章的所有內容,感謝各位的閱讀!相信大家都有了一定的了解,希望分享的內容對大家有所幫助,如果還想學習更多知識,歡迎關注億速云行業資訊頻道!
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。