歡迎來到Linux教程網
Linux教程網
Linux教程網
Linux教程網
Linux教程網 >> Linux編程 >> Linux編程 >> libcurl 中使用curl_multi_perform()函數執行訂閱類型url的問題

libcurl 中使用curl_multi_perform()函數執行訂閱類型url的問題

日期:2017/3/1 9:12:48   编辑:Linux編程

前提概要

當需要同時處理多個url時,可采用curl_multi_perform方式執行,如下代碼1:

 1     //初始化一個multi curl 對象
 2     CURLM * curl_m = curl_multi_init();
 3     CURL * my_curl[CURL_NUM];
 4     char rcvbuf[CURL_NUM][MAXHEADLEN] = { 0 };
 5     //其他初始化代碼略過...
 6     
 7     //執行多個url
 8     while(running_handles)
 9     {
10         if (-1 == curl_multi_select(curl_m))
11         {
12             printf("curl_multi_select error !\n");
13             break;
14         }
15         else {
16             // select監聽到事件,調用curl_multi_perform通知curl執行相應的操作 //
17             while (CURLM_CALL_MULTI_PERFORM == curl_multi_perform(curl_m, &running_handles));    
18         }
19     }
20     
21     //解析數據
22     int  msgs_left;
23     CURLMsg *  curl_msg;
24     while((curl_msg = curl_multi_info_read(curl_m, &msgs_left)))
25     {
26         if (CURLMSG_DONE == curl_msg->msg)
27         {
28             int idx;
29             for (idx = 0; idx < CURL_NUM; ++idx)
30             {
31                 if (curl_msg->easy_handle == my_curl[idx]) break;
32             }
33 
34             if (idx == CURL_NUM)
35             {
36                 printf("curl not found !\n" );
37             }
38             else
39             {
40                 printf("\ncurl[%d] rcvbuf:\n%s\n", idx,rcvbuf[idx]);
41                 //數據處理...
42             }
43         }
44     }

問題概要

現在我的url為訂閱方式,每個curl都會一直收數據(即使沒數據也會每10s收到一幀心跳消息),永遠不會退出,即上面的循環永遠在執行,這樣我無法運行到"解析數據"那一步。所以我需要在循環內判斷某個curl是否有新數據到來。

方法1(不行)

首先想到的方法是直接將curl_multi_info_read()函數直接移到循環內,看是否能受到數據,如下代碼2:

 1     //執行多個url,並解析數據
 2     while(running_handles)
 3     {
 4         if (-1 == curl_multi_select(curl_m))
 5         {
 6             printf("curl_multi_select error !\n");
 7             break;
 8         }
 9         else {
10             // select監聽到事件,調用curl_multi_perform通知curl執行相應的操作 //
11             while (CURLM_CALL_MULTI_PERFORM == curl_multi_perform(curl_m, &running_handles));    
12             //檢測哪一個curl[idx]來的數據
13             while ((curl_msg = curl_multi_info_read(curl_m, &msgs_left)))
14             {
15                 if (CURLMSG_DONE == curl_msg->msg)
16                 {
17                     int idx;
18                     for (idx = 0; idx < CURL_NUM; ++idx)
19                     {
20                         if (curl_msg->easy_handle == my_curl[idx]) break;
21                     }
22                     if (idx == CURL_NUM)
23                     {
24                         printf("curl not found !\n" );
25                     }
26                     else
27                     {
28                         printf("\ncurl[%d] rcvbuf:\n%s\n", idx,rcvbuf[idx]);
29                         //數據處理...
30                         memset(rcvbuf[idx], 0, sizeof(rcvbuf[idx]));//清空buf下輪循環還要用
31                     }
32                 }
33             }
34         }
35     }

顯然是我想多了,這樣處理之後唯一的不同就是,哪個curl執行完了就打印哪個的數據(代碼1的是只能等到所有的curl都執行完畢退出循環後依次打印rcvbuf[idx]),但我的curl是訂閱的,根本執行不完,這樣也沒法打印,除非rcvbuf[idx]溢出...

方法2(暫時不行)

  rcvbuf[idx]溢出?這樣肯定不可能,但是讓我想起了curl_easy_setopt()函數,這貨可以配置curl的各種功能,或許總有一個能滿足我吧:

CURLOPT_TIMEOUT_MS 配置超時時間?
    不對,這個是要超時了curl直接掛了;
CURLOPT_RANGE 配置斷點續傳?
    貌似可以;通過測試發現收指定XX個字節滿了後該curl就退出了,即使後面還有數據他也不要了,這不是我們想看到的。
還有一個接收超時時間的配置?
    同上,超過多少s後即使還有數據他也不要了,也不行。
...

相信通過配置curl_easy_setopt()函數應該是最官方的做法,但小弟不才沒有找到相關文章,自己研究也沒搞出來,有待高人指點。

方法3(可行,有缺陷)

萬般無奈之下,突然想到既然curl[idx]收到的數據在rcvbuf[idx]中,為何不直接檢查rcvbuf[idx]中有沒有數據,如下代碼3:

 1     //執行多個url,並解析數據
 2     while(running_handles)
 3     {
 4         if (-1 == curl_multi_select(curl_m))
 5         {
 6             printf("curl_multi_select error !\n");
 7             break;
 8         }
 9         else {
10             // select監聽到事件,調用curl_multi_perform通知curl執行相應的操作 //
11             while (CURLM_CALL_MULTI_PERFORM == curl_multi_perform(curl_m, &running_handles));    
12             //檢測哪一個curl[idx]來的數據
13             int idx = 0;
14             for (idx = 0; idx < CURL_NUM; ++idx)
15             {
16                 if (rcvbuf[idx][0] == NULL) //curl[idx]沒有收到數據。
17                     continue;
18                 printf("curl[%d] rcvbuf:\n%s\n", idx, rcvbuf[idx]);
19                 //數據處理...
20                 memset(rcvbuf[idx], 0, sizeof(rcvbuf[idx]));
21             }    
22         }
23     }

通過上面的處理確實能滿足要求,但是方法有些笨,存在2個明顯的缺陷:
  1. 每次都要檢測所有的curl一遍,效率低;
  2. 一旦某個curl因某種原因死掉了,我該如何判斷是哪一個curl掛了?


所以處理這個問題是否有官方的方法?還有待高人解答,保持關注更新。

libcurl庫的使用(通過libcurl庫下載url圖像) http://www.linuxidc.com/Linux/2015-09/123609.htm

Copyright © Linux教程網 All Rights Reserved