<label id="60jrf"><meter id="60jrf"><bdo id="60jrf"></bdo></meter></label>
    <thead id="60jrf"><optgroup id="60jrf"></optgroup></thead>
    

      
<span id="60jrf"><optgroup id="60jrf"><center id="60jrf"></center></optgroup></span>
      2. 






 

  


        




        











        

        

 

        


        

        


        





        

        

 

        










        

        


        












        


        






































        

        


        
 
 
        提升爬蟲效率和反爬蟲的方法 
        
 
        作者:admin | 時間：2020-11-18 20:59:06





        
    
                  

        
 



        



        



             
        提升爬蟲效率的方式:
        1.換個更好更高級一些的硬件機器 
        2.網(wǎng)絡(luò)使用高速光纖 
        3.啟用多線程 
        4.啟用多進程 
        5.采用分布式 
        6.提升數(shù)據(jù)的寫入速度IO
        反爬蟲的應(yīng)對措施:
        1. 設(shè)置隨機修改User-Agent
        2. 禁用Cookie追蹤
        3. 放慢爬蟲和正常瀏覽速度
        4. 使用代理,動態(tài)更換網(wǎng)絡(luò)ip
        5. 分布式在不同區(qū)域和網(wǎng)絡(luò)同時采集

            

        

 
        
        






        

        




        








        

        


        









 




        

        




        








        

        


        

        資訊內(nèi)容
        誠信為本,卓越品質(zhì),做行業(yè)領(lǐng)跑者