V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
xiaoyu9527
V2EX  ›  问与答

scrapy 关于如何提升下载图片的效率

  •  
  •   xiaoyu9527 · May 28, 2017 · 1479 views
    This topic created in 3256 days ago, the information mentioned may be changed or developed.

    with open(file_path,'wb') as file_writer: conn = request.urlopen(image_url)#下载图片 file_writer.write(conn.read()) file_writer.close()

    目前使用的是 request.urlopen(image_url)

    进行的图片下载 是否有什么办法进行多线程的形式

    使用 pilineimagedownload 能否效果比现在这种方式更好 目前就是速度太拙计了。

    No Comments Yet
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   5608 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 29ms · UTC 07:27 · PVG 15:27 · LAX 00:27 · JFK 03:27
    ♥ Do have faith in what you're doing.