V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
wz497345846
V2EX  ›  程序员

有人用 Java 写爬虫吗?

  •  
  •   wz497345846 · Jun 11, 2019 · 4445 views
    This topic created in 2514 days ago, the information mentioned may be changed or developed.
    11 replies    2019-06-11 21:39:39 +08:00
    calming
        1
    calming  
       Jun 11, 2019
    httpclient+jsoup 呗
    leon0903
        2
    leon0903  
       Jun 11, 2019
    我记得好像有好几个 java 爬虫框架
    shionri
        3
    shionri  
       Jun 11, 2019 via Android
    用过 selenium java,写爬虫的话有点大材小用的感觉?
    fenrao
        4
    fenrao  
       Jun 11, 2019
    webmagic
    jiom
        5
    jiom  
       Jun 11, 2019
    一楼的方案是最常用的了
    tikazyq
        6
    tikazyq  
       Jun 11, 2019
    可以尝试一下爬虫管理平台 Crawlab,支持任何语言、任何框架,可以用 Crawlab 集成你的 Java 爬虫

    https://github.com/tikazyq/crawlab
    c4f36e5766583218
        7
    c4f36e5766583218  
       Jun 11, 2019
    retrofit 接 api 爬。
    bigbigeggs
        9
    bigbigeggs  
       Jun 11, 2019
    写过好多。跟 python 没什么区别。就是拿到数据,然后清洗数据。
    python:request + (bs4,re 等)
    java: httpclent + (jsoup,re 等)
    brucefu
        10
    brucefu  
       Jun 11, 2019
    去哪儿爬信息百分之 95 的 java
    luozic
        11
    luozic  
       Jun 11, 2019 via iPhone
    apache 组织有开源的爬虫和抽取数据框架,java 语言的
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   5567 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 49ms · UTC 03:09 · PVG 11:09 · LAX 20:09 · JFK 23:09
    ♥ Do have faith in what you're doing.