V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
iiduce
V2EX  ›  问与答

Instapaper的网页内容文本自动抓取技术是什么原理,我看着好神奇。我试了好多网页,对于网页中对文本内容识别的都是惊人的准确。我问身边专门做数据采集的同事都不知道如何实现。

  •  
  •   iiduce · Apr 3, 2011 · 15383 views
    This topic created in 5508 days ago, the information mentioned may be changed or developed.
    19 replies    1970-01-01 08:00:00 +08:00
    zhendi
        1
    zhendi  
       Apr 3, 2011   ❤️ 1
    xinzhi
        2
    xinzhi  
       Apr 3, 2011
    各种Readability实现都是获取页面容器包含内容长度最大的部分。
    disinfeqt
        3
    disinfeqt  
       Apr 3, 2011   ❤️ 1
    其实是 Marco 手动复制粘贴的。
    lianghai
        4
    lianghai  
       Apr 3, 2011   ❤️ 1
    其实是 Marco 高薪吸引全球点击工跳槽。
    iiduce
        5
    iiduce  
    OP
       Apr 3, 2011
    @disinfeqt @xinzhi
    谢谢两位,了解了不少知识。
    @disinfeqt @lianghai
    Marco是啥东东
    lianghai
        6
    lianghai  
       Apr 3, 2011
    @iiduce Marco Arment 是 Instapaper 的开发者。
    xds2000
        7
    xds2000  
       Apr 3, 2011
    贴点硬头货
    /*
    * Readability. An Arc90 Lab Experiment.
    * Website: http://lab.arc90.com/experiments/readability
    * Source: http://code.google.com/p/arc90labs-readability
    *
    * "Readability" is a trademark of Arc90 Inc and may not be used without explicit permission.
    *
    * Copyright (c) 2010 Arc90 Inc
    * Readability is licensed under the Apache License, Version 2.0.
    *
    * This version has been modified by Instapaper, LLC.
    * Uncompressed source of the modified version is available at:
    * http://www.instapaper.com/javascript/ipreadability-1.7.1.js
    **/

    // DEFLATE, base64 by Dan Kogai http://github.com/dankogai/

    还是有点意思的。
    claliu
        8
    claliu  
       Apr 13, 2011
    http://www.keyvan.net/2010/08/php-readability/
    这里有Readability PHP移植 并公布了源代码


    Keyvan是 http://fivefilters.org/ 的作者
    mywaiting
        9
    mywaiting  
       Apr 13, 2011
    Mark 一下,马上就要用到这个。。。
    sogood
        10
    sogood  
       Apr 14, 2011
    哇,居然有开源代码,不错。
    不知道跟神经网络的联系在哪里,回头看下源码。
    感谢各位的分享。
    xatest
        11
    xatest  
       Oct 16, 2011
    Instapaper对于豆瓣条目的评论识别正文经常出错~
    ywjno
        12
    ywjno  
       Oct 16, 2011
    也有可能是通过正则来取得正文的,请看这个项目,http://github.com/plukevdh/readability
    XnEnokq9vkvVq4
        13
    XnEnokq9vkvVq4  
       Oct 16, 2011
    根据我的使用经验,Readability比Instapaper Text的准确率高一些。后者可能是一种秘而不宣的技术。。
    Numbcoder
        14
    Numbcoder  
       Oct 16, 2011
    以前还以为是通过RSS识别的。
    xohen
        15
    xohen  
       Oct 16, 2011
    一直用read it later http://readitlaterlist.com/ 浏览器插件抓取,android上通过app阅读。
    感觉Instapaper在V2EX受众更多一些?
    xohen
        16
    xohen  
       Oct 16, 2011
    在我记忆中,readitlaterlist不能抓取的页面包括豆瓣日记和新浪博客的文章
    acdea4effdbb420d
        17
    acdea4effdbb420d  
       Oct 16, 2011
    @xohen 我之前也一直用的readitlater,instapaper出来之后我发现它能导出到epub,这对eink用户来说是福音,就换到instapaper了
    leojoy710
        18
    leojoy710  
       Oct 16, 2011
    ywjno
        19
    ywjno  
       Oct 17, 2011
    抱歉之前写的那个是错的项目,这个才是我说的通过正则查询正文的东东,

    https://github.com/scyclops/Readable-Feeds/blob/master/readability/hn.py
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   844 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 62ms · UTC 22:44 · PVG 06:44 · LAX 15:44 · JFK 18:44
    ♥ Do have faith in what you're doing.