开源了个 A 股数据工具 finshare,自动切源能不能解决你们的线上坑?

5 天前
 sunfinv

把我们内部一直在用的数据层开源了: https://github.com/finvfamily/finshare

定位很克制:不做大而全,只解决一件事——稳定拿到股票数据。 我自己踩过最烦的坑是:单一源偶发挂掉,回测/任务整段失败。

现在这个库做的事:

5 个源:东方财富、腾讯、新浪、通达信、BaoStock 自动 fallback (一个源失败自动切下一个) 统一输出格式( DataFrame ) 常用接口:K 线、实时快照、批量获取 示例( 6 位代码直接用):

我真心想听实战反馈,尤其这几个问题:

你们线上最常见的数据异常是“超时/空数据/字段漂移/复权不一致”中的哪一个? 自动切源应该默认“无感自动”,还是必须“可配置优先级 + 熔断 + 告警”? 如果只让你选一个最该补的能力:缓存、重试策略、还是数据校验报告? 欢迎直接怼设计,最好带你们真实场景。 如果有代表性的 case ,我可以按回复优先做一版 roadmap 。

1572 次点击
所在节点    程序员
29 条回复
iorilu
5 天前
关注下

以前也用过几个库, 有的是复权不对
有的可能数据有空, 不一致等

我其实关注就是, 能自动更新数据, 毕竟我不希望每天都要关心到底有没有更新,另外数据前复权准确就行

你这个是只能拉盘后日线还是可以盘中获取实时也行?
dobelee
5 天前
能拉上面的美股吗?
sunfinv
5 天前
@iorilu 是的,各个数据源历史数据统计口径不一样,专门做了处理,历史数据口径是一样的。snapshot 也做了处理哦,归一化就是个比较费时的事情,需要各个数据源来回对比。
sunfinv
5 天前
@dobelee 暂时不支持的,我现在主要做国内指数的投资。指数也有 QDII 。间接投资。
mendax2019
5 天前
一直好奇为什么没人做资源站,日频更新 parquet 行情文件就足够了
zhouhuab
5 天前
数据源很贵啊
dobelee
5 天前
@mendax2019 有的,只是要高价付费,普通人购买不划算,要么东平西凑打游击,要么订阅 API 。
iorilu
5 天前
@mendax2019 肯定有阿, 但真要花钱没几个愿意的, 因为费用不会低, 大多人都是测试玩玩的, 不是真靠这赚钱
keakon
5 天前
支持指数和 ETF 么?
看无需市场后缀估计是不支持指数,不然 000001 是上证指数
andforce
5 天前
关注一下,回头让龙虾自己炒股
Alias4ck
5 天前
都 2026 年了 还在用 pip 另外米波量化的米波是 dota2 英雄?
sunfinv
5 天前
@keakon 支持指数 ETF 、LOF
sunfinv
5 天前
@Alias4ck 对对对 哈哈哈哈 路径依赖了属于
sunfinv
5 天前
@andforce 可以的
sunfinv
5 天前
@mendax2019 有的啊 baostock 就是啊,资源站稳定很重要,需要服务器资源。如果用自己电脑只需要网络 ok 就行了。还是有区别的
justtokankan
5 天前
请求频率限制咋样? 加入同步 4000 只股票的行情数据,大概要多久?
sunfinv
4 天前
@justtokankan 没这么做过,如果是实时行情,使用通达信的接口,一次 80 个,连接的话 20 秒一次。时间也挺久。这个只能说研究低频策略的用这个数据。而且还需要有目标代码,比如红利低波啊,只做 ETF 啊都可以
1hit5
4 天前
针对散户可以 api 直接调用吗。 类似 tushare
sunfinv
4 天前
@1hit5 可以的,注意别高频请求,一般来说个人使用结合本库的数据容灾处理应该是够用的,本质 tushare 也是洗的公开数据源
enrolls
4 天前
日线数据没烦恼。tick 才是烦恼,一个 symbol 同一系统架构,不同节点,还能有不同的结果。

@mendax2019 又没有付费群体,偷偷用不好么

@sunfinv 有没有做元数据的?没有的话我要发了。有的话看看合并一下源,或者邮箱来聊。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://study.congcong.us/t/1195554

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX