WilliamHL's recent timeline updates WilliamHL's recent timeline updates |
WilliamHLV2EX member #363318, joined on 2018-11-15 11:57:24 +08:00 |
| 如何优化 Python 计算超大字典的问题 Python • WilliamHL • Feb 8, 2021 • Lastly replied by ghostviper | 30 |
WilliamHL's recent replies
Jun 18, 2024 Replied to a topic by banyasmya23 › Android › 我看了几天了，发现刷机 rom 最多的、最适合刷机的手机依然是小米红米对吧？ |
其实现在最恶心的就是云控，我现在用的红米 K70P ，上次要分享一个软件给同事，小米直接云控取消了分享功能！！！
Mar 29, 2021 Replied to a topic by huzhikuizainali › Python › 为什么要使用 anaconda 做数据分析。相比于直接使用某一款 IDE，其必要性是什么？ |
感觉生产环境 virtualenv 更习惯
Mar 29, 2021 Replied to a topic by huzhikuizainali › Python › 为什么要使用 anaconda 做数据分析。相比于直接使用某一款 IDE，其必要性是什么？ |
环境隔离，项目 a 需要用到 numpy-A 版本，项目 b 需要用到 numpy-B 版本，这样可以方便进行环境管理和切换
Feb 5, 2021 Replied to a topic by WilliamHL › Python › 如何优化 Python 计算超大字典的问题 |
@kele1997 感谢，我去尝试一下。多进程是后来改写的，还没有验证，数据上都是之前单进程执行出现的
Feb 5, 2021 Replied to a topic by WilliamHL › Python › 如何优化 Python 计算超大字典的问题 |
@DoctorCat 尝试了一下 del 确实比 pop 占用多一些内存。感觉峰值内存还是在切片和推导上
Feb 5, 2021 Replied to a topic by WilliamHL › Python › 如何优化 Python 计算超大字典的问题 |
@Wincer 是这样的但是不知道有没有什么好的办法，最后坏的办法就是进行分次读取，但是感觉多 db 读取，会造成程序执行时间过长
Feb 5, 2021 Replied to a topic by WilliamHL › Python › 如何优化 Python 计算超大字典的问题 |
@DoctorCat 大概就是 19 楼和 20 提到的问题，value 计算了很多中间层的 list 和 str 造成的，但是目前这些都是需要进行的中间层计算，暂时没有想到好的办法
Feb 4, 2021 Replied to a topic by WilliamHL › Python › 如何优化 Python 计算超大字典的问题 |
@skinny 考虑过采用 array 实现，稍微看了下貌似能降低内存占用
Feb 4, 2021 Replied to a topic by WilliamHL › Python › 如何优化 Python 计算超大字典的问题 |
@laqow 你竟然能看懂，我还没排版
Feb 4, 2021 Replied to a topic by WilliamHL › Python › 如何优化 Python 计算超大字典的问题 |
@laqow Pool 是我新更新的，之前是单进程的
Select Language