V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
zckun
V2EX  ›  Python

Python multiprocessing ValueError

  •  
  •   zckun · Jun 28, 2020 · 3589 views
    This topic created in 2135 days ago, the information mentioned may be changed or developed.

    机器配置: Windows 10 企业版 64 位 Intel(R) Xeon(R) Platinum 8173M 内核:56 逻辑处理器:112

    用 python multiprocessing 中的进程池会出现 ValueError: need at most 63 handles, got a sequence of length 114

    这是 windows 才会有的异常么,很少用 windows,也第一次用这种 U,google 也找不到什么答案

    3 replies    2020-06-28 21:36:23 +08:00
    UN2758
        1
    UN2758  
       Jun 28, 2020
    可能和 numa 有关?win10 设计是 64 个核心一个 numa 调度,可能是这方面的问题
    hareandlion
        2
    hareandlion  
       Jun 28, 2020   ❤️ 2
    貌似有人提过类似的 bug
    https://bugs.python.org/issue26903

    CPython 底层源码里 max_workers 加了限制
    https://github.com/python/cpython/commit/39889864c09741909da4ec489459d0197ea8f1fc

    看 issue 的状态是已经在 3.7 和 3.8 版本里修复了,更新一下 Python 版本试试?
    这种硬件超过软件设计的情况也算难得了吧
    volvo007
        3
    volvo007  
       Jun 28, 2020
    win10 有个 workstation 版本,这个能解决核心的调度问题吗?
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2650 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 51ms · UTC 03:48 · PVG 11:48 · LAX 20:48 · JFK 23:48
    ♥ Do have faith in what you're doing.