一个让人尴尬癌犯了的问题,数不清的僵尸 sshd 进程

2017 年 1 月 3 日
 ikw
今天真是长见识了,一台服务器上面突然发现上万个僵尸进程,大部分是 sshd ,现在还能登陆上去,但是运行的程序有的又会变僵尸……

/var/log/ 下面也没什么 log 输出

Google 出来的结果都让重启机器……

我有点不知所措了
9173 次点击
所在节点    Linux
41 条回复
w2exzz
2017 年 1 月 4 日
chkconfig --level35 sshd off
reboot

/usr/sbin/sshd -d
MartinWu
2017 年 1 月 4 日
@zwpaper 对,就是这样的状况。
ikw
2017 年 1 月 4 日
@w2exzz 现在重启很大可能可以解决问题,但是一个是不希望重启,一个是希望保存现场,研究一下问题到底在哪里。
所以暂时还不 reboot
MartinWu
2017 年 1 月 4 日
@zwpaper 能否看下 kernel 的日志有没有什么信息? 或者 /proc/里
MartinWu
2017 年 1 月 4 日
@zwpaper 在不影响业务的基础上,继续摸索下吧,在线等更新。我现在就后悔去重启了。。
jyf007
2017 年 1 月 4 日
dropbear
ikw
2017 年 1 月 5 日
@MartinWu 现在发现了一个问题就是 systemd hung 住了,感觉有可能问题出在这个地方。

今天还找到一个说是 210 以前的 systemd 有 bug ,有可能会让 systemd hung 住,但是我的机器上的好像是 213 的,按说不应该。具体版本号我忘了,后来忙别的去了,可以肯定的是比 210 新。
在这看到的: https://bbs.archlinux.org/viewtopic.php?id=178168

现在 /var/log 基本上没有新写入东西了, rsyslog 也在一次失败的实验中变僵尸了。。。

现在新发现是 journalctl 里有不少 log ,这个没来得及看,明天看看有没有空看一下。

别在线等啊,我还有个活背着呢,你要有什么想法也可以告诉我,我来试试,再给你反馈结果😳
ikw
2017 年 1 月 5 日
@MartinWu kernel 的日志你说的是哪个位置?/proc/ 没找到比较特别的地方呢,就是僵尸的 proc stat 都是 Z , ppid 都是 1
ikw
2017 年 1 月 5 日
@jyf007 这是一个 ssh 工具?恕在下愚钝,没想到用法啊。。。
不过 Matt Johnston ,这个名字有点印象,好像这两天有搜到他报类似的 bug
jyf007
2017 年 1 月 5 日
@zwpaper 不,我是说换成这种路由器用到的,再装个 openssh-sftp-server 就行了
ikw
2017 年 1 月 21 日
@MartinWu 突然想起来,这个貌似有人去 centOS 报 bug 了,看看官方怎么回复吧
MartinWu
2017 年 1 月 21 日
@zwpaper 啊咧?我去看看。
ikw
2017 年 1 月 21 日
MartinWu
2017 年 2 月 4 日
@zwpaper 我的是 centos6 诶,貌似不是 systemd 导致的,而且 centos6 还是用 initd 的。。
ikw
2017 年 2 月 5 日
@MartinWu #34 这就奇怪了,我倒确实是 7 的,所以这个 systemd 的问题感觉还挺像的
okudayukiko0
2017 年 2 月 16 日
不用 SSH ,改用串口 /VirtIO Console 或远程卡试试,不排除病毒
ikw
2017 年 2 月 16 日
@okudayukiko0 机器在机房,而且也已经重启了,病毒的话,也没有查到一些相关的说法……
MartinWu
2017 年 6 月 6 日
我发现了一个点,可使用内存太少,导致 init 无法 fork 出线程来回收僵尸进程。
ikw
2017 年 6 月 7 日
@MartinWu #38 可惜没有环境了啊。。。。
MartinWu
2017 年 6 月 7 日
@zwpaper 哈哈哈,等下次吧。 😂

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://study.congcong.us/t/332013

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX