Linux系统下用户进程死循环问题解决方法【百科全说】

在进行Linux系统操作的时候，有时候会遇到一次用户态进程死循环，即系统反应迟钝、进程挂死等问题，那么遇到这些问题又该如何解决呢?下面小编就给大家介绍下一次用户态进程死循环的问题该如何处理。

1、问题现象

业务进程(用户态多线程程序)挂死，操作系统反应迟钝，系统日志没有任何异常。从进程的内核态堆栈看，看似所有线程都卡在了内核态的如下堆栈流程中：

[root@vmc116 ~]# cat /proc/27007/task/11825/stack

[《ffffffff8100baf6》] retint_careful+0x14/0x32

[《ffffffffffffffff》] 0xffffffffffffffff

2、问题分析

1)内核堆栈分析

从内核堆栈看，所有进程都阻塞在 retint_careful上，这个是中断返回过程中的流程，代码(汇编)如下：

entry_64.S

代码如下：

ret_from_intr：

DISABLE_INTERRUPTS(CLBR_NONE)

TRACE_IRQS_OFF

decl PER_CPU_VAR(irq_count)

/* Restore saved previous stack */

popq %rsi

CFI_DEF_CFA rsi，SS+8-RBP /* reg/off reset after def_cfa_expr */

leaq ARGOFFSET-RBP(%rsi)， %rsp

CFI_DEF_CFA_REGISTER rsp

CFI_ADJUST_CFA_OFFSET RBP-ARGOFFSET

。。。

retint_careful：

CFI_RESTORE_STATE

bt $TIF_NEED_RESCHED，%edx

jnc retint_signal

TRACE_IRQS_ON

ENABLE_INTERRUPTS(CLBR_NONE)

pushq_cfi %rdi

SCHEDULE_USER

popq_cfi %rdi

GET_THREAD_INFO(%rcx)

DISABLE_INTERRUPTS(CLBR_NONE)

TRACE_IRQS_OFF

jmp retint_check

这其实是用户态进程在用户态被中断打断后，从中断返回的流程，结合retint_careful+0x14/0x32，进行反汇编，可以确认阻塞的点其实就在

SCHEDULE_USER

这其实就是调用schedule()进行调度，也就是说当进程走到中断返回的流程中时，发现需要调度(设置了TIF_NEED_RESCHED)，于是在这里发生了调度。

有一个疑问：为什么在堆栈中看不到schedule()这一级的栈帧呢?

因为这里是汇编直接调用的，没有进行相关栈帧压栈和上下文保存操作。

2)进行状态信息分析

从top命令结果看，相关线程实际一直处于R状态，CPU几乎完全耗尽，而且绝大部分都消耗在用户态：

[root@vmc116 ~]# top

top - 09:42:23 up 16 days， 2:21， 23 users， load average： 84.08， 84.30， 83.62

Tasks： 1037 total， 85 running， 952 sleeping， 0 stopped， 0 zombie

Cpu(s)： 97.6%us， 2.2%sy， 0.2%ni， 0.0%id， 0.0%wa， 0.0%hi， 0.0%si， 0.0%st

Mem： 32878852k total， 32315464k used， 563388k free， 374152k buffers

Swap： 35110904k total， 38644k used， 35072260k free， 28852536k cached

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND

27074 root 20 0 5316m 163m 14m R 10.2 0.5 321:06.17 z_itask_templat

27084 root 20 0 5316m 163m 14m R 10.2 0.5 296:23.37 z_itask_templat

27085 root 20 0 5316m 163m 14m R 10.2 0.5 337:57.26 z_itask_templat

27095 root 20 0 5316m 163m 14m R 10.2 0.5 327:31.93 z_itask_templat

27102 root 20 0 5316m 163m 14m R 10.2 0.5 306:49.44 z_itask_templat

27113 root 20 0 5316m 163m 14m R 10.2 0.5 310:47.41 z_itask_templat

25730 root 20 0 5316m 163m 14m R 10.2 0.5 283:03.37 z_itask_templat

30069 root 20 0 5316m 163m 14m R 10.2 0.5 283:49.67 z_itask_templat

13938 root 20 0 5316m 163m 14m R 10.2 0.5 261:24.46 z_itask_templat

16326 root 20 0 5316m 163m 14m R 10.2 0.5 150:24.53 z_itask_templat

6795 root 20 0 5316m 163m 14m R 10.2 0.5 100:26.77 z_itask_templat

27063 root 20 0 5316m 163m 14m R 9.9 0.5 337:18.77 z_itask_templat

27065 root 20 0 5316m 163m 14m R 9.9 0.5 314:24.17 z_itask_templat

27068 root 20 0 5316m 163m 14m R 9.9 0.5 336:32.78 z_itask_templat

27069 root 20 0 5316m 163m 14m R 9.9 0.5 338:55.08 z_itask_templat

27072 root 20 0 5316m 163m 14m R 9.9 0.5 306:46.08 z_itask_templat

27075 root 20 0 5316m 163m 14m R 9.9 0.5 316:49.51 z_itask_templat

。。。

Linux系统下用户进程死循环问题解决方法

相关推荐