linux多线程互斥与同步_shell并发执行命令

Linux 多线程全面解析 　　引入： 　　在传统的Unix模型中，当一个进程需要由另一个实体执行某件事时，该进程派生（fork）一个子进程，让子进程去进行处理。Unix下的大多数网络服务器程序都是这么编写的，即父进程接受连接，派生子进程，子进程处理与客户的交互。 　　虽然这种模型很多年来使用得很好，但是fork时有一些问题：fork是昂贵的。内存映像要从父进程拷贝到子进程，所有描述字要在子进程中复制等等。目前有的Unix实现使用一种叫做写时拷贝（copy－on－write）的技术，可避免父进程数据空间向子进程的拷贝。尽管有这种优化技术，fork仍然是昂贵的。fork子进程后，需要用进程间通信（IPC）在父子进程之间传递信息。Fork之前的信息容易传递，因为子进程从一开始就有父进程数据空间及所有描述字的拷贝。但是从子进程返回信息给父进程需要做更多的工作。 　　线程有助于解决这两个问题。线程有时被称为轻权进程（lightweight process），因为线程比进程“轻权”，一般来说，创建一个线程要比创建一个进程快10～100倍。 　　一个进程中的所有线程共享相同的全局内存，这使得线程很容易共享信息，但是这种简易性也带来了同步问题。 　　一个进程中的所有线程不仅共享全局变量，而且共享：进程指令、大多数数据、打开的文件（如描述字）、信号处理程序和信号处置、当前工作目录、用户ID和组ID。但是每个线程有自己的线程ID、寄存器集合（包括程序计数器和栈指针）、栈（用于存放局部变量和返回地址）、error、信号掩码、优先级。 　　在Linux中线程编程符合Posix.1标准，称为Pthreads。所有的pthread函数都以pthread_开头。在调用它们前均要包括pthread.h头文件，一个函数库libpthread实现。 　　1.线程基础介绍： 　　数据结构： 　　操作函数： 　　同步函数： 　　2.概念： 　　线程的组成部分： 　　Thread ID 线程ID 　　Stack 栈 　　Policy 优先级 　　Signal mask 信号码 　　Errno 错误码 　　Thread-Specific Data 特殊数据 　　3.线程定义 　　1） pthread_t pthread_ID ,用于标识一个线程，不能单纯看成整数，可能是结构体，与实现有关 　　2） pthread_equal函数用于比较两个pthread_t是否相等 　　3）pthread_self函数用于获得本线程的thread id 　　4.线程的创建 　　1） 创建线程调用pthread_create函数： 　　参数说明：pthread_t *restrict tidp：返回最后创建出来的Thread的Thread IDconst pthread_attr_t *restrict attr：指定线程的Attributes，后面会讲道，现在可以用NULLvoid *(*start_rtn)(void *)：指定线程函数指针，该函数返回一个void ，参数也为voidvoid *restrict arg：传入给线程函数的参数返回错误值。 　　一个进程中的每个线程都由一个线程ID（thread ID）标识，其数据类型是pthread_t（常常是unsigned int）。如果新的线程创建成功，其ID将通过tid指针返回。 　　每个线程都有很多属性：优先级、起始栈大小、是否应该是一个守护线程等等，当创建线程时，我们可通过初始化一个pthread_attr_t变量说明这些属性以覆盖缺省值。我们通常使用缺省值，在这种情况下，我们将attr参数说明为空指针。 　　最后，当创建一个线程时，我们要说明一个它将执行的函数。线程以调用该函数开始，然后或者显式地终止（调用pthread_exit）或者隐式地终止（让该函数返回）。函数的地址由func参数指定，该函数的调用参数是一个指针arg，如果我们需要多个调用参数，我们必须将它们打包成一个结构，然后将其地址当作唯一的参数传递给起始函数。 　　在func和arg的声明中，func函数取一个通用指针（void ＊）参数，并返回一个通用指针（void ＊），这就使得我们可以传递一个指针（指向任何我们想要指向的东西）给线程，由线程返回一个指针（同样指向任何我们想要指向的东西）。调用成功，返回0，出错时返回正Exxx值。 　　2） pthread函数在出错的时候不会设置errno，而是直接返回错误值 　　3） 在Linux 系统下面，在老的内核中，由于Thread也被看作是一种特殊，可共享地址空间和资源的Process，因此在同一个Process中创建的不同 Thread具有不同的Process ID（调用getpid获得）。而在新的2.6内核之中，Linux采用了NPTL(Native POSIX Thread Library)线程模型（可以参考http://en.wikipedia.org/wiki/Native_POSIX_Thread_Library和http://www-128.ibm.com/developerworks/linux/library/l-threading.html?ca=dgr-lnxw07LinuxThreadsAndNPTL），在该线程模型下同一进程下不同线程调用getpid返回同一个PID。 　　4） 不能对创建的新线程和当前创建者线程的运行顺序作出任何假设 　　相关视频推荐 　　c/c++Linux丨纯C带你实现协程框架丨底层原理与性能分析，面试利刃 　　协程解决了网络编程中哪些痛点/ reactor 网络编程 　　徒手实现一个协程框架，为你造轮子事业，再添一坑 　　LinuxC++后台服务器开发架构师免费学习地址 　　【文章福利】：小编整理了一些个人觉得比较好的学习书籍、视频资料共享在群文件里面，有需要的可以自行添加哦！~832218493加入（需要自取）

　　5.线程的退出 　　exit, _Exit, _exit用于中止当前进程，而非线程中止线程可以有三种方式：a. 在线程函数中returnb. 被同一进程中的另外的线程Cancel掉c. 线程调用pthread_exit函数pthread_exit和pthread_join函数的用法：a. 线程A调用pthread_join(B, &rval_ptr)，被Block，进入Detached状态（如果已经进入Detached状态，则pthread_join函数返回EINVAL）。如果对B的结束代码不感兴趣，rval_ptr可以传NULL。b. 线程B调用pthread_exit(rval_ptr)，退出线程B，结束代码为rval_ptr。注意rval_ptr指向的内存的生命周期，不应该指向B的Stack中的数据。c. 线程A恢复运行，pthread_join函数调用结束，线程B的结束代码被保存到rval_ptr参数中去。如果线程B被Cancel，那么rval_ptr的值就是PTHREAD_CANCELLED。 　　两个函数原型如下： 　　该函数等待一个线程终止。把线程和进程相比，pthread_creat类似于fork，而 pthread_join类似于waitpid。我们必须要等待线程的tid，很可惜，我们没有办法等待任意一个线程结束。如果status指针非空，线程的返回值（一个指向某个对象的指针）将存放在status指向的位置。一个Thread可以要求另外一个Thread被Cancel，通过调用pthread_cancel函数： 　　该函数会使指定线程如同调用了pthread_exit(PTHREAD_CANCELLED)。不过，指定线程可以选择忽略或者进行自己的处理，在后面会讲到。此外，该函数不会导致Block，只是发送Cancel这个请求。线程可以安排在它退出的时候，某些函数自动被调用，类似atexit()函数。需要调用如下函数： 　　这两个函数维护一个函数指针的Stack，可以把函数指针和函数参数值push/pop。执行的顺序则是从栈顶到栈底，也就是和push的顺序相反。 　　在下面情况下pthread_cleanup_push所指定的thread cleanup handlers会被调用： 　　a. 调用pthread_exit 　　b. 相应cancel请求 　　c. 以非0参数调用pthread_cleanup_pop()。（如果以0调用pthread_cleanup_pop()，那么handler不会被调用 　　有一个比较怪异的要求是，由于这两个函数可能由宏的方式来实现，因此这两个函数的调用必须得是在同一个Scope之中，并且配对，因为在pthread_cleanup_push的实现中可能有一个{，而 pthread_cleanup_pop可能有一个}。 　　因此，一般情况下，这两个函数是用于处理意外情况用的，举例如下： 　　进程函数和线程函数的相关性：Process PrimitiveThread PrimitiveDescriptionforkpthread_create创建新的控制流exitpthread_exit退出已有的控制流waitpidpthread_join等待控制流并获得结束代码atexitpthread_cleanup_push注册在控制流退出时候被调用的函数getpidpthread_self获得控制流的idabortpthread_cancel请求非正常退出缺省情况下，一个线程A的结束状态被保存下来直到pthread_join为该线程被调用过，也就是说即使线程A已经结束，只要没有线程B调用 pthread_join(A)，A的退出状态则一直被保存。而当线程处于Detached状态之时，当线程退出的时候，其资源可以立刻被回收，那么这个退出状态也丢失了。在这个状态下，无法为该线程调用pthread_join函数。我们可以通过调用pthread_detach函数来使指定线程进入 Detach状态： 　　通过修改调用pthread_create函数的attr参数，我们可以指定一个线程在创建之后立刻就进入Detached状态 　　6.线程同步 　　互斥量：Mutex各个现成向同一个文件顺序写入数据，最后得到的结果是不可想象的。所以用互斥锁来保证一段时间内只有一个线程在执行一段代码。a. 用于互斥访问b. 类型：pthread_mutex_t，必须被初始化为PTHREAD_MUTEX_INITIALIZER 　　（用于静态分配的mutex，等价于 pthread_mutex_init(…, NULL)）或者调用pthread_mutex_init。Mutex也应该用pthread_mutex_destroy来销毁。这两个函数原型如下： 　　c. pthread_mutex_lock 用于Lock Mutex，如果Mutex已经被Lock，该函数调用会Block直到Mutex被Unlock，然后该函数会Lock Mutex并返回。pthread_mutex_trylock类似，只是当Mutex被Lock的时候不会Block，而是返回一个错误值EBUSY。 　　pthread_mutex_unlock则是unlock一个mutex。这三个函数原型如下： 　　d. 举例说明 　　需要注意的是在使用互斥锁的过程中很有可能会出现死锁：两个线程试图同时占用两个资源，并按不同的次序锁定相应的互斥锁，例如两个线程都需要锁定互斥锁1和互斥锁2，a线程先锁定互斥锁1，b 线程先锁定互斥锁2，这时就出现了死锁。 　　此时我们可以使用函数 pthread_mutex_trylock，它是函数pthread_mutex_lock的非阻塞版本，当它发现死锁不可避免时，它会返回相应的信息，程序员可以针对死锁做出相应的处理。另外不同的互斥锁类型对死锁的处理不一样，但最主要的还是要程序员自己在程序设计注意这一点读写锁：Reader-Writer Locksa. 多个线程可以同时获得读锁(Reader-Writer lock in read mode)，但是只有一个线程能够获得写锁(Reader-writer lock in write mode)b. 读写锁有三种状态i. 一个或者多个线程获得读锁，其他线程无法获得写锁ii. 一个线程获得写锁，其他线程无法获得读锁iii. 没有线程获得此读写锁c. 类型为pthread_rwlock_td. 创建和关闭方法如下： 　　e. 获得读写锁的方法如下： 　　pthread_rwlock_rdlock：获得读锁 　　pthread_rwlock_wrlock：获得写锁 　　pthread_rwlock_unlock：释放锁，不管是读锁还是写锁都是调用此函数 　　注意具体实现可能对同时获得读锁的线程个数有限制，所以在调用 pthread_rwlock_rdlock的时候需要检查错误值，而另外两个pthread_rwlock_wrlock和 pthread_rwlock_unlock则一般不用检查，如果我们代码写的正确的话。Conditional Variable：条件变量互斥锁一个明显的缺点是它只有两种状态：锁定和非锁定。而条件变量通过允许线程阻塞和等待另一个线程发送信号的方法弥补了互斥锁的不足，它常和互斥锁一起使用。使用时，条件变量被用来阻塞一个线程，当条件不满足时，线程往往解开相应的互斥锁并等待条件发生变化。一旦其它的某个线程改变了条件变量，它将通知相应的条件变量唤醒一个或多个正被此条件变量阻塞的线程。这些线程将重新锁定互斥锁并重新测试条件是否满足。一般说来，条件变量被用来进行线程间的同步。a. 条件必须被Mutex保护起来b. 类型为：pthread_cond_t，必须被初始化为PTHREAD_COND_INITIALIZER（用于静态分配的条件，等价于pthread_cond_init(…, NULL)）或者调用pthread_cond_init 　　c. pthread_cond_wait 函数用于等待条件发生（=true）。pthread_cond_timedwait类似，只是当等待超时的时候返回一个错误值ETIMEDOUT。超时的时间用timespec结构指定。此外，两个函数都需要传入一个Mutex用于保护条件 　　一个简单例子： 　　count 值为0时， decrement函数在pthread_cond_wait处被阻塞，并打开互斥锁count_lock。此时，当调用到函数 increment_count时，pthread_cond_signal（）函数改变条件变量，告知decrement_count（）停止阻塞。 　　d. timespec结构定义如下： 　　注意timespec的时间是绝对时间而非相对时间，因此需要先调用gettimeofday函数获得当前时间，再转换成timespec结构，加上偏移量。 　　e. 有两个函数用于通知线程条件被满足（=true）： 　　两者的区别是前者会唤醒单个线程，而后者会唤醒多个线程。 　　7.线程属性 　　线程属性设置 　　我们用pthread_create函数创建一个线程，在这个线程中，我们使用默认参数，即将该函数的第二个参数设为NULL。的确，对大多数程序来说，使用默认属性就够了，但我们还是有必要来了解一下线程的有关属性。 　　属性结构为pthread_attr_t，它同样在头文件pthread.h中定义，属性值不能直接设置，须使用相关函数进行操作，初始化的函数为pthread_attr_init，这个函数必须在pthread_create函数之前调用。属性对象主要包括是否绑定、是否分离、 　　堆栈地址、堆栈大小、优先级。默认的属性为非绑定、非分离、缺省的堆栈、与父进程同样级别的优先级。绑定 　　关于线程的绑定，牵涉到另外一个概念：轻进程（LWP：Light Weight Process）。轻进程可以理解为内核线程，它位于用户层和系统层之间。系统对线程资源的分配、对线程的控制是通过轻进程来实现的，一个轻进程可以控制一个或多个线程。 　　默认状况下，启动多少轻进程、哪些轻进程来控制哪些线程是由系统来控制的，这种状况即称为非绑定的。绑定状况下，则顾名思义，即某个线程固定的”绑”在一个轻进程之上。 　　被绑定的线程具有较高的响应速度，这是因为CPU时间片的调度是面向轻进程的，绑定的线程可以保证在需要的时候它总有一个轻进程可用。通过设置被绑定的轻进程的优先级和调度级可以使得绑定的线程满足诸如实时反应之类的要求。 　　设置线程绑定状态的函数为 pthread_attr_setscope，它有两个参数，第一个是指向属性结构的指针，第二个是绑定类型，它有两个取值：PTHREAD_SCOPE_SYSTEM（绑定的）和PTHREAD_SCOPE_PROCESS（非绑定的）。下面的代码即创建了一个绑定的线程。 　　线程分离状态线程的分离状态决定一个线程以什么样的方式来终止自己。非分离的线程终止时，其线程ID和退出状态将保留，直到另外一个线程调用 pthread_join.分离的线程在当它终止时，所有的资源将释放，我们不能等待它终止。设置线程分离状态的函数为 pthread_attr_setdetachstate（pthread_attr_t *attr, int detachstate） 　　第二个参数可选为PTHREAD_CREATE_DETACHED（分离线程）或 PTHREAD _CREATE_JOINABLE（非分离线程）。 　　这里要注意的一点是，如果设置一个线程为分离线程，而这个线程运行又非常快，它很可能在 pthread_create函数返回之前就终止了，它终止以后就可能将线程号和系统资源移交给其他的线程使用，这样调用pthread_create的线程就得到了错误的线程号。 　　要避免这种情况可以采取一定的同步措施，最简单的方法之一是可以在被创建的线程里调用 pthread_cond_timewait函数，让这个线程等待一会儿，留出足够的时间让函数pthread_create返回。设置一段等待时间，是在多线程编程里常用的方法。4．优先级 　　它存放在结构sched_param中。用函数pthread_attr_getschedparam和函数 pthread_attr_setschedparam进行存放，一般说来，我们总是先取优先级，对取得的值修改后再存放回去。下面即是一段简单的例子。 　　8.具体使用： 　　参考文档： 　　http://baike.baidu.com/link?url=ScKRuE9PA7Ad0hH5WomVLZPbu6y0otJrVwwi_I_I-DfGAMgkpj8lm7wQPqpxDMacpJmK7ydrn3N-OLaVplIhSK 　　http://blog.csdn.net/ithomer/article/details/