年前接到一个小活,有一阶段是需要处理某一文件夹下的CSV文本文件,起初文件量不大,用python写了个小脚本批量串行处理,后来想想估计后期还有这样的需求,如果文件量较大的话,再使用单线程时间就会比较长了,所以周末改写了个并发脚本,所用时间节省也是之前的1/2(限于笔记本多进程切换消耗资源,理论应该还更短),还是比较给力,下面就总结下python的并发那点事.
有这样一句话:”Python下多线程是鸡肋,推荐使用多进程“,但是为什么这么说呢?要了解多线程多进程之前,首先要了解python的GIL.

阅读全文 »

场景概述:

场景:

oracle中有一条大表(物品编码表wpbm),该表中存放了很多种物品信息,大约有4亿条数据,其中最重要的两个字段为wpmc(物品名称),spbm(商品编码),其中某一物品可能对应多个商品编码,如何根据这两个字段对某一物品的各个商品编码计数?

阅读全文 »

Pyora介绍

首先要介绍下:cx_Oracle ,这是一个使用 python 开发的 python连接Oracle数据库的驱动,有了这个驱动,python 就可以与Oracle 交互了

Pyora 就是利用 cx_Oracle 完成与Oracle的连接, 然后利用 sql 来获取 Oracle 数据库的状态,达到监控目的的

阅读全文 »

zabbix介绍

引自网络: zabbix(音同 zæbix)是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案,zabbix能监视各种网络参数,保证服务器系统的安全运营;并提供灵活的通知机制以让系统管理员快速定位/解决存在的各种问题。

阅读全文 »

docker知识点:

1.镜像是只读的,当镜像启动的时候就成了一个容器,容器会在镜像的最外一层加上一个可写层,当我们有一个正在运行的Docker容器时,从运行态到停止态,我们对它所做的一切变更都会永久地写到容器的文件系统中。要切记,对容器的变更是写入到容器的文件系统的,而不是写入到Docker镜像中的.

阅读全文 »
0%