52xpp - Later equals never , just do now !

Webdriver 的那些事

四月 21, 2018

如何在 liunx 上使用webdriver？
liunx 下如何安装 chrome 和 chromedriver？
如何解决错误：Chrome failed to start: exited abnormally？
为何在 liunx 下使用 webdriver 截图后，中文显示乱码，中文都是一个个小方框？
如何在 liunx 下安装中文字体？

阅读剩余部分 –

一些有趣的网站

四月 7, 2018

Rainy Mood

Helps you to focus, relax, and sleep

【转】linux查看nginx、apache、php、php-fpm、mysql及配置项所在目录

四月 7, 2018

很多时候会登录一台陌生的服务器；
当需要调整环境的时候；
那真是起步啥都没有；装备全靠打；
两眼一抹黑到处找配置项；
还好我这记的有一份笔记；

阅读剩余部分 –

centos6 iptables防火墙规则

四月 3, 2018

iptables
# 查看端口状态
/etc/init.d/iptables status

# 删除规则 num编号
iptables -D INPUT num编号

# 关闭端口
iptables -I INPUT -p tcp --dport 888 -j DROP

# 开启端口
iptables -I INPUT -p tcp --dport 888 -j ACCEPT

# 保存规则
/etc/init.d/iptables save

# 重启防火墙,这个在修改配置文件后使用 /etc/sysconfig/iptables
/etc/init.d/iptables restart

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

iptables

# 查看端口状态

/etc/init.d/iptables status

# 删除规则 num编号

iptables -D INPUT num编号

# 关闭端口

iptables -I INPUT -p tcp --dport 888 -j DROP

# 开启端口

iptables -I INPUT -p tcp --dport 888 -j ACCEPT

# 保存规则

/etc/init.d/iptables save

# 重启防火墙,这个在修改配置文件后使用 /etc/sysconfig/iptables

/etc/init.d/iptables restart

阅读剩余部分 –

centos 7 防火墙，firewall一些规则

四月 3, 2018

# 关闭8888端口 --permanent 永久生效
firewall-cmd --zone=public --remove-port=8888/tcp --permanent 

# 开启8888端口 --permanent 永久生效
firewall-cmd --zone=public --add-port=8888/tcp --permanent

# 需要更新防火墙规则后生效,无需断开连接(重启防火墙)
firewall-cmd --reload

# 查看指定区域所有打开的端口
firewall-cmd --zone=public --list-ports

1

2

3

4

5

6

7

8

9

10

11

# 关闭8888端口 --permanent 永久生效

firewall-cmd --zone=public --remove-port=8888/tcp --permanent

# 开启8888端口 --permanent 永久生效

firewall-cmd --zone=public --add-port=8888/tcp --permanent

# 需要更新防火墙规则后生效,无需断开连接(重启防火墙)

firewall-cmd --reload

# 查看指定区域所有打开的端口

firewall-cmd --zone=public --list-ports

阅读剩余部分 –

微信聊天记录分析，Python 之 WorldCloud

三月 20, 2018

目标：

导出微信的好友聊天记录
简单处理聊天记录
使用 WorldCloud 词云生成一张漂亮的词频图片

阅读剩余部分 –

python 抓取数据入库 mysql，使用 pymysql

三月 17, 2018

目标：

对豆瓣top250，抓取排名，电影名，评分，评论人数，一句话精彩评论，然后保存到 mysql 中

第三方库：

pymysql

Shell

pip3 install PyMySQL

1

pip3 install PyMySQL

阅读剩余部分 –

python 之抓取豆瓣电影TOP250

三月 16, 2018

目标：

抓取豆瓣电影TOP250，名次，电影名称，海报图片
把图片保存在当前目录下的 douban_top_250 文件夹下
保存一份排名txt，和一份json格式的txt
打包成 win 下可运行的 exe 文件

阅读剩余部分 –

用python抓取糗事百科之糗图

三月 7, 2018

#!/usr/local/bin/python3
# -*- coding: utf-8 -*-

import requests
import re
import time
import os


# 糗事百科 糗图抓取
# https://www.qiushibaike.com/pic/
# https://www.qiushibaike.com/pic/page/2/?s=5067959

# 打开网页,返回页面内容
def get_html(url):
    s = requests.get(url)
    return s.text


# print(get_html("https://www.qiushibaike.com/pic/"))

# 从页面中抓取所有的图片
def get_img_list(html):
    r = re.compile(r'<div class="thumb">.*?<img src=(.*?) alt=.*?>.*?</div>', re.S)
    img_list = re.findall(r, html)
    return img_list


# print(get_img_list(get_html("https://www.qiushibaike.com/pic/")))

# 保存图片到本地
def save_img(img_list, page):
    # 首先创建目录
    day = time.strftime("%Y-%m-%d", time.localtime())

    path = './qiu/' + day + '/page' + str(page)

    is_path_exist = os.path.exists(path)
    if not is_path_exist:
        os.makedirs(path)
    img_count = 0
    for img in img_list:
        f = open(path + '/' + str(img_count) + '.jpg', 'wb')
        # 处理图片链接
        img = img.strip('"')
        img_url = "https:" + img
        f.write(requests.get(img_url).content)
        f.close()
        img_count += 1


# save_img(get_img_list(get_html("https://www.qiushibaike.com/pic/")),1)

start_url = "https://www.qiushibaike.com/pic/"
start_page = int(input("请输入起始页:"))
end_page = int(input("请输入结束页:"))

print("开始下载...")
start_time = time.time()
for page in range(start_page, end_page + 1):
    # 拼接url
    url = start_url + 'page/' + str(page)
    html = get_html(url)
    img_list = get_img_list(html)
    save_img(img_list, page)

end_time = time.time()
print("下载结束")
print("一共用时:"+str(int(end_time - start_time))+"秒")

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

#!/usr/local/bin/python3

# -*- coding: utf-8 -*-

import requests

import re

import time

import os

# 糗事百科糗图抓取

# https://www.qiushibaike.com/pic/

# https://www.qiushibaike.com/pic/page/2/?s=5067959

# 打开网页,返回页面内容

def get_html(url):

s = requests.get(url)

return s.text

# print(get_html("https://www.qiushibaike.com/pic/"))

# 从页面中抓取所有的图片

def get_img_list(html):

r = re.compile(r'<div class="thumb">.*?<img src=(.*?) alt=.*?>.*?</div>', re.S)

img_list = re.findall(r, html)

return img_list

# print(get_img_list(get_html("https://www.qiushibaike.com/pic/")))

# 保存图片到本地

def save_img(img_list, page):

# 首先创建目录

day = time.strftime("%Y-%m-%d", time.localtime())

path = './qiu/' + day + '/page' + str(page)

is_path_exist = os.path.exists(path)

if not is_path_exist:

os.makedirs(path)

img_count = 0

for img in img_list:

f = open(path + '/' + str(img_count) + '.jpg', 'wb')

# 处理图片链接

img = img.strip('"')

img_url = "https:" + img

f.write(requests.get(img_url).content)

f.close()

img_count += 1

# save_img(get_img_list(get_html("https://www.qiushibaike.com/pic/")),1)

start_url = "https://www.qiushibaike.com/pic/"

start_page = int(input("请输入起始页:"))

end_page = int(input("请输入结束页:"))

print("开始下载...")

start_time = time.time()

for page in range(start_page, end_page + 1):

# 拼接url

url = start_url + 'page/' + str(page)

html = get_html(url)

img_list = get_img_list(html)

save_img(img_list, page)

end_time = time.time()

print("下载结束")

print("一共用时:"+str(int(end_time - start_time))+"秒")

请输入起始页:1
请输入结束页:35
开始下载...
下载结束
一共用时:195秒

1

2

3

4

5

请输入起始页:1

请输入结束页:35

开始下载...

下载结束

一共用时:195秒

从1至35页，每页20张图片，一共用时195秒

立个 flag ，2018 好好学 python

三月 4, 2018

2018 年 3 月 4 日。

Webdriver 的那些事

一些有趣的网站

Rainy Mood

Helps you to focus, relax, and sleep

【转】linux查看nginx、apache、php、php-fpm、mysql及配置项所在目录

centos6 iptables防火墙规则

centos 7 防火墙，firewall一些规则

微信聊天记录分析，Python 之 WorldCloud

python 抓取数据入库 mysql，使用 pymysql

python 之抓取豆瓣电影TOP250

用python抓取糗事百科之糗图

立个 flag ，2018 好好学 python

近期文章

近期评论

文章归档

分类目录

功能