TP6下使用chunk分块批量处理数据时,使用多字段分组时错误

数据量太大,使用TP6中chunk分块批量处理数据,而且需要使用多字段分组后批量处理。

问题分析:

使用 mysql 原生查询后,发现分组后的数据量有132298 rows。

使用chunk进行批量处理,发现一共处理了130398 rows。一共少处理了1900 行数据。

查看 chunk 源码,并打印关键逻辑

 

可以看出,chunk中的第二次开始查询下一批数据时,是根据 $lastId 来进行了排序后查找,chunk 这个方法,传入的分组条件,也就是 $column ,最好是一个确定唯一的条件。默认会使用主键。像这样如果多字段group by后,存在多个部分字段重复的情况,也就不建议使用 chunk 方法了。

解决办法:

 

CryptoJS中AES加密与PHP7的相互转换

js中加密代码如下:

php中相应代码如下:

特别注意 bin2hex 、hex2bin 这个函数,

hex2bin() 函数把十六进制值的字符串转换为 ASCII 字符。

bin2hex() 函数把 ASCII 字符的字符串转换为十六进制值。

用 Guzzlehttp 发送 gzip 压缩过的 json 数据,post 请求

 

Webdriver 的那些事

  1. 如何在 liunx 上使用webdriver?
  2. liunx 下如何安装 chrome 和 chromedriver?
  3. 如何解决错误:Chrome failed to start: exited abnormally?
  4. 为何在 liunx 下使用 webdriver 截图后,中文显示乱码,中文都是一个个小方框?
  5. 如何在 liunx 下安装中文字体?

阅读剩余部分 –