PHP - 52xpp

TP6下使用chunk分块批量处理数据时，使用多字段分组时错误

四月 22, 2022

数据量太大，使用TP6中chunk分块批量处理数据，而且需要使用多字段分组后批量处理。

问题分析：

使用 mysql 原生查询后，发现分组后的数据量有132298 rows。

select goods_id,goods_type,stu_id from kk_stu_node_progress where goods_type = 6 group by goods_id,goods_type,stu_id order by stu_id;

1	select goods_id,goods_type,stu_id from kk_stu_node_progress where goods_type = 6 group by goods_id,goods_type,stu_id order by stu_id;

使用chunk进行批量处理，发现一共处理了130398 rows。一共少处理了1900 行数据。

$total = Db::table('table_name')->field('concat_ws(",",goods_id,goods_type,stu_id) as kk')
            ->where('goods_type', 6)
            ->group('goods_id,goods_type,stu_id')
            ->select()
            ->toArray();
$total = array_column($total, 'kk');

Db::table('table_name')->field('goods_id,goods_type,stu_id')->where('goods_type', 6)
->group('goods_id,goods_type,stu_id')->chunk(100, function ($nodes) use (&$total) {
    foreach ($nodes as $node) {
        $value = $node['goods_id'] . ',' . $node['goods_type'] . ',' . $node['stu_id'];
        $total = array_diff($total, [$value]);
        file_put_contents(app_path('..') . 'data-1.txt', json_encode($node) . PHP_EOL, FILE_APPEND);
    }
}, 'stu_id', 'asc');
file_put_contents(app_path('..') . 'data-1-diff.sql', json_encode($total) . PHP_EOL, FILE_APPEND);

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

$total = Db::table('table_name')->field('concat_ws(",",goods_id,goods_type,stu_id) as kk')

->where('goods_type', 6)

->group('goods_id,goods_type,stu_id')

->select()

->toArray();

$total = array_column($total, 'kk');

Db::table('table_name')->field('goods_id,goods_type,stu_id')->where('goods_type', 6)

->group('goods_id,goods_type,stu_id')->chunk(100, function ($nodes) use (&$total) {

foreach ($nodes as $node) {

$value = $node['goods_id'] . ',' . $node['goods_type'] . ',' . $node['stu_id'];

$total = array_diff($total, [$value]);

file_put_contents(app_path('..') . 'data-1.txt', json_encode($node) . PHP_EOL, FILE_APPEND);

}

}, 'stu_id', 'asc');

file_put_contents(app_path('..') . 'data-1-diff.sql', json_encode($total) . PHP_EOL, FILE_APPEND);

查看 chunk 源码，并打印关键逻辑

可以看出，chunk中的第二次开始查询下一批数据时，是根据 $lastId 来进行了排序后查找，chunk 这个方法，传入的分组条件，也就是 $column ，最好是一个确定唯一的条件。默认会使用主键。像这样如果多字段group by后，存在多个部分字段重复的情况，也就不建议使用 chunk 方法了。

解决办法：

$total = Db::table('table_name')->field('goods_id,goods_type,stu_id')
    ->where('goods_type', 6)
    ->group('goods_id,goods_type,stu_id')
    ->select()
    ->toArray();
while (!empty($total)) {
    //每次取出100个
    $_sub = array_splice($total, 0, 100);
    foreach ($_sub as $node) {
        //处理数据
    }
}

1

2

3

4

5

6

7

8

9

10

11

12

$total = Db::table('table_name')->field('goods_id,goods_type,stu_id')

->where('goods_type', 6)

->group('goods_id,goods_type,stu_id')

->select()

->toArray();

while (!empty($total)) {

//每次取出100个

$_sub = array_splice($total, 0, 100);

foreach ($_sub as $node) {

//处理数据

}

CryptoJS中AES加密与PHP7的相互转换

二月 12, 2020

js中加密代码如下:

function encrypt(src, cryptoKey) {
  var key = window.CryptoJS.enc.Utf8.parse(cryptoKey);
  var encPassword = window.CryptoJS.AES.encrypt(src, key, {
    mode: window.CryptoJS.mode.ECB,
    padding: window.CryptoJS.pad.Pkcs7
  });
  return encPassword.ciphertext.toString().toUpperCase();
}

1

2

3

4

5

6

7

8

function encrypt(src, cryptoKey) {

var key = window.CryptoJS.enc.Utf8.parse(cryptoKey);

var encPassword = window.CryptoJS.AES.encrypt(src, key, {

mode: window.CryptoJS.mode.ECB,

padding: window.CryptoJS.pad.Pkcs7

});

return encPassword.ciphertext.toString().toUpperCase();

}

php中相应代码如下:

    /**
     * 加密字符串
     */
    function encrypt($data, $key)
    {
        $chiperRaw = openssl_encrypt($data, 'AES-128-ECB', $key, OPENSSL_RAW_DATA);
        return strtoupper(bin2hex($chiperRaw));
    }

    /**
     * 解密字符串
     */
    public function decrypt($string, $key)
    {
        return openssl_decrypt(hex2bin($string), 'AES-128-ECB', $key, OPENSSL_RAW_DATA);
    }

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

/**

* 加密字符串

*/

function encrypt($data, $key)

{

$chiperRaw = openssl_encrypt($data, 'AES-128-ECB', $key, OPENSSL_RAW_DATA);

return strtoupper(bin2hex($chiperRaw));

}

/**

* 解密字符串

*/

public function decrypt($string, $key)

{

return openssl_decrypt(hex2bin($string), 'AES-128-ECB', $key, OPENSSL_RAW_DATA);

}

特别注意 bin2hex 、hex2bin 这个函数，

hex2bin() 函数把十六进制值的字符串转换为 ASCII 字符。

bin2hex() 函数把 ASCII 字符的字符串转换为十六进制值。

用 Guzzlehttp 发送 gzip 压缩过的 json 数据，post 请求

三月 9, 2019

            // Provide the body as a string.
            $response = $http->request('POST', $api . '?' . $build_query_data, [
                'headers' => ['Content-Encoding' => 'gzip'],
                'body'    => gzencode(json_encode($query))
            ]);

            $result = json_decode($response->getBody(), true);

            $statusCode = $response->getStatusCode();

1

2

3

4

5

6

7

8

9

// Provide the body as a string.

$response = $http->request('POST', $api . '?' . $build_query_data, [

'headers' => ['Content-Encoding' => 'gzip'],

'body' => gzencode(json_encode($query))

]);

$result = json_decode($response->getBody(), true);

$statusCode = $response->getStatusCode();

An another FPM instance seems to already listen on /Users/***/.valet/valet.sock

十二月 15, 2017

Mac 环境下，使用 brew-php-switcher 将 PHP 版本由 5.6 切换为 7.0 后，重启 php-fpm 服务报错：

☁  etc  brew-php-switcher 70
Switching to php70
Switching your shell
Unlinking /usr/local/Cellar/php53/5.3.29_8... 0 symlinks removed
Unlinking /usr/local/Cellar/php54/5.4.45_7... 0 symlinks removed
Unlinking /usr/local/Cellar/php55/5.5.38_12... 0 symlinks removed
Unlinking /usr/local/Cellar/php56/5.6.32_8... 17 symlinks removed
Unlinking /usr/local/Cellar/php70/7.0.26_18... 0 symlinks removed
Unlinking /usr/local/Cellar/php71/7.1.6_18... 0 symlinks removed
Linking /usr/local/Cellar/php70/7.0.26_18... 17 symlinks created
You will need sudo power from now on
Switching your apache conf
Restarting apache
All done!
☁  etc  sudo killall php-fpm && sudo php-fpm
[15-Dec-2017 11:36:55] ERROR: An another FPM instance seems to already listen on /Users/gaoxuhui/.valet/valet.sock
[15-Dec-2017 11:36:55] ERROR: FPM initialization failed

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

☁ etc brew-php-switcher 70

Switching to php70

Switching your shell

Unlinking /usr/local/Cellar/php53/5.3.29_8... 0 symlinks removed

Unlinking /usr/local/Cellar/php54/5.4.45_7... 0 symlinks removed

Unlinking /usr/local/Cellar/php55/5.5.38_12... 0 symlinks removed

Unlinking /usr/local/Cellar/php56/5.6.32_8... 17 symlinks removed

Unlinking /usr/local/Cellar/php70/7.0.26_18... 0 symlinks removed

Unlinking /usr/local/Cellar/php71/7.1.6_18... 0 symlinks removed

Linking /usr/local/Cellar/php70/7.0.26_18... 17 symlinks created

You will need sudo power from now on

Switching your apache conf

Restarting apache

All done!

☁ etc sudo killall php-fpm && sudo php-fpm

[15-Dec-2017 11:36:55] ERROR: An another FPM instance seems to already listen on /Users/gaoxuhui/.valet/valet.sock

[15-Dec-2017 11:36:55] ERROR: FPM initialization failed

阅读剩余部分 –

Composer 命令失效，输出一堆问号？

十月 23, 2017

这两天突然发现 Mac 下的 composer 失效了，所有的 composer 命令都输出一堆问号？如下：

☁  ~  composer -v
????%

1 2	☁ ~ composer -v ????%

Google 到头发都白了，也没查到任何相关的资料。

今天查看 composer 官网 http://docs.phpcomposer.com/00-intro.html#System-Requirements ，看到系统要求的那一项的时候，才意识到会不会是自己的 php 版本问题。

运行 Composer 需要 PHP 5.3.2+ 以上版本。一些敏感的 PHP 设置和编译标志也是必须的，但对于任何不兼容项安装程序都会抛出警告。

由于最近在学习商派的 ecstore ，PHP 版本要求过低，使用 homebrew 安装了 php5.3 版本，具体查看本地 php 环境后，是 5.3.29。

在尝试切换本地 php 环境为 5.6 之后，再次输入 composer 命令，发现完美运行了，那么说，版本其实也是支持的，那就是版本里面的设置问题了，具体是哪些设置问题，无力深究，抓紧时间升级把，毕竟现在都是 php7 时代了。

Later equals never , just do now !

为什么纯 PHP 文件一般没有 ‘?>’ 结尾标识

十月 22, 2017

答：如果文件内容是纯 PHP 代码，最好在文件末尾删除 PHP 结束标记。这可以避免在 PHP 结束标记之后万一意外加入了空格或者换行符，会导致 PHP 开始输出这些空白，而脚本中此时并无输出的意图。

<?php
echo "Hello world";

// ... more code

echo "Last statement";

// 脚本至此结束，并无 PHP 结束标记

1

2

3

4

5

6

7

8

<?php

echo "Hello world";

// ... more code

echo "Last statement";

// 脚本至此结束，并无 PHP 结束标记

以上，来自 php 官方手册 http://php.net/manual/zh/language.basic-syntax.phptags.php ，没事多看看手册。

Later equals never , just do now !

分类 PHP 下的文章

TP6下使用chunk分块批量处理数据时，使用多字段分组时错误

问题分析：

解决办法：

CryptoJS中AES加密与PHP7的相互转换

用 Guzzlehttp 发送 gzip 压缩过的 json 数据，post 请求

An another FPM instance seems to already listen on /Users/***/.valet/valet.sock

Composer 命令失效，输出一堆问号？

为什么纯 PHP 文件一般没有 ‘?>’ 结尾标识

近期文章

近期评论

文章归档

分类目录

功能