Cas device get constantly busy, but neither core or cache device

[liyimeng]

Question

I just observe an issue that puzzle me again. In my server cas1-2 keep busy most of the time (100% utils), but neither cache or core device should similar load.

Motivation

I don't understand Why this could happen?

Your Environment

• OpenCAS version (commit hash or tag): 2025-3
• Operating System: ubuntu
• Kernel version: 6.8.0
• Cache device type (NAND/Optane/other): nvme
• Core device type (HDD/SSD/other): hdd
• Cache configuration:
• • Cache mode: (default: wt) wb
• • Cache line size: (default: 4) 32
• • Promotion policy: (default: always) always
• • Cleaning policy: (default: alru) acp
• • Sequential cutoff policy: (default: full)
• Other (e.g. lsblk, casadm -P, casadm -L)

root@master03:~# casadm -L 
type    id   disk           status    write policy   device
cache   1    /dev/nvme0n1   Running   wb             -
+core   1    /dev/sdc       Active    -              /dev/cas1-1
+core   2    /dev/sdd       Active    -              /dev/cas1-2
+core   3    /dev/sde       Active    -              /dev/cas1-3
+core   4    /dev/sdf       Active    -              /dev/cas1-4
root@master03:~# iostat -d /dev/cas* /dev/sdc /dev/sdd /dev/sde /dev/sdf  /dev/nvme0n1  -x 2
Linux 6.8.0-84-generic (master03) 	10/31/25 	_x86_64_	(96 CPU)

Device            r/s     rkB/s   rrqm/s  %rrqm r_await rareq-sz     w/s     wkB/s   wrqm/s  %wrqm w_await wareq-sz     d/s     dkB/s   drqm/s  %drqm d_await dareq-sz     f/s f_await  aqu-sz  %util
cas1-1         744.54  21971.59     0.00   0.00    0.32    29.51  680.88  16576.74     0.00   0.00    3.14    24.35    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    2.37  15.95
cas1-2         447.91   9836.51     0.00   0.00    0.33    21.96  388.22   7498.41     0.00   0.00    8.08    19.31    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    3.29  12.60
cas1-3           4.29    719.34     0.00   0.00    3.35   167.63   16.82    858.21     0.00   0.00   12.89    51.04    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.23   3.32
cas1-4         485.41  10685.84     0.00   0.00    0.26    22.01  440.24   7769.47     0.00   0.00    3.67    17.65    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    1.74  13.12
nvme0n1       3083.62  58172.51     0.53   0.02    0.23    18.87 3405.75  36936.11     0.00   0.00    0.09    10.85    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    1.03  18.15
sdc              3.82    287.88     0.00   0.02   26.39    75.35  240.58   6414.09    16.62   6.46    2.30    26.66    0.00      0.00     0.00   0.00    0.00     0.00    1.90   17.25    0.69   8.04
sdd              3.78    309.03     0.00   0.01   22.41    81.65  151.17   3975.25     7.47   4.71    2.30    26.30    0.00      0.00     0.00   0.00    0.00     0.00    1.99   12.35    0.46   5.49
sde              3.51    429.10     0.00   0.01   16.84   122.20   29.37    847.66     0.01   0.03    1.30    28.86    0.00      0.00     0.00   0.00    0.00     0.00    1.64    7.59    0.11   1.88
sdf              4.45    402.85     0.00   0.01   20.88    90.51  164.64   4380.27     7.85   4.55    2.52    26.60    0.00      0.00     0.00   0.00    0.00     0.00    2.72   11.22    0.54   6.50


Device            r/s     rkB/s   rrqm/s  %rrqm r_await rareq-sz     w/s     wkB/s   wrqm/s  %wrqm w_await wareq-sz     d/s     dkB/s   drqm/s  %drqm d_await dareq-sz     f/s f_await  aqu-sz  %util
cas1-1           0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.00
cas1-2           0.00      0.00     0.00   0.00    0.00     0.00    8.50     34.00     0.00   0.00    1.65     4.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.01 104.05
cas1-3           0.00      0.00     0.00   0.00    0.00     0.00    3.00     16.00     0.00   0.00    0.00     5.33    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.00
cas1-4           0.00      0.00     0.00   0.00    0.00     0.00  327.00   2718.00     0.00   0.00    0.12     8.31    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.04   3.55
nvme0n1       1350.50  43216.00     0.00   0.00    0.30    32.00 1724.00   8182.00     0.00   0.00    0.02     4.75    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.43   3.90
sdc              0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.00
sdd              0.00      0.00     0.00   0.00    0.00     0.00    8.00     30.00     0.00   0.00    2.12     3.75    0.00      0.00     0.00   0.00    0.00     0.00    0.50    9.00    0.02   0.60
sde              0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.00
sdf              0.00      0.00     0.00   0.00    0.00     0.00 1443.00  35068.00     0.00   0.00    2.06    24.30    0.00      0.00     0.00   0.00    0.00     0.00    7.00   18.57    3.10  39.90


Device            r/s     rkB/s   rrqm/s  %rrqm r_await rareq-sz     w/s     wkB/s   wrqm/s  %wrqm w_await wareq-sz     d/s     dkB/s   drqm/s  %drqm d_await dareq-sz     f/s f_await  aqu-sz  %util
cas1-1           0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.00
cas1-2           0.00      0.00     0.00   0.00    0.00     0.00    3.00     16.00     0.00   0.00    0.00     5.33    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00  60.55
cas1-3           0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.00
cas1-4           0.00      0.00     0.00   0.00    0.00     0.00   38.00    196.00     0.00   0.00    2.09     5.16    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.08   0.25
nvme0n1       1302.50  41680.00     0.00   0.00    0.29    32.00 1292.50   5258.00     0.00   0.00    0.02     4.07    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.40   2.90
sdc              0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.00
sdd              0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.00
sde              0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.00
sdf              0.00      0.00     0.00   0.00    0.00     0.00 1392.00  35166.00    15.00   1.07    1.98    25.26    0.00      0.00     0.00   0.00    0.00     0.00    6.00   20.25    2.88  38.50


Device            r/s     rkB/s   rrqm/s  %rrqm r_await rareq-sz     w/s     wkB/s   wrqm/s  %wrqm w_await wareq-sz     d/s     dkB/s   drqm/s  %drqm d_await dareq-sz     f/s f_await  aqu-sz  %util
cas1-1           0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.00
cas1-2           0.00      0.00     0.00   0.00    0.00     0.00    2.50     12.00     0.00   0.00    0.00     4.80    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00 154.70
cas1-3           0.00      0.00     0.00   0.00    0.00     0.00   11.50     58.00     0.00   0.00    0.65     5.04    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.01   0.15
cas1-4           0.00      0.00     0.00   0.00    0.00     0.00   49.00    338.00     0.00   0.00    0.02     6.90    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.05
nvme0n1       1336.00  42752.00     0.00   0.00    0.30    32.00 1125.50   4692.00     0.00   0.00    0.02     4.17    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.42   3.00
sdc              0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.00
sdd              0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.00
sde              0.00      0.00     0.00   0.00    0.00     0.00    7.50     28.00     0.00   0.00    2.13     3.73    0.00      0.00     0.00   0.00    0.00     0.00    0.50   11.00    0.02   0.65
sdf              0.00      0.00     0.00   0.00    0.00     0.00 1413.50  35370.00     0.00   0.00    1.92    25.02    0.00      0.00     0.00   0.00    0.00     0.00    4.50   23.11    2.82  36.80


Device            r/s     rkB/s   rrqm/s  %rrqm r_await rareq-sz     w/s     wkB/s   wrqm/s  %wrqm w_await wareq-sz     d/s     dkB/s   drqm/s  %drqm d_await dareq-sz     f/s f_await  aqu-sz  %util
cas1-1           0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.00
cas1-2           0.00      0.00     0.00   0.00    0.00     0.00   13.00     56.00     0.00   0.00    1.38     4.31    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.02 105.20
cas1-3           0.00      0.00     0.00   0.00    0.00     0.00    0.50      2.00     0.00   0.00    0.00     4.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.00
cas1-4           0.00      0.00     0.00   0.00    0.00     0.00   35.50    198.00     0.00   0.00    0.75     5.58    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.03   0.40
nvme0n1       1052.50  33680.00     0.00   0.00    0.27    32.00 1320.50   5376.00     0.00   0.00    0.02     4.07    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.30   3.05
sdc              0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.00
sdd              0.00      0.00     0.00   0.00    0.00     0.00   10.00     38.00     0.00   0.00    2.40     3.80    0.00      0.00     0.00   0.00    0.00     0.00    0.50   15.00    0.03   0.85
sde              0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.00
sdf              0.00      0.00     0.00   0.00    0.00     0.00 1133.50  28446.00     3.00   0.26    2.45    25.10    0.00      0.00     0.00   0.00    0.00     0.00    6.00   25.25    2.93  37.10


Device            r/s     rkB/s   rrqm/s  %rrqm r_await rareq-sz     w/s     wkB/s   wrqm/s  %wrqm w_await wareq-sz     d/s     dkB/s   drqm/s  %drqm d_await dareq-sz     f/s f_await  aqu-sz  %util
cas1-1           0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.00
cas1-2           0.00      0.00     0.00   0.00    0.00     0.00    1.00      6.00     0.00   0.00    0.00     6.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00  77.35
cas1-3           0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.00
cas1-4           0.00      0.00     0.00   0.00    0.00     0.00   14.00     62.00     0.00   0.00    0.04     4.43    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.05
nvme0n1       1336.00  42752.00     0.00   0.00    0.27    32.00 1326.50   5368.00     0.00   0.00    0.02     4.05    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.39   4.05
sdc              0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.00
sdd              0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.00
sde              0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.00
sdf              0.00      0.00     0.00   0.00    0.00     0.00 1431.50  35198.00     0.00   0.00    1.93    24.59    0.00      0.00     0.00   0.00    0.00     0.00    6.50   22.23    2.91  38.90


Device            r/s     rkB/s   rrqm/s  %rrqm r_await rareq-sz     w/s     wkB/s   wrqm/s  %wrqm w_await wareq-sz     d/s     dkB/s   drqm/s  %drqm d_await dareq-sz     f/s f_await  aqu-sz  %util
cas1-1           0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.00
cas1-2           0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.00
cas1-3           0.00      0.00     0.00   0.00    0.00     0.00   10.50     44.00     0.00   0.00    0.81     4.19    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.01   0.15
cas1-4           2.00      8.00     0.00   0.00    0.00     4.00    8.00     44.00     0.00   0.00    2.38     5.50    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.02   1.90
nvme0n1       1326.50  42392.00     0.00   0.00    0.33    31.96 1308.50   5324.00     0.00   0.00    0.02     4.07    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.46   3.40
sdc              0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.00
sdd              0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.00
sde              0.00      0.00     0.00   0.00    0.00     0.00    8.50     32.00     0.00   0.00    2.47     3.76    0.00      0.00     0.00   0.00    0.00     0.00    0.50   17.00    0.03   0.95
sdf              0.00      0.00     0.00   0.00    0.00     0.00 1394.00  35880.00     0.00   0.00    1.94    25.74    0.00      0.00     0.00   0.00    0.00     0.00    6.50   22.54    2.85  39.05


Device            r/s     rkB/s   rrqm/s  %rrqm r_await rareq-sz     w/s     wkB/s   wrqm/s  %wrqm w_await wareq-sz     d/s     dkB/s   drqm/s  %drqm d_await dareq-sz     f/s f_await  aqu-sz  %util
cas1-1           0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.00
cas1-2           0.00      0.00     0.00   0.00    0.00     0.00   20.00     96.00     0.00   0.00    0.47     4.80    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.01 172.65
cas1-3           0.00      0.00     0.00   0.00    0.00     0.00    3.00     16.00     0.00   0.00    0.00     5.33    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.00
cas1-4           0.00      0.00     0.00   0.00    0.00     0.00  256.00   1524.00     0.00   0.00    0.18     5.95    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.05   0.65
nvme0n1       1339.50  42864.00     0.00   0.00    0.29    32.00 1333.00   5842.00     0.00   0.00    0.02     4.38    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.41   9.35
sdc              0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.00
sdd              0.00      0.00     0.00   0.00    0.00     0.00    8.00     30.00     0.00   0.00    2.12     3.75    0.00      0.00     0.00   0.00    0.00     0.00    0.50   10.00    0.02   0.55
sde              0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.00
sdf              0.00      0.00     0.00   0.00    0.00     0.00 1282.50  32262.00     9.50   0.74    2.16    25.16    0.00      0.00     0.00   0.00    0.00     0.00    5.00   28.30    2.91  37.90


Device            r/s     rkB/s   rrqm/s  %rrqm r_await rareq-sz     w/s     wkB/s   wrqm/s  %wrqm w_await wareq-sz     d/s     dkB/s   drqm/s  %drqm d_await dareq-sz     f/s f_await  aqu-sz  %util
cas1-1           0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.00
cas1-2           0.50      2.00     0.00   0.00    1.00     4.00    2.00     12.00     0.00   0.00    0.00     6.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00 131.65
cas1-3           0.50      2.00     0.00   0.00    0.00     4.00    1.00      4.00     0.00   0.00    0.00     4.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.00
cas1-4           4.00     24.00     0.00   0.00    0.00     6.00   20.50     84.00     0.00   0.00    0.00     4.10    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.00
nvme0n1       1089.50  34732.00     0.00   0.00    0.28    31.88 1331.50   5400.00     0.00   0.00    0.02     4.06    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.33   2.85
sdc              0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.00
sdd              0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.00
sde              0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.00
sdf              0.00      0.00     0.00   0.00    0.00     0.00 1310.00  32408.00     0.00   0.00    2.45    24.74    0.00      0.00     0.00   0.00    0.00     0.00    6.50   22.38    3.35  41.35


Device            r/s     rkB/s   rrqm/s  %rrqm r_await rareq-sz     w/s     wkB/s   wrqm/s  %wrqm w_await wareq-sz     d/s     dkB/s   drqm/s  %drqm d_await dareq-sz     f/s f_await  aqu-sz  %util
cas1-1           0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.00
cas1-2           0.00      0.00     0.00   0.00    0.00     0.00   14.00     60.00     0.00   0.00    1.54     4.29    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.02 118.35
cas1-3           0.00      0.00     0.00   0.00    0.00     0.00    8.00     34.00     0.00   0.00    0.94     4.25    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.01   0.15
cas1-4           0.00      0.00     0.00   0.00    0.00     0.00   35.50    284.00     0.00   0.00    2.70     8.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.10   0.50
nvme0n1       1332.00  42624.00     0.00   0.00    0.34    32.00 1340.00   5538.00     0.00   0.00    0.02     4.13    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.47   3.60
sdc              0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.00
sdd              0.00      0.00     0.00   0.00    0.00     0.00   11.50     44.00     0.00   0.00    2.35     3.83    0.00      0.00     0.00   0.00    0.00     0.00    0.50   14.00    0.03   0.85
sde              0.00      0.00     0.00   0.00    0.00     0.00    7.50     28.00     0.00   0.00    1.87     3.73    0.00      0.00     0.00   0.00    0.00     0.00    0.50    7.00    0.02   0.40
sdf              0.00      0.00     0.00   0.00    0.00     0.00 1412.50  36226.00    11.00   0.77    1.88    25.65    0.00      0.00     0.00   0.00    0.00     0.00    6.50   25.69    2.82  39.60


Device            r/s     rkB/s   rrqm/s  %rrqm r_await rareq-sz     w/s     wkB/s   wrqm/s  %wrqm w_await wareq-sz     d/s     dkB/s   drqm/s  %drqm d_await dareq-sz     f/s f_await  aqu-sz  %util
cas1-1           0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.00
cas1-2          10.50    322.00     0.00   0.00    0.24    30.67    1.00      4.00     0.00   0.00    0.50     4.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00 100.85
cas1-3           9.50     78.00     0.00   0.00    0.16     8.21    4.00     26.00     0.00   0.00    0.12     6.50    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.15
cas1-4          24.50    390.00     0.00   0.00    0.14    15.92    3.00     16.00     0.00   0.00    0.00     5.33    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.30
nvme0n1       1389.50  43414.00     0.00   0.00    0.28    31.24 1070.00   4326.00     0.00   0.00    0.01     4.04    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.41   3.35
sdc              0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.00
sdd              0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.00
sde              0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.00
sdf              0.00      0.00     0.00   0.00    0.00     0.00 1389.00  35990.00     0.00   0.00    1.83    25.91    0.00      0.00     0.00   0.00    0.00     0.00    5.00   19.40    2.64  35.60


Device            r/s     rkB/s   rrqm/s  %rrqm r_await rareq-sz     w/s     wkB/s   wrqm/s  %wrqm w_await wareq-sz     d/s     dkB/s   drqm/s  %drqm d_await dareq-sz     f/s f_await  aqu-sz  %util
cas1-1           0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.00
cas1-2           9.00    226.00     0.00   0.00    0.17    25.11    2.00     10.00     0.00   0.00    0.00     5.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00  82.70
cas1-3           3.00     20.00     0.00   0.00    0.17     6.67    0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.05
cas1-4           5.00     82.00     0.00   0.00    0.10    16.40   13.50     72.00     0.00   0.00    0.04     5.33    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.10
nvme0n1       1238.50  39240.00     0.00   0.00    0.28    31.68 1332.00   5396.00     0.00   0.00    0.02     4.05    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.37   3.60
sdc              0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.00
sdd              0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.00
sde              0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.00
sdf              0.00      0.00     0.00   0.00    0.00     0.00 1171.00  29264.00     0.00   0.00    2.08    24.99    0.00      0.00     0.00   0.00    0.00     0.00    7.00   21.29    2.58  34.70


Device            r/s     rkB/s   rrqm/s  %rrqm r_await rareq-sz     w/s     wkB/s   wrqm/s  %wrqm w_await wareq-sz     d/s     dkB/s   drqm/s  %drqm d_await dareq-sz     f/s f_await  aqu-sz  %util
cas1-1           0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.00
cas1-2          20.50    372.00     0.00   0.00    0.22    18.15   19.50     82.00     0.00   0.00    1.10     4.21    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.03 112.75
cas1-3          15.00    132.00     0.00   0.00    0.17     8.80    9.50     40.00     0.00   0.00    0.89     4.21    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.01   0.30
cas1-4          83.00   1906.00     0.00   0.00    1.86    22.96  289.00   2256.00     0.00   0.00    0.43     7.81    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.28  20.50
nvme0n1       1312.50  39580.00     0.00   0.00    0.34    30.16 1682.50   8618.00     0.00   0.00    0.01     5.12    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.48   3.75
sdc              0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.00
sdd              0.00      0.00     0.00   0.00    0.00     0.00    8.00     30.00     0.00   0.00    3.25     3.75    0.00      0.00     0.00   0.00    0.00     0.00    0.50   15.00    0.03   0.90
sde              0.00      0.00     0.00   0.00    0.00     0.00    9.00     34.00     0.00   0.00    2.17     3.78    0.00      0.00     0.00   0.00    0.00     0.00    0.50   11.00    0.03   0.65
sdf             23.00   1054.00     0.00   0.00    6.39    45.83 1408.50  35302.00     2.00   0.14    1.95    25.06    0.00      0.00     0.00   0.00    0.00     0.00    6.50   25.92    3.06  47.45

[liyimeng]

After a couple hours, still the same problem

root@master03:~# casadm -L 
type    id   disk           status    write policy   device
cache   1    /dev/nvme0n1   Running   wb             -
+core   1    /dev/sdc       Active    -              /dev/cas1-1
+core   2    /dev/sdd       Active    -              /dev/cas1-2
+core   3    /dev/sde       Active    -              /dev/cas1-3
+core   4    /dev/sdf       Active    -              /dev/cas1-4
root@master03:~# iostat -d /dev/cas* /dev/sdd -x 5
Linux 6.8.0-84-generic (master03) 	11/01/25 	_x86_64_	(96 CPU)

Device            r/s     rkB/s   rrqm/s  %rrqm r_await rareq-sz     w/s     wkB/s   wrqm/s  %wrqm w_await wareq-sz     d/s     dkB/s   drqm/s  %drqm d_await dareq-sz     f/s f_await  aqu-sz  %util
cas1-1         684.73  20654.30     0.00   0.00    0.37    30.16  626.75  15719.36     0.00   0.00    3.54    25.08    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    2.47  16.03
cas1-2         409.11   9107.32     0.00   0.00    0.34    22.26  355.16   6997.99     0.00   0.00    8.78    19.70    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    3.26  20.23
cas1-3           4.53   1046.60     0.00   0.00    5.71   230.98   15.83    788.31     0.00   0.00   12.68    49.79    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.23   3.56
cas1-4         464.04  10678.88     0.00   0.00    0.37    23.01  418.86   7389.05     0.00   0.00    3.67    17.64    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    1.71  13.83
sdd              4.31    387.38     0.00   0.03   22.99    89.91  165.06   4245.67     6.85   3.98    2.31    25.72    0.00      0.00     0.00   0.00    0.00     0.00    1.96   12.68    0.50   5.87


Device            r/s     rkB/s   rrqm/s  %rrqm r_await rareq-sz     w/s     wkB/s   wrqm/s  %wrqm w_await wareq-sz     d/s     dkB/s   drqm/s  %drqm d_await dareq-sz     f/s f_await  aqu-sz  %util
cas1-1           0.00      0.00     0.00   0.00    0.00     0.00    0.60      3.20     0.00   0.00    0.00     5.33    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.00
cas1-2           0.00      0.00     0.00   0.00    0.00     0.00    4.20     19.20     0.00   0.00    3.67     4.57    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.02 108.28
cas1-3           0.00      0.00     0.00   0.00    0.00     0.00    0.80      4.00     0.00   0.00    0.00     5.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.00
cas1-4           0.00      0.00     0.00   0.00    0.00     0.00    7.00     37.60     0.00   0.00    7.46     5.37    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.05   3.30
sdd              0.00      0.00     0.00   0.00    0.00     0.00    2.40     13.60     0.00   0.00    3.25     5.67    0.00      0.00     0.00   0.00    0.00     0.00    0.40    6.50    0.01   0.50


Device            r/s     rkB/s   rrqm/s  %rrqm r_await rareq-sz     w/s     wkB/s   wrqm/s  %wrqm w_await wareq-sz     d/s     dkB/s   drqm/s  %drqm d_await dareq-sz     f/s f_await  aqu-sz  %util
cas1-1           0.00      0.00     0.00   0.00    0.00     0.00    1.80      8.00     0.00   0.00    0.11     4.44    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.02
cas1-2           0.00      0.00     0.00   0.00    0.00     0.00    2.40     16.00     0.00   0.00    0.08     6.67    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00  89.34
cas1-3           0.00      0.00     0.00   0.00    0.00     0.00    5.00     23.20     0.00   0.00    0.56     4.64    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.08
cas1-4           1.40     10.40     0.00   0.00    0.43     7.43   10.80     50.40     0.00   0.00    0.72     4.67    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.01   0.34
sdd              0.00      0.00     0.00   0.00    0.00     0.00  384.40  11131.20     0.00   0.00    1.01    28.96    0.00      0.00     0.00   0.00    0.00     0.00    1.80   10.44    0.41   6.92


Device            r/s     rkB/s   rrqm/s  %rrqm r_await rareq-sz     w/s     wkB/s   wrqm/s  %wrqm w_await wareq-sz     d/s     dkB/s   drqm/s  %drqm d_await dareq-sz     f/s f_await  aqu-sz  %util
cas1-1           0.00      0.00     0.00   0.00    0.00     0.00    2.20     11.20     0.00   0.00    8.55     5.09    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.02   0.44
cas1-2           0.00      0.00     0.00   0.00    0.00     0.00    7.60     38.40     0.00   0.00    4.55     5.05    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.03 100.00
cas1-3           0.00      0.00     0.00   0.00    0.00     0.00    4.00     19.20     0.00   0.00    0.65     4.80    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   6.22
cas1-4           0.00      0.00     0.00   0.00    0.00     0.00   10.00     74.40     0.00   0.00    0.48     7.44    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.06
sdd              0.00      0.00     0.00   0.00    0.00     0.00    3.80     24.00     0.00   0.00    3.00     6.32    0.00      0.00     0.00   0.00    0.00     0.00    0.60    5.33    0.01   0.58


Device            r/s     rkB/s   rrqm/s  %rrqm r_await rareq-sz     w/s     wkB/s   wrqm/s  %wrqm w_await wareq-sz     d/s     dkB/s   drqm/s  %drqm d_await dareq-sz     f/s f_await  aqu-sz  %util
cas1-1           0.00      0.00     0.00   0.00    0.00     0.00    2.00      8.00     0.00   0.00    0.10     4.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.02
cas1-2           0.00      0.00     0.00   0.00    0.00     0.00    4.20     20.80     0.00   0.00    7.62     4.95    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.03 100.00
cas1-3           0.00      0.00     0.00   0.00    0.00     0.00    6.80     40.00     0.00   0.00    0.35     5.88    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.08
cas1-4           0.00      0.00     0.00   0.00    0.00     0.00   10.60     96.80     0.00   0.00    0.30     9.13    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.26
sdd              0.00      0.00     0.00   0.00    0.00     0.00  146.40   4570.40     0.00   0.00    1.10    31.22    0.00      0.00     0.00   0.00    0.00     0.00    1.20    7.67    0.17   3.18


Device            r/s     rkB/s   rrqm/s  %rrqm r_await rareq-sz     w/s     wkB/s   wrqm/s  %wrqm w_await wareq-sz     d/s     dkB/s   drqm/s  %drqm d_await dareq-sz     f/s f_await  aqu-sz  %util
cas1-1           0.00      0.00     0.00   0.00    0.00     0.00    1.40      6.40     0.00   0.00    0.14     4.57    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.02
cas1-2           0.00      0.00     0.00   0.00    0.00     0.00    4.60     23.20     0.00   0.00    4.74     5.04    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.02  99.98
cas1-3           0.00      0.00     0.00   0.00    0.00     0.00    5.00     22.40     0.00   0.00    0.64     4.48    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.04
cas1-4           0.00      0.00     0.00   0.00    0.00     0.00    4.20     32.00     0.00   0.00    0.05     7.62    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.02
sdd              0.00      0.00     0.00   0.00    0.00     0.00    3.40     20.00     0.00   0.00    1.12     5.88    0.00      0.00     0.00   0.00    0.00     0.00    0.60    4.67    0.01   0.38

root@master03:~# casadm -P -i 1
Cache Id                  1
Cache Size                936044240 [4KiB Blocks] / 3570.73 [GiB]
Cache Device              /dev/nvme0n1
Exported Object           -
Core Devices              4
Inactive Core Devices     0
Write Policy              wb
Cleaning Policy           acp
Promotion Policy          always
Cache line size           32 [KiB]
Metadata Memory Footprint 6.7 [GiB]
Dirty for                 483473 [s] / 5 [d] 14 [h] 17 [m] 53 [s]
Status                    Running

+==================+=============+========+=============+
| Usage statistics |    Count    |   %    |   Units     |
+==================+=============+========+=============+
| Occupancy        |   940192000 |  100.4 | 4KiB Blocks |
| Free             | 34355590608 | 3670.3 | 4KiB Blocks |
| Clean            |   852308216 |   91.1 | 4KiB Blocks |
| Dirty            |    87883784 |    9.4 | 4KiB Blocks |
+==================+=============+========+=============+

+======================+============+=======+==========+
| Request statistics   |   Count    |   %   | Units    |
+======================+============+=======+==========+
| Read hits            |  750214729 |  52.1 | Requests |
| Read partial misses  |      78233 |   0.0 | Requests |
| Read full misses     |    2827583 |   0.2 | Requests |
| Read total           |  753120545 |  52.3 | Requests |
+----------------------+------------+-------+----------+
| Write hits           |  380835189 |  26.4 | Requests |
| Write partial misses |     120843 |   0.0 | Requests |
| Write full misses    |  281108403 |  19.5 | Requests |
| Write total          |  662064435 |  46.0 | Requests |
+----------------------+------------+-------+----------+
| Pass-Through reads   |    2324465 |   0.2 | Requests |
| Pass-Through writes  |   22885686 |   1.6 | Requests |
| Serviced requests    | 1415184980 |  98.2 | Requests |
+----------------------+------------+-------+----------+
| Total requests       | 1440395131 | 100.0 | Requests |
+======================+============+=======+==========+

+==================================+=============+=======+=============+
| Block statistics                 |    Count    |   %   |   Units     |
+==================================+=============+=======+=============+
| Reads from core(s)               |   327388371 |  13.7 | 4KiB Blocks |
| Writes to core(s)                |  2053656561 |  86.3 | 4KiB Blocks |
| Total to/from core(s)            |  2381044932 | 100.0 | 4KiB Blocks |
+----------------------------------+-------------+-------+-------------+
| Reads from cache                 |  6856625400 |  66.0 | 4KiB Blocks |
| Writes to cache                  |  3532559627 |  34.0 | 4KiB Blocks |
| Total to/from cache              | 10389185027 | 100.0 | 4KiB Blocks |
+----------------------------------+-------------+-------+-------------+
| Reads from exported object(s)    |  5014894003 |  57.3 | 4KiB Blocks |
| Writes to exported object(s)     |  3734504323 |  42.7 | 4KiB Blocks |
| Total to/from exported object(s) |  8749398326 | 100.0 | 4KiB Blocks |
+==================================+=============+=======+=============+

+====================+=======+=====+==========+
| Error statistics   | Count |  %  | Units    |
+====================+=======+=====+==========+
| Cache read errors  |     0 | 0.0 | Requests |
| Cache write errors |     0 | 0.0 | Requests |
| Cache total errors |     0 | 0.0 | Requests |
+--------------------+-------+-----+----------+
| Core read errors   |     0 | 0.0 | Requests |
| Core write errors  |     0 | 0.0 | Requests |
| Core total errors  |     0 | 0.0 | Requests |
+--------------------+-------+-----+----------+
| Total errors       |     0 | 0.0 | Requests |
+====================+=======+=====+==========+