1 #if defined(__x86_64__) && !defined(OPENSSL_NO_ASM) 2 .text 3 4 .globl _rsaz_1024_sqr_avx2 5 .private_extern _rsaz_1024_sqr_avx2 6 7 .p2align 6 8 _rsaz_1024_sqr_avx2: 9 10 leaq (%rsp),%rax 11 12 pushq %rbx 13 14 pushq %rbp 15 16 pushq %r12 17 18 pushq %r13 19 20 pushq %r14 21 22 pushq %r15 23 24 vzeroupper 25 movq %rax,%rbp 26 27 movq %rdx,%r13 28 subq $832,%rsp 29 movq %r13,%r15 30 subq $-128,%rdi 31 subq $-128,%rsi 32 subq $-128,%r13 33 34 andq $4095,%r15 35 addq $320,%r15 36 shrq $12,%r15 37 vpxor %ymm9,%ymm9,%ymm9 38 jz L$sqr_1024_no_n_copy 39 40 41 42 43 44 subq $320,%rsp 45 vmovdqu 0-128(%r13),%ymm0 46 andq $-2048,%rsp 47 vmovdqu 32-128(%r13),%ymm1 48 vmovdqu 64-128(%r13),%ymm2 49 vmovdqu 96-128(%r13),%ymm3 50 vmovdqu 128-128(%r13),%ymm4 51 vmovdqu 160-128(%r13),%ymm5 52 vmovdqu 192-128(%r13),%ymm6 53 vmovdqu 224-128(%r13),%ymm7 54 vmovdqu 256-128(%r13),%ymm8 55 leaq 832+128(%rsp),%r13 56 vmovdqu %ymm0,0-128(%r13) 57 vmovdqu %ymm1,32-128(%r13) 58 vmovdqu %ymm2,64-128(%r13) 59 vmovdqu %ymm3,96-128(%r13) 60 vmovdqu %ymm4,128-128(%r13) 61 vmovdqu %ymm5,160-128(%r13) 62 vmovdqu %ymm6,192-128(%r13) 63 vmovdqu %ymm7,224-128(%r13) 64 vmovdqu %ymm8,256-128(%r13) 65 vmovdqu %ymm9,288-128(%r13) 66 67 L$sqr_1024_no_n_copy: 68 andq $-1024,%rsp 69 70 vmovdqu 32-128(%rsi),%ymm1 71 vmovdqu 64-128(%rsi),%ymm2 72 vmovdqu 96-128(%rsi),%ymm3 73 vmovdqu 128-128(%rsi),%ymm4 74 vmovdqu 160-128(%rsi),%ymm5 75 vmovdqu 192-128(%rsi),%ymm6 76 vmovdqu 224-128(%rsi),%ymm7 77 vmovdqu 256-128(%rsi),%ymm8 78 79 leaq 192(%rsp),%rbx 80 vmovdqu L$and_mask(%rip),%ymm15 81 jmp L$OOP_GRANDE_SQR_1024 82 83 .p2align 5 84 L$OOP_GRANDE_SQR_1024: 85 leaq 576+128(%rsp),%r9 86 leaq 448(%rsp),%r12 87 88 89 90 91 vpaddq %ymm1,%ymm1,%ymm1 92 vpbroadcastq 0-128(%rsi),%ymm10 93 vpaddq %ymm2,%ymm2,%ymm2 94 vmovdqa %ymm1,0-128(%r9) 95 vpaddq %ymm3,%ymm3,%ymm3 96 vmovdqa %ymm2,32-128(%r9) 97 vpaddq %ymm4,%ymm4,%ymm4 98 vmovdqa %ymm3,64-128(%r9) 99 vpaddq %ymm5,%ymm5,%ymm5 100 vmovdqa %ymm4,96-128(%r9) 101 vpaddq %ymm6,%ymm6,%ymm6 102 vmovdqa %ymm5,128-128(%r9) 103 vpaddq %ymm7,%ymm7,%ymm7 104 vmovdqa %ymm6,160-128(%r9) 105 vpaddq %ymm8,%ymm8,%ymm8 106 vmovdqa %ymm7,192-128(%r9) 107 vpxor %ymm9,%ymm9,%ymm9 108 vmovdqa %ymm8,224-128(%r9) 109 110 vpmuludq 0-128(%rsi),%ymm10,%ymm0 111 vpbroadcastq 32-128(%rsi),%ymm11 112 vmovdqu %ymm9,288-192(%rbx) 113 vpmuludq %ymm10,%ymm1,%ymm1 114 vmovdqu %ymm9,320-448(%r12) 115 vpmuludq %ymm10,%ymm2,%ymm2 116 vmovdqu %ymm9,352-448(%r12) 117 vpmuludq %ymm10,%ymm3,%ymm3 118 vmovdqu %ymm9,384-448(%r12) 119 vpmuludq %ymm10,%ymm4,%ymm4 120 vmovdqu %ymm9,416-448(%r12) 121 vpmuludq %ymm10,%ymm5,%ymm5 122 vmovdqu %ymm9,448-448(%r12) 123 vpmuludq %ymm10,%ymm6,%ymm6 124 vmovdqu %ymm9,480-448(%r12) 125 vpmuludq %ymm10,%ymm7,%ymm7 126 vmovdqu %ymm9,512-448(%r12) 127 vpmuludq %ymm10,%ymm8,%ymm8 128 vpbroadcastq 64-128(%rsi),%ymm10 129 vmovdqu %ymm9,544-448(%r12) 130 131 movq %rsi,%r15 132 movl $4,%r14d 133 jmp L$sqr_entry_1024 134 .p2align 5 135 L$OOP_SQR_1024: 136 vpbroadcastq 32-128(%r15),%ymm11 137 vpmuludq 0-128(%rsi),%ymm10,%ymm0 138 vpaddq 0-192(%rbx),%ymm0,%ymm0 139 vpmuludq 0-128(%r9),%ymm10,%ymm1 140 vpaddq 32-192(%rbx),%ymm1,%ymm1 141 vpmuludq 32-128(%r9),%ymm10,%ymm2 142 vpaddq 64-192(%rbx),%ymm2,%ymm2 143 vpmuludq 64-128(%r9),%ymm10,%ymm3 144 vpaddq 96-192(%rbx),%ymm3,%ymm3 145 vpmuludq 96-128(%r9),%ymm10,%ymm4 146 vpaddq 128-192(%rbx),%ymm4,%ymm4 147 vpmuludq 128-128(%r9),%ymm10,%ymm5 148 vpaddq 160-192(%rbx),%ymm5,%ymm5 149 vpmuludq 160-128(%r9),%ymm10,%ymm6 150 vpaddq 192-192(%rbx),%ymm6,%ymm6 151 vpmuludq 192-128(%r9),%ymm10,%ymm7 152 vpaddq 224-192(%rbx),%ymm7,%ymm7 153 vpmuludq 224-128(%r9),%ymm10,%ymm8 154 vpbroadcastq 64-128(%r15),%ymm10 155 vpaddq 256-192(%rbx),%ymm8,%ymm8 156 L$sqr_entry_1024: 157 vmovdqu %ymm0,0-192(%rbx) 158 vmovdqu %ymm1,32-192(%rbx) 159 160 vpmuludq 32-128(%rsi),%ymm11,%ymm12 161 vpaddq %ymm12,%ymm2,%ymm2 162 vpmuludq 32-128(%r9),%ymm11,%ymm14 163 vpaddq %ymm14,%ymm3,%ymm3 164 vpmuludq 64-128(%r9),%ymm11,%ymm13 165 vpaddq %ymm13,%ymm4,%ymm4 166 vpmuludq 96-128(%r9),%ymm11,%ymm12 167 vpaddq %ymm12,%ymm5,%ymm5 168 vpmuludq 128-128(%r9),%ymm11,%ymm14 169 vpaddq %ymm14,%ymm6,%ymm6 170 vpmuludq 160-128(%r9),%ymm11,%ymm13 171 vpaddq %ymm13,%ymm7,%ymm7 172 vpmuludq 192-128(%r9),%ymm11,%ymm12 173 vpaddq %ymm12,%ymm8,%ymm8 174 vpmuludq 224-128(%r9),%ymm11,%ymm0 175 vpbroadcastq 96-128(%r15),%ymm11 176 vpaddq 288-192(%rbx),%ymm0,%ymm0 177 178 vmovdqu %ymm2,64-192(%rbx) 179 vmovdqu %ymm3,96-192(%rbx) 180 181 vpmuludq 64-128(%rsi),%ymm10,%ymm13 182 vpaddq %ymm13,%ymm4,%ymm4 183 vpmuludq 64-128(%r9),%ymm10,%ymm12 184 vpaddq %ymm12,%ymm5,%ymm5 185 vpmuludq 96-128(%r9),%ymm10,%ymm14 186 vpaddq %ymm14,%ymm6,%ymm6 187 vpmuludq 128-128(%r9),%ymm10,%ymm13 188 vpaddq %ymm13,%ymm7,%ymm7 189 vpmuludq 160-128(%r9),%ymm10,%ymm12 190 vpaddq %ymm12,%ymm8,%ymm8 191 vpmuludq 192-128(%r9),%ymm10,%ymm14 192 vpaddq %ymm14,%ymm0,%ymm0 193 vpmuludq 224-128(%r9),%ymm10,%ymm1 194 vpbroadcastq 128-128(%r15),%ymm10 195 vpaddq 320-448(%r12),%ymm1,%ymm1 196 197 vmovdqu %ymm4,128-192(%rbx) 198 vmovdqu %ymm5,160-192(%rbx) 199 200 vpmuludq 96-128(%rsi),%ymm11,%ymm12 201 vpaddq %ymm12,%ymm6,%ymm6 202 vpmuludq 96-128(%r9),%ymm11,%ymm14 203 vpaddq %ymm14,%ymm7,%ymm7 204 vpmuludq 128-128(%r9),%ymm11,%ymm13 205 vpaddq %ymm13,%ymm8,%ymm8 206 vpmuludq 160-128(%r9),%ymm11,%ymm12 207 vpaddq %ymm12,%ymm0,%ymm0 208 vpmuludq 192-128(%r9),%ymm11,%ymm14 209 vpaddq %ymm14,%ymm1,%ymm1 210 vpmuludq 224-128(%r9),%ymm11,%ymm2 211 vpbroadcastq 160-128(%r15),%ymm11 212 vpaddq 352-448(%r12),%ymm2,%ymm2 213 214 vmovdqu %ymm6,192-192(%rbx) 215 vmovdqu %ymm7,224-192(%rbx) 216 217 vpmuludq 128-128(%rsi),%ymm10,%ymm12 218 vpaddq %ymm12,%ymm8,%ymm8 219 vpmuludq 128-128(%r9),%ymm10,%ymm14 220 vpaddq %ymm14,%ymm0,%ymm0 221 vpmuludq 160-128(%r9),%ymm10,%ymm13 222 vpaddq %ymm13,%ymm1,%ymm1 223 vpmuludq 192-128(%r9),%ymm10,%ymm12 224 vpaddq %ymm12,%ymm2,%ymm2 225 vpmuludq 224-128(%r9),%ymm10,%ymm3 226 vpbroadcastq 192-128(%r15),%ymm10 227 vpaddq 384-448(%r12),%ymm3,%ymm3 228 229 vmovdqu %ymm8,256-192(%rbx) 230 vmovdqu %ymm0,288-192(%rbx) 231 leaq 8(%rbx),%rbx 232 233 vpmuludq 160-128(%rsi),%ymm11,%ymm13 234 vpaddq %ymm13,%ymm1,%ymm1 235 vpmuludq 160-128(%r9),%ymm11,%ymm12 236 vpaddq %ymm12,%ymm2,%ymm2 237 vpmuludq 192-128(%r9),%ymm11,%ymm14 238 vpaddq %ymm14,%ymm3,%ymm3 239 vpmuludq 224-128(%r9),%ymm11,%ymm4 240 vpbroadcastq 224-128(%r15),%ymm11 241 vpaddq 416-448(%r12),%ymm4,%ymm4 242 243 vmovdqu %ymm1,320-448(%r12) 244 vmovdqu %ymm2,352-448(%r12) 245 246 vpmuludq 192-128(%rsi),%ymm10,%ymm12 247 vpaddq %ymm12,%ymm3,%ymm3 248 vpmuludq 192-128(%r9),%ymm10,%ymm14 249 vpbroadcastq 256-128(%r15),%ymm0 250 vpaddq %ymm14,%ymm4,%ymm4 251 vpmuludq 224-128(%r9),%ymm10,%ymm5 252 vpbroadcastq 0+8-128(%r15),%ymm10 253 vpaddq 448-448(%r12),%ymm5,%ymm5 254 255 vmovdqu %ymm3,384-448(%r12) 256 vmovdqu %ymm4,416-448(%r12) 257 leaq 8(%r15),%r15 258 259 vpmuludq 224-128(%rsi),%ymm11,%ymm12 260 vpaddq %ymm12,%ymm5,%ymm5 261 vpmuludq 224-128(%r9),%ymm11,%ymm6 262 vpaddq 480-448(%r12),%ymm6,%ymm6 263 264 vpmuludq 256-128(%rsi),%ymm0,%ymm7 265 vmovdqu %ymm5,448-448(%r12) 266 vpaddq 512-448(%r12),%ymm7,%ymm7 267 vmovdqu %ymm6,480-448(%r12) 268 vmovdqu %ymm7,512-448(%r12) 269 leaq 8(%r12),%r12 270 271 decl %r14d 272 jnz L$OOP_SQR_1024 273 274 vmovdqu 256(%rsp),%ymm8 275 vmovdqu 288(%rsp),%ymm1 276 vmovdqu 320(%rsp),%ymm2 277 leaq 192(%rsp),%rbx 278 279 vpsrlq $29,%ymm8,%ymm14 280 vpand %ymm15,%ymm8,%ymm8 281 vpsrlq $29,%ymm1,%ymm11 282 vpand %ymm15,%ymm1,%ymm1 283 284 vpermq $0x93,%ymm14,%ymm14 285 vpxor %ymm9,%ymm9,%ymm9 286 vpermq $0x93,%ymm11,%ymm11 287 288 vpblendd $3,%ymm9,%ymm14,%ymm10 289 vpblendd $3,%ymm14,%ymm11,%ymm14 290 vpaddq %ymm10,%ymm8,%ymm8 291 vpblendd $3,%ymm11,%ymm9,%ymm11 292 vpaddq %ymm14,%ymm1,%ymm1 293 vpaddq %ymm11,%ymm2,%ymm2 294 vmovdqu %ymm1,288-192(%rbx) 295 vmovdqu %ymm2,320-192(%rbx) 296 297 movq (%rsp),%rax 298 movq 8(%rsp),%r10 299 movq 16(%rsp),%r11 300 movq 24(%rsp),%r12 301 vmovdqu 32(%rsp),%ymm1 302 vmovdqu 64-192(%rbx),%ymm2 303 vmovdqu 96-192(%rbx),%ymm3 304 vmovdqu 128-192(%rbx),%ymm4 305 vmovdqu 160-192(%rbx),%ymm5 306 vmovdqu 192-192(%rbx),%ymm6 307 vmovdqu 224-192(%rbx),%ymm7 308 309 movq %rax,%r9 310 imull %ecx,%eax 311 andl $0x1fffffff,%eax 312 vmovd %eax,%xmm12 313 314 movq %rax,%rdx 315 imulq -128(%r13),%rax 316 vpbroadcastq %xmm12,%ymm12 317 addq %rax,%r9 318 movq %rdx,%rax 319 imulq 8-128(%r13),%rax 320 shrq $29,%r9 321 addq %rax,%r10 322 movq %rdx,%rax 323 imulq 16-128(%r13),%rax 324 addq %r9,%r10 325 addq %rax,%r11 326 imulq 24-128(%r13),%rdx 327 addq %rdx,%r12 328 329 movq %r10,%rax 330 imull %ecx,%eax 331 andl $0x1fffffff,%eax 332 333 movl $9,%r14d 334 jmp L$OOP_REDUCE_1024 335 336 .p2align 5 337 L$OOP_REDUCE_1024: 338 vmovd %eax,%xmm13 339 vpbroadcastq %xmm13,%ymm13 340 341 vpmuludq 32-128(%r13),%ymm12,%ymm10 342 movq %rax,%rdx 343 imulq -128(%r13),%rax 344 vpaddq %ymm10,%ymm1,%ymm1 345 addq %rax,%r10 346 vpmuludq 64-128(%r13),%ymm12,%ymm14 347 movq %rdx,%rax 348 imulq 8-128(%r13),%rax 349 vpaddq %ymm14,%ymm2,%ymm2 350 vpmuludq 96-128(%r13),%ymm12,%ymm11 351 .byte 0x67 352 addq %rax,%r11 353 .byte 0x67 354 movq %rdx,%rax 355 imulq 16-128(%r13),%rax 356 shrq $29,%r10 357 vpaddq %ymm11,%ymm3,%ymm3 358 vpmuludq 128-128(%r13),%ymm12,%ymm10 359 addq %rax,%r12 360 addq %r10,%r11 361 vpaddq %ymm10,%ymm4,%ymm4 362 vpmuludq 160-128(%r13),%ymm12,%ymm14 363 movq %r11,%rax 364 imull %ecx,%eax 365 vpaddq %ymm14,%ymm5,%ymm5 366 vpmuludq 192-128(%r13),%ymm12,%ymm11 367 andl $0x1fffffff,%eax 368 vpaddq %ymm11,%ymm6,%ymm6 369 vpmuludq 224-128(%r13),%ymm12,%ymm10 370 vpaddq %ymm10,%ymm7,%ymm7 371 vpmuludq 256-128(%r13),%ymm12,%ymm14 372 vmovd %eax,%xmm12 373 374 vpaddq %ymm14,%ymm8,%ymm8 375 376 vpbroadcastq %xmm12,%ymm12 377 378 vpmuludq 32-8-128(%r13),%ymm13,%ymm11 379 vmovdqu 96-8-128(%r13),%ymm14 380 movq %rax,%rdx 381 imulq -128(%r13),%rax 382 vpaddq %ymm11,%ymm1,%ymm1 383 vpmuludq 64-8-128(%r13),%ymm13,%ymm10 384 vmovdqu 128-8-128(%r13),%ymm11 385 addq %rax,%r11 386 movq %rdx,%rax 387 imulq 8-128(%r13),%rax 388 vpaddq %ymm10,%ymm2,%ymm2 389 addq %r12,%rax 390 shrq $29,%r11 391 vpmuludq %ymm13,%ymm14,%ymm14 392 vmovdqu 160-8-128(%r13),%ymm10 393 addq %r11,%rax 394 vpaddq %ymm14,%ymm3,%ymm3 395 vpmuludq %ymm13,%ymm11,%ymm11 396 vmovdqu 192-8-128(%r13),%ymm14 397 .byte 0x67 398 movq %rax,%r12 399 imull %ecx,%eax 400 vpaddq %ymm11,%ymm4,%ymm4 401 vpmuludq %ymm13,%ymm10,%ymm10 402 .byte 0xc4,0x41,0x7e,0x6f,0x9d,0x58,0x00,0x00,0x00 403 andl $0x1fffffff,%eax 404 vpaddq %ymm10,%ymm5,%ymm5 405 vpmuludq %ymm13,%ymm14,%ymm14 406 vmovdqu 256-8-128(%r13),%ymm10 407 vpaddq %ymm14,%ymm6,%ymm6 408 vpmuludq %ymm13,%ymm11,%ymm11 409 vmovdqu 288-8-128(%r13),%ymm9 410 vmovd %eax,%xmm0 411 imulq -128(%r13),%rax 412 vpaddq %ymm11,%ymm7,%ymm7 413 vpmuludq %ymm13,%ymm10,%ymm10 414 vmovdqu 32-16-128(%r13),%ymm14 415 vpbroadcastq %xmm0,%ymm0 416 vpaddq %ymm10,%ymm8,%ymm8 417 vpmuludq %ymm13,%ymm9,%ymm9 418 vmovdqu 64-16-128(%r13),%ymm11 419 addq %rax,%r12 420 421 vmovdqu 32-24-128(%r13),%ymm13 422 vpmuludq %ymm12,%ymm14,%ymm14 423 vmovdqu 96-16-128(%r13),%ymm10 424 vpaddq %ymm14,%ymm1,%ymm1 425 vpmuludq %ymm0,%ymm13,%ymm13 426 vpmuludq %ymm12,%ymm11,%ymm11 427 .byte 0xc4,0x41,0x7e,0x6f,0xb5,0xf0,0xff,0xff,0xff 428 vpaddq %ymm1,%ymm13,%ymm13 429 vpaddq %ymm11,%ymm2,%ymm2 430 vpmuludq %ymm12,%ymm10,%ymm10 431 vmovdqu 160-16-128(%r13),%ymm11 432 .byte 0x67 433 vmovq %xmm13,%rax 434 vmovdqu %ymm13,(%rsp) 435 vpaddq %ymm10,%ymm3,%ymm3 436 vpmuludq %ymm12,%ymm14,%ymm14 437 vmovdqu 192-16-128(%r13),%ymm10 438 vpaddq %ymm14,%ymm4,%ymm4 439 vpmuludq %ymm12,%ymm11,%ymm11 440 vmovdqu 224-16-128(%r13),%ymm14 441 vpaddq %ymm11,%ymm5,%ymm5 442 vpmuludq %ymm12,%ymm10,%ymm10 443 vmovdqu 256-16-128(%r13),%ymm11 444 vpaddq %ymm10,%ymm6,%ymm6 445 vpmuludq %ymm12,%ymm14,%ymm14 446 shrq $29,%r12 447 vmovdqu 288-16-128(%r13),%ymm10 448 addq %r12,%rax 449 vpaddq %ymm14,%ymm7,%ymm7 450 vpmuludq %ymm12,%ymm11,%ymm11 451 452 movq %rax,%r9 453 imull %ecx,%eax 454 vpaddq %ymm11,%ymm8,%ymm8 455 vpmuludq %ymm12,%ymm10,%ymm10 456 andl $0x1fffffff,%eax 457 vmovd %eax,%xmm12 458 vmovdqu 96-24-128(%r13),%ymm11 459 .byte 0x67 460 vpaddq %ymm10,%ymm9,%ymm9 461 vpbroadcastq %xmm12,%ymm12 462 463 vpmuludq 64-24-128(%r13),%ymm0,%ymm14 464 vmovdqu 128-24-128(%r13),%ymm10 465 movq %rax,%rdx 466 imulq -128(%r13),%rax 467 movq 8(%rsp),%r10 468 vpaddq %ymm14,%ymm2,%ymm1 469 vpmuludq %ymm0,%ymm11,%ymm11 470 vmovdqu 160-24-128(%r13),%ymm14 471 addq %rax,%r9 472 movq %rdx,%rax 473 imulq 8-128(%r13),%rax 474 .byte 0x67 475 shrq $29,%r9 476 movq 16(%rsp),%r11 477 vpaddq %ymm11,%ymm3,%ymm2 478 vpmuludq %ymm0,%ymm10,%ymm10 479 vmovdqu 192-24-128(%r13),%ymm11 480 addq %rax,%r10 481 movq %rdx,%rax 482 imulq 16-128(%r13),%rax 483 vpaddq %ymm10,%ymm4,%ymm3 484 vpmuludq %ymm0,%ymm14,%ymm14 485 vmovdqu 224-24-128(%r13),%ymm10 486 imulq 24-128(%r13),%rdx 487 addq %rax,%r11 488 leaq (%r9,%r10,1),%rax 489 vpaddq %ymm14,%ymm5,%ymm4 490 vpmuludq %ymm0,%ymm11,%ymm11 491 vmovdqu 256-24-128(%r13),%ymm14 492 movq %rax,%r10 493 imull %ecx,%eax 494 vpmuludq %ymm0,%ymm10,%ymm10 495 vpaddq %ymm11,%ymm6,%ymm5 496 vmovdqu 288-24-128(%r13),%ymm11 497 andl $0x1fffffff,%eax 498 vpaddq %ymm10,%ymm7,%ymm6 499 vpmuludq %ymm0,%ymm14,%ymm14 500 addq 24(%rsp),%rdx 501 vpaddq %ymm14,%ymm8,%ymm7 502 vpmuludq %ymm0,%ymm11,%ymm11 503 vpaddq %ymm11,%ymm9,%ymm8 504 vmovq %r12,%xmm9 505 movq %rdx,%r12 506 507 decl %r14d 508 jnz L$OOP_REDUCE_1024 509 leaq 448(%rsp),%r12 510 vpaddq %ymm9,%ymm13,%ymm0 511 vpxor %ymm9,%ymm9,%ymm9 512 513 vpaddq 288-192(%rbx),%ymm0,%ymm0 514 vpaddq 320-448(%r12),%ymm1,%ymm1 515 vpaddq 352-448(%r12),%ymm2,%ymm2 516 vpaddq 384-448(%r12),%ymm3,%ymm3 517 vpaddq 416-448(%r12),%ymm4,%ymm4 518 vpaddq 448-448(%r12),%ymm5,%ymm5 519 vpaddq 480-448(%r12),%ymm6,%ymm6 520 vpaddq 512-448(%r12),%ymm7,%ymm7 521 vpaddq 544-448(%r12),%ymm8,%ymm8 522 523 vpsrlq $29,%ymm0,%ymm14 524 vpand %ymm15,%ymm0,%ymm0 525 vpsrlq $29,%ymm1,%ymm11 526 vpand %ymm15,%ymm1,%ymm1 527 vpsrlq $29,%ymm2,%ymm12 528 vpermq $0x93,%ymm14,%ymm14 529 vpand %ymm15,%ymm2,%ymm2 530 vpsrlq $29,%ymm3,%ymm13 531 vpermq $0x93,%ymm11,%ymm11 532 vpand %ymm15,%ymm3,%ymm3 533 vpermq $0x93,%ymm12,%ymm12 534 535 vpblendd $3,%ymm9,%ymm14,%ymm10 536 vpermq $0x93,%ymm13,%ymm13 537 vpblendd $3,%ymm14,%ymm11,%ymm14 538 vpaddq %ymm10,%ymm0,%ymm0 539 vpblendd $3,%ymm11,%ymm12,%ymm11 540 vpaddq %ymm14,%ymm1,%ymm1 541 vpblendd $3,%ymm12,%ymm13,%ymm12 542 vpaddq %ymm11,%ymm2,%ymm2 543 vpblendd $3,%ymm13,%ymm9,%ymm13 544 vpaddq %ymm12,%ymm3,%ymm3 545 vpaddq %ymm13,%ymm4,%ymm4 546 547 vpsrlq $29,%ymm0,%ymm14 548 vpand %ymm15,%ymm0,%ymm0 549 vpsrlq $29,%ymm1,%ymm11 550 vpand %ymm15,%ymm1,%ymm1 551 vpsrlq $29,%ymm2,%ymm12 552 vpermq $0x93,%ymm14,%ymm14 553 vpand %ymm15,%ymm2,%ymm2 554 vpsrlq $29,%ymm3,%ymm13 555 vpermq $0x93,%ymm11,%ymm11 556 vpand %ymm15,%ymm3,%ymm3 557 vpermq $0x93,%ymm12,%ymm12 558 559 vpblendd $3,%ymm9,%ymm14,%ymm10 560 vpermq $0x93,%ymm13,%ymm13 561 vpblendd $3,%ymm14,%ymm11,%ymm14 562 vpaddq %ymm10,%ymm0,%ymm0 563 vpblendd $3,%ymm11,%ymm12,%ymm11 564 vpaddq %ymm14,%ymm1,%ymm1 565 vmovdqu %ymm0,0-128(%rdi) 566 vpblendd $3,%ymm12,%ymm13,%ymm12 567 vpaddq %ymm11,%ymm2,%ymm2 568 vmovdqu %ymm1,32-128(%rdi) 569 vpblendd $3,%ymm13,%ymm9,%ymm13 570 vpaddq %ymm12,%ymm3,%ymm3 571 vmovdqu %ymm2,64-128(%rdi) 572 vpaddq %ymm13,%ymm4,%ymm4 573 vmovdqu %ymm3,96-128(%rdi) 574 vpsrlq $29,%ymm4,%ymm14 575 vpand %ymm15,%ymm4,%ymm4 576 vpsrlq $29,%ymm5,%ymm11 577 vpand %ymm15,%ymm5,%ymm5 578 vpsrlq $29,%ymm6,%ymm12 579 vpermq $0x93,%ymm14,%ymm14 580 vpand %ymm15,%ymm6,%ymm6 581 vpsrlq $29,%ymm7,%ymm13 582 vpermq $0x93,%ymm11,%ymm11 583 vpand %ymm15,%ymm7,%ymm7 584 vpsrlq $29,%ymm8,%ymm0 585 vpermq $0x93,%ymm12,%ymm12 586 vpand %ymm15,%ymm8,%ymm8 587 vpermq $0x93,%ymm13,%ymm13 588 589 vpblendd $3,%ymm9,%ymm14,%ymm10 590 vpermq $0x93,%ymm0,%ymm0 591 vpblendd $3,%ymm14,%ymm11,%ymm14 592 vpaddq %ymm10,%ymm4,%ymm4 593 vpblendd $3,%ymm11,%ymm12,%ymm11 594 vpaddq %ymm14,%ymm5,%ymm5 595 vpblendd $3,%ymm12,%ymm13,%ymm12 596 vpaddq %ymm11,%ymm6,%ymm6 597 vpblendd $3,%ymm13,%ymm0,%ymm13 598 vpaddq %ymm12,%ymm7,%ymm7 599 vpaddq %ymm13,%ymm8,%ymm8 600 601 vpsrlq $29,%ymm4,%ymm14 602 vpand %ymm15,%ymm4,%ymm4 603 vpsrlq $29,%ymm5,%ymm11 604 vpand %ymm15,%ymm5,%ymm5 605 vpsrlq $29,%ymm6,%ymm12 606 vpermq $0x93,%ymm14,%ymm14 607 vpand %ymm15,%ymm6,%ymm6 608 vpsrlq $29,%ymm7,%ymm13 609 vpermq $0x93,%ymm11,%ymm11 610 vpand %ymm15,%ymm7,%ymm7 611 vpsrlq $29,%ymm8,%ymm0 612 vpermq $0x93,%ymm12,%ymm12 613 vpand %ymm15,%ymm8,%ymm8 614 vpermq $0x93,%ymm13,%ymm13 615 616 vpblendd $3,%ymm9,%ymm14,%ymm10 617 vpermq $0x93,%ymm0,%ymm0 618 vpblendd $3,%ymm14,%ymm11,%ymm14 619 vpaddq %ymm10,%ymm4,%ymm4 620 vpblendd $3,%ymm11,%ymm12,%ymm11 621 vpaddq %ymm14,%ymm5,%ymm5 622 vmovdqu %ymm4,128-128(%rdi) 623 vpblendd $3,%ymm12,%ymm13,%ymm12 624 vpaddq %ymm11,%ymm6,%ymm6 625 vmovdqu %ymm5,160-128(%rdi) 626 vpblendd $3,%ymm13,%ymm0,%ymm13 627 vpaddq %ymm12,%ymm7,%ymm7 628 vmovdqu %ymm6,192-128(%rdi) 629 vpaddq %ymm13,%ymm8,%ymm8 630 vmovdqu %ymm7,224-128(%rdi) 631 vmovdqu %ymm8,256-128(%rdi) 632 633 movq %rdi,%rsi 634 decl %r8d 635 jne L$OOP_GRANDE_SQR_1024 636 637 vzeroall 638 movq %rbp,%rax 639 640 movq -48(%rax),%r15 641 642 movq -40(%rax),%r14 643 644 movq -32(%rax),%r13 645 646 movq -24(%rax),%r12 647 648 movq -16(%rax),%rbp 649 650 movq -8(%rax),%rbx 651 652 leaq (%rax),%rsp 653 654 L$sqr_1024_epilogue: 655 .byte 0xf3,0xc3 656 657 658 .globl _rsaz_1024_mul_avx2 659 .private_extern _rsaz_1024_mul_avx2 660 661 .p2align 6 662 _rsaz_1024_mul_avx2: 663 664 leaq (%rsp),%rax 665 666 pushq %rbx 667 668 pushq %rbp 669 670 pushq %r12 671 672 pushq %r13 673 674 pushq %r14 675 676 pushq %r15 677 678 movq %rax,%rbp 679 680 vzeroall 681 movq %rdx,%r13 682 subq $64,%rsp 683 684 685 686 687 688 689 .byte 0x67,0x67 690 movq %rsi,%r15 691 andq $4095,%r15 692 addq $320,%r15 693 shrq $12,%r15 694 movq %rsi,%r15 695 cmovnzq %r13,%rsi 696 cmovnzq %r15,%r13 697 698 movq %rcx,%r15 699 subq $-128,%rsi 700 subq $-128,%rcx 701 subq $-128,%rdi 702 703 andq $4095,%r15 704 addq $320,%r15 705 .byte 0x67,0x67 706 shrq $12,%r15 707 jz L$mul_1024_no_n_copy 708 709 710 711 712 713 subq $320,%rsp 714 vmovdqu 0-128(%rcx),%ymm0 715 andq $-512,%rsp 716 vmovdqu 32-128(%rcx),%ymm1 717 vmovdqu 64-128(%rcx),%ymm2 718 vmovdqu 96-128(%rcx),%ymm3 719 vmovdqu 128-128(%rcx),%ymm4 720 vmovdqu 160-128(%rcx),%ymm5 721 vmovdqu 192-128(%rcx),%ymm6 722 vmovdqu 224-128(%rcx),%ymm7 723 vmovdqu 256-128(%rcx),%ymm8 724 leaq 64+128(%rsp),%rcx 725 vmovdqu %ymm0,0-128(%rcx) 726 vpxor %ymm0,%ymm0,%ymm0 727 vmovdqu %ymm1,32-128(%rcx) 728 vpxor %ymm1,%ymm1,%ymm1 729 vmovdqu %ymm2,64-128(%rcx) 730 vpxor %ymm2,%ymm2,%ymm2 731 vmovdqu %ymm3,96-128(%rcx) 732 vpxor %ymm3,%ymm3,%ymm3 733 vmovdqu %ymm4,128-128(%rcx) 734 vpxor %ymm4,%ymm4,%ymm4 735 vmovdqu %ymm5,160-128(%rcx) 736 vpxor %ymm5,%ymm5,%ymm5 737 vmovdqu %ymm6,192-128(%rcx) 738 vpxor %ymm6,%ymm6,%ymm6 739 vmovdqu %ymm7,224-128(%rcx) 740 vpxor %ymm7,%ymm7,%ymm7 741 vmovdqu %ymm8,256-128(%rcx) 742 vmovdqa %ymm0,%ymm8 743 vmovdqu %ymm9,288-128(%rcx) 744 L$mul_1024_no_n_copy: 745 andq $-64,%rsp 746 747 movq (%r13),%rbx 748 vpbroadcastq (%r13),%ymm10 749 vmovdqu %ymm0,(%rsp) 750 xorq %r9,%r9 751 .byte 0x67 752 xorq %r10,%r10 753 xorq %r11,%r11 754 xorq %r12,%r12 755 756 vmovdqu L$and_mask(%rip),%ymm15 757 movl $9,%r14d 758 vmovdqu %ymm9,288-128(%rdi) 759 jmp L$oop_mul_1024 760 761 .p2align 5 762 L$oop_mul_1024: 763 vpsrlq $29,%ymm3,%ymm9 764 movq %rbx,%rax 765 imulq -128(%rsi),%rax 766 addq %r9,%rax 767 movq %rbx,%r10 768 imulq 8-128(%rsi),%r10 769 addq 8(%rsp),%r10 770 771 movq %rax,%r9 772 imull %r8d,%eax 773 andl $0x1fffffff,%eax 774 775 movq %rbx,%r11 776 imulq 16-128(%rsi),%r11 777 addq 16(%rsp),%r11 778 779 movq %rbx,%r12 780 imulq 24-128(%rsi),%r12 781 addq 24(%rsp),%r12 782 vpmuludq 32-128(%rsi),%ymm10,%ymm0 783 vmovd %eax,%xmm11 784 vpaddq %ymm0,%ymm1,%ymm1 785 vpmuludq 64-128(%rsi),%ymm10,%ymm12 786 vpbroadcastq %xmm11,%ymm11 787 vpaddq %ymm12,%ymm2,%ymm2 788 vpmuludq 96-128(%rsi),%ymm10,%ymm13 789 vpand %ymm15,%ymm3,%ymm3 790 vpaddq %ymm13,%ymm3,%ymm3 791 vpmuludq 128-128(%rsi),%ymm10,%ymm0 792 vpaddq %ymm0,%ymm4,%ymm4 793 vpmuludq 160-128(%rsi),%ymm10,%ymm12 794 vpaddq %ymm12,%ymm5,%ymm5 795 vpmuludq 192-128(%rsi),%ymm10,%ymm13 796 vpaddq %ymm13,%ymm6,%ymm6 797 vpmuludq 224-128(%rsi),%ymm10,%ymm0 798 vpermq $0x93,%ymm9,%ymm9 799 vpaddq %ymm0,%ymm7,%ymm7 800 vpmuludq 256-128(%rsi),%ymm10,%ymm12 801 vpbroadcastq 8(%r13),%ymm10 802 vpaddq %ymm12,%ymm8,%ymm8 803 804 movq %rax,%rdx 805 imulq -128(%rcx),%rax 806 addq %rax,%r9 807 movq %rdx,%rax 808 imulq 8-128(%rcx),%rax 809 addq %rax,%r10 810 movq %rdx,%rax 811 imulq 16-128(%rcx),%rax 812 addq %rax,%r11 813 shrq $29,%r9 814 imulq 24-128(%rcx),%rdx 815 addq %rdx,%r12 816 addq %r9,%r10 817 818 vpmuludq 32-128(%rcx),%ymm11,%ymm13 819 vmovq %xmm10,%rbx 820 vpaddq %ymm13,%ymm1,%ymm1 821 vpmuludq 64-128(%rcx),%ymm11,%ymm0 822 vpaddq %ymm0,%ymm2,%ymm2 823 vpmuludq 96-128(%rcx),%ymm11,%ymm12 824 vpaddq %ymm12,%ymm3,%ymm3 825 vpmuludq 128-128(%rcx),%ymm11,%ymm13 826 vpaddq %ymm13,%ymm4,%ymm4 827 vpmuludq 160-128(%rcx),%ymm11,%ymm0 828 vpaddq %ymm0,%ymm5,%ymm5 829 vpmuludq 192-128(%rcx),%ymm11,%ymm12 830 vpaddq %ymm12,%ymm6,%ymm6 831 vpmuludq 224-128(%rcx),%ymm11,%ymm13 832 vpblendd $3,%ymm14,%ymm9,%ymm12 833 vpaddq %ymm13,%ymm7,%ymm7 834 vpmuludq 256-128(%rcx),%ymm11,%ymm0 835 vpaddq %ymm12,%ymm3,%ymm3 836 vpaddq %ymm0,%ymm8,%ymm8 837 838 movq %rbx,%rax 839 imulq -128(%rsi),%rax 840 addq %rax,%r10 841 vmovdqu -8+32-128(%rsi),%ymm12 842 movq %rbx,%rax 843 imulq 8-128(%rsi),%rax 844 addq %rax,%r11 845 vmovdqu -8+64-128(%rsi),%ymm13 846 847 movq %r10,%rax 848 vpblendd $0xfc,%ymm14,%ymm9,%ymm9 849 imull %r8d,%eax 850 vpaddq %ymm9,%ymm4,%ymm4 851 andl $0x1fffffff,%eax 852 853 imulq 16-128(%rsi),%rbx 854 addq %rbx,%r12 855 vpmuludq %ymm10,%ymm12,%ymm12 856 vmovd %eax,%xmm11 857 vmovdqu -8+96-128(%rsi),%ymm0 858 vpaddq %ymm12,%ymm1,%ymm1 859 vpmuludq %ymm10,%ymm13,%ymm13 860 vpbroadcastq %xmm11,%ymm11 861 vmovdqu -8+128-128(%rsi),%ymm12 862 vpaddq %ymm13,%ymm2,%ymm2 863 vpmuludq %ymm10,%ymm0,%ymm0 864 vmovdqu -8+160-128(%rsi),%ymm13 865 vpaddq %ymm0,%ymm3,%ymm3 866 vpmuludq %ymm10,%ymm12,%ymm12 867 vmovdqu -8+192-128(%rsi),%ymm0 868 vpaddq %ymm12,%ymm4,%ymm4 869 vpmuludq %ymm10,%ymm13,%ymm13 870 vmovdqu -8+224-128(%rsi),%ymm12 871 vpaddq %ymm13,%ymm5,%ymm5 872 vpmuludq %ymm10,%ymm0,%ymm0 873 vmovdqu -8+256-128(%rsi),%ymm13 874 vpaddq %ymm0,%ymm6,%ymm6 875 vpmuludq %ymm10,%ymm12,%ymm12 876 vmovdqu -8+288-128(%rsi),%ymm9 877 vpaddq %ymm12,%ymm7,%ymm7 878 vpmuludq %ymm10,%ymm13,%ymm13 879 vpaddq %ymm13,%ymm8,%ymm8 880 vpmuludq %ymm10,%ymm9,%ymm9 881 vpbroadcastq 16(%r13),%ymm10 882 883 movq %rax,%rdx 884 imulq -128(%rcx),%rax 885 addq %rax,%r10 886 vmovdqu -8+32-128(%rcx),%ymm0 887 movq %rdx,%rax 888 imulq 8-128(%rcx),%rax 889 addq %rax,%r11 890 vmovdqu -8+64-128(%rcx),%ymm12 891 shrq $29,%r10 892 imulq 16-128(%rcx),%rdx 893 addq %rdx,%r12 894 addq %r10,%r11 895 896 vpmuludq %ymm11,%ymm0,%ymm0 897 vmovq %xmm10,%rbx 898 vmovdqu -8+96-128(%rcx),%ymm13 899 vpaddq %ymm0,%ymm1,%ymm1 900 vpmuludq %ymm11,%ymm12,%ymm12 901 vmovdqu -8+128-128(%rcx),%ymm0 902 vpaddq %ymm12,%ymm2,%ymm2 903 vpmuludq %ymm11,%ymm13,%ymm13 904 vmovdqu -8+160-128(%rcx),%ymm12 905 vpaddq %ymm13,%ymm3,%ymm3 906 vpmuludq %ymm11,%ymm0,%ymm0 907 vmovdqu -8+192-128(%rcx),%ymm13 908 vpaddq %ymm0,%ymm4,%ymm4 909 vpmuludq %ymm11,%ymm12,%ymm12 910 vmovdqu -8+224-128(%rcx),%ymm0 911 vpaddq %ymm12,%ymm5,%ymm5 912 vpmuludq %ymm11,%ymm13,%ymm13 913 vmovdqu -8+256-128(%rcx),%ymm12 914 vpaddq %ymm13,%ymm6,%ymm6 915 vpmuludq %ymm11,%ymm0,%ymm0 916 vmovdqu -8+288-128(%rcx),%ymm13 917 vpaddq %ymm0,%ymm7,%ymm7 918 vpmuludq %ymm11,%ymm12,%ymm12 919 vpaddq %ymm12,%ymm8,%ymm8 920 vpmuludq %ymm11,%ymm13,%ymm13 921 vpaddq %ymm13,%ymm9,%ymm9 922 923 vmovdqu -16+32-128(%rsi),%ymm0 924 movq %rbx,%rax 925 imulq -128(%rsi),%rax 926 addq %r11,%rax 927 928 vmovdqu -16+64-128(%rsi),%ymm12 929 movq %rax,%r11 930 imull %r8d,%eax 931 andl $0x1fffffff,%eax 932 933 imulq 8-128(%rsi),%rbx 934 addq %rbx,%r12 935 vpmuludq %ymm10,%ymm0,%ymm0 936 vmovd %eax,%xmm11 937 vmovdqu -16+96-128(%rsi),%ymm13 938 vpaddq %ymm0,%ymm1,%ymm1 939 vpmuludq %ymm10,%ymm12,%ymm12 940 vpbroadcastq %xmm11,%ymm11 941 vmovdqu -16+128-128(%rsi),%ymm0 942 vpaddq %ymm12,%ymm2,%ymm2 943 vpmuludq %ymm10,%ymm13,%ymm13 944 vmovdqu -16+160-128(%rsi),%ymm12 945 vpaddq %ymm13,%ymm3,%ymm3 946 vpmuludq %ymm10,%ymm0,%ymm0 947 vmovdqu -16+192-128(%rsi),%ymm13 948 vpaddq %ymm0,%ymm4,%ymm4 949 vpmuludq %ymm10,%ymm12,%ymm12 950 vmovdqu -16+224-128(%rsi),%ymm0 951 vpaddq %ymm12,%ymm5,%ymm5 952 vpmuludq %ymm10,%ymm13,%ymm13 953 vmovdqu -16+256-128(%rsi),%ymm12 954 vpaddq %ymm13,%ymm6,%ymm6 955 vpmuludq %ymm10,%ymm0,%ymm0 956 vmovdqu -16+288-128(%rsi),%ymm13 957 vpaddq %ymm0,%ymm7,%ymm7 958 vpmuludq %ymm10,%ymm12,%ymm12 959 vpaddq %ymm12,%ymm8,%ymm8 960 vpmuludq %ymm10,%ymm13,%ymm13 961 vpbroadcastq 24(%r13),%ymm10 962 vpaddq %ymm13,%ymm9,%ymm9 963 964 vmovdqu -16+32-128(%rcx),%ymm0 965 movq %rax,%rdx 966 imulq -128(%rcx),%rax 967 addq %rax,%r11 968 vmovdqu -16+64-128(%rcx),%ymm12 969 imulq 8-128(%rcx),%rdx 970 addq %rdx,%r12 971 shrq $29,%r11 972 973 vpmuludq %ymm11,%ymm0,%ymm0 974 vmovq %xmm10,%rbx 975 vmovdqu -16+96-128(%rcx),%ymm13 976 vpaddq %ymm0,%ymm1,%ymm1 977 vpmuludq %ymm11,%ymm12,%ymm12 978 vmovdqu -16+128-128(%rcx),%ymm0 979 vpaddq %ymm12,%ymm2,%ymm2 980 vpmuludq %ymm11,%ymm13,%ymm13 981 vmovdqu -16+160-128(%rcx),%ymm12 982 vpaddq %ymm13,%ymm3,%ymm3 983 vpmuludq %ymm11,%ymm0,%ymm0 984 vmovdqu -16+192-128(%rcx),%ymm13 985 vpaddq %ymm0,%ymm4,%ymm4 986 vpmuludq %ymm11,%ymm12,%ymm12 987 vmovdqu -16+224-128(%rcx),%ymm0 988 vpaddq %ymm12,%ymm5,%ymm5 989 vpmuludq %ymm11,%ymm13,%ymm13 990 vmovdqu -16+256-128(%rcx),%ymm12 991 vpaddq %ymm13,%ymm6,%ymm6 992 vpmuludq %ymm11,%ymm0,%ymm0 993 vmovdqu -16+288-128(%rcx),%ymm13 994 vpaddq %ymm0,%ymm7,%ymm7 995 vpmuludq %ymm11,%ymm12,%ymm12 996 vmovdqu -24+32-128(%rsi),%ymm0 997 vpaddq %ymm12,%ymm8,%ymm8 998 vpmuludq %ymm11,%ymm13,%ymm13 999 vmovdqu -24+64-128(%rsi),%ymm12 1000 vpaddq %ymm13,%ymm9,%ymm9 1001 1002 addq %r11,%r12 1003 imulq -128(%rsi),%rbx 1004 addq %rbx,%r12 1005 1006 movq %r12,%rax 1007 imull %r8d,%eax 1008 andl $0x1fffffff,%eax 1009 1010 vpmuludq %ymm10,%ymm0,%ymm0 1011 vmovd %eax,%xmm11 1012 vmovdqu -24+96-128(%rsi),%ymm13 1013 vpaddq %ymm0,%ymm1,%ymm1 1014 vpmuludq %ymm10,%ymm12,%ymm12 1015 vpbroadcastq %xmm11,%ymm11 1016 vmovdqu -24+128-128(%rsi),%ymm0 1017 vpaddq %ymm12,%ymm2,%ymm2 1018 vpmuludq %ymm10,%ymm13,%ymm13 1019 vmovdqu -24+160-128(%rsi),%ymm12 1020 vpaddq %ymm13,%ymm3,%ymm3 1021 vpmuludq %ymm10,%ymm0,%ymm0 1022 vmovdqu -24+192-128(%rsi),%ymm13 1023 vpaddq %ymm0,%ymm4,%ymm4 1024 vpmuludq %ymm10,%ymm12,%ymm12 1025 vmovdqu -24+224-128(%rsi),%ymm0 1026 vpaddq %ymm12,%ymm5,%ymm5 1027 vpmuludq %ymm10,%ymm13,%ymm13 1028 vmovdqu -24+256-128(%rsi),%ymm12 1029 vpaddq %ymm13,%ymm6,%ymm6 1030 vpmuludq %ymm10,%ymm0,%ymm0 1031 vmovdqu -24+288-128(%rsi),%ymm13 1032 vpaddq %ymm0,%ymm7,%ymm7 1033 vpmuludq %ymm10,%ymm12,%ymm12 1034 vpaddq %ymm12,%ymm8,%ymm8 1035 vpmuludq %ymm10,%ymm13,%ymm13 1036 vpbroadcastq 32(%r13),%ymm10 1037 vpaddq %ymm13,%ymm9,%ymm9 1038 addq $32,%r13 1039 1040 vmovdqu -24+32-128(%rcx),%ymm0 1041 imulq -128(%rcx),%rax 1042 addq %rax,%r12 1043 shrq $29,%r12 1044 1045 vmovdqu -24+64-128(%rcx),%ymm12 1046 vpmuludq %ymm11,%ymm0,%ymm0 1047 vmovq %xmm10,%rbx 1048 vmovdqu -24+96-128(%rcx),%ymm13 1049 vpaddq %ymm0,%ymm1,%ymm0 1050 vpmuludq %ymm11,%ymm12,%ymm12 1051 vmovdqu %ymm0,(%rsp) 1052 vpaddq %ymm12,%ymm2,%ymm1 1053 vmovdqu -24+128-128(%rcx),%ymm0 1054 vpmuludq %ymm11,%ymm13,%ymm13 1055 vmovdqu -24+160-128(%rcx),%ymm12 1056 vpaddq %ymm13,%ymm3,%ymm2 1057 vpmuludq %ymm11,%ymm0,%ymm0 1058 vmovdqu -24+192-128(%rcx),%ymm13 1059 vpaddq %ymm0,%ymm4,%ymm3 1060 vpmuludq %ymm11,%ymm12,%ymm12 1061 vmovdqu -24+224-128(%rcx),%ymm0 1062 vpaddq %ymm12,%ymm5,%ymm4 1063 vpmuludq %ymm11,%ymm13,%ymm13 1064 vmovdqu -24+256-128(%rcx),%ymm12 1065 vpaddq %ymm13,%ymm6,%ymm5 1066 vpmuludq %ymm11,%ymm0,%ymm0 1067 vmovdqu -24+288-128(%rcx),%ymm13 1068 movq %r12,%r9 1069 vpaddq %ymm0,%ymm7,%ymm6 1070 vpmuludq %ymm11,%ymm12,%ymm12 1071 addq (%rsp),%r9 1072 vpaddq %ymm12,%ymm8,%ymm7 1073 vpmuludq %ymm11,%ymm13,%ymm13 1074 vmovq %r12,%xmm12 1075 vpaddq %ymm13,%ymm9,%ymm8 1076 1077 decl %r14d 1078 jnz L$oop_mul_1024 1079 vpaddq (%rsp),%ymm12,%ymm0 1080 1081 vpsrlq $29,%ymm0,%ymm12 1082 vpand %ymm15,%ymm0,%ymm0 1083 vpsrlq $29,%ymm1,%ymm13 1084 vpand %ymm15,%ymm1,%ymm1 1085 vpsrlq $29,%ymm2,%ymm10 1086 vpermq $0x93,%ymm12,%ymm12 1087 vpand %ymm15,%ymm2,%ymm2 1088 vpsrlq $29,%ymm3,%ymm11 1089 vpermq $0x93,%ymm13,%ymm13 1090 vpand %ymm15,%ymm3,%ymm3 1091 1092 vpblendd $3,%ymm14,%ymm12,%ymm9 1093 vpermq $0x93,%ymm10,%ymm10 1094 vpblendd $3,%ymm12,%ymm13,%ymm12 1095 vpermq $0x93,%ymm11,%ymm11 1096 vpaddq %ymm9,%ymm0,%ymm0 1097 vpblendd $3,%ymm13,%ymm10,%ymm13 1098 vpaddq %ymm12,%ymm1,%ymm1 1099 vpblendd $3,%ymm10,%ymm11,%ymm10 1100 vpaddq %ymm13,%ymm2,%ymm2 1101 vpblendd $3,%ymm11,%ymm14,%ymm11 1102 vpaddq %ymm10,%ymm3,%ymm3 1103 vpaddq %ymm11,%ymm4,%ymm4 1104 1105 vpsrlq $29,%ymm0,%ymm12 1106 vpand %ymm15,%ymm0,%ymm0 1107 vpsrlq $29,%ymm1,%ymm13 1108 vpand %ymm15,%ymm1,%ymm1 1109 vpsrlq $29,%ymm2,%ymm10 1110 vpermq $0x93,%ymm12,%ymm12 1111 vpand %ymm15,%ymm2,%ymm2 1112 vpsrlq $29,%ymm3,%ymm11 1113 vpermq $0x93,%ymm13,%ymm13 1114 vpand %ymm15,%ymm3,%ymm3 1115 vpermq $0x93,%ymm10,%ymm10 1116 1117 vpblendd $3,%ymm14,%ymm12,%ymm9 1118 vpermq $0x93,%ymm11,%ymm11 1119 vpblendd $3,%ymm12,%ymm13,%ymm12 1120 vpaddq %ymm9,%ymm0,%ymm0 1121 vpblendd $3,%ymm13,%ymm10,%ymm13 1122 vpaddq %ymm12,%ymm1,%ymm1 1123 vpblendd $3,%ymm10,%ymm11,%ymm10 1124 vpaddq %ymm13,%ymm2,%ymm2 1125 vpblendd $3,%ymm11,%ymm14,%ymm11 1126 vpaddq %ymm10,%ymm3,%ymm3 1127 vpaddq %ymm11,%ymm4,%ymm4 1128 1129 vmovdqu %ymm0,0-128(%rdi) 1130 vmovdqu %ymm1,32-128(%rdi) 1131 vmovdqu %ymm2,64-128(%rdi) 1132 vmovdqu %ymm3,96-128(%rdi) 1133 vpsrlq $29,%ymm4,%ymm12 1134 vpand %ymm15,%ymm4,%ymm4 1135 vpsrlq $29,%ymm5,%ymm13 1136 vpand %ymm15,%ymm5,%ymm5 1137 vpsrlq $29,%ymm6,%ymm10 1138 vpermq $0x93,%ymm12,%ymm12 1139 vpand %ymm15,%ymm6,%ymm6 1140 vpsrlq $29,%ymm7,%ymm11 1141 vpermq $0x93,%ymm13,%ymm13 1142 vpand %ymm15,%ymm7,%ymm7 1143 vpsrlq $29,%ymm8,%ymm0 1144 vpermq $0x93,%ymm10,%ymm10 1145 vpand %ymm15,%ymm8,%ymm8 1146 vpermq $0x93,%ymm11,%ymm11 1147 1148 vpblendd $3,%ymm14,%ymm12,%ymm9 1149 vpermq $0x93,%ymm0,%ymm0 1150 vpblendd $3,%ymm12,%ymm13,%ymm12 1151 vpaddq %ymm9,%ymm4,%ymm4 1152 vpblendd $3,%ymm13,%ymm10,%ymm13 1153 vpaddq %ymm12,%ymm5,%ymm5 1154 vpblendd $3,%ymm10,%ymm11,%ymm10 1155 vpaddq %ymm13,%ymm6,%ymm6 1156 vpblendd $3,%ymm11,%ymm0,%ymm11 1157 vpaddq %ymm10,%ymm7,%ymm7 1158 vpaddq %ymm11,%ymm8,%ymm8 1159 1160 vpsrlq $29,%ymm4,%ymm12 1161 vpand %ymm15,%ymm4,%ymm4 1162 vpsrlq $29,%ymm5,%ymm13 1163 vpand %ymm15,%ymm5,%ymm5 1164 vpsrlq $29,%ymm6,%ymm10 1165 vpermq $0x93,%ymm12,%ymm12 1166 vpand %ymm15,%ymm6,%ymm6 1167 vpsrlq $29,%ymm7,%ymm11 1168 vpermq $0x93,%ymm13,%ymm13 1169 vpand %ymm15,%ymm7,%ymm7 1170 vpsrlq $29,%ymm8,%ymm0 1171 vpermq $0x93,%ymm10,%ymm10 1172 vpand %ymm15,%ymm8,%ymm8 1173 vpermq $0x93,%ymm11,%ymm11 1174 1175 vpblendd $3,%ymm14,%ymm12,%ymm9 1176 vpermq $0x93,%ymm0,%ymm0 1177 vpblendd $3,%ymm12,%ymm13,%ymm12 1178 vpaddq %ymm9,%ymm4,%ymm4 1179 vpblendd $3,%ymm13,%ymm10,%ymm13 1180 vpaddq %ymm12,%ymm5,%ymm5 1181 vpblendd $3,%ymm10,%ymm11,%ymm10 1182 vpaddq %ymm13,%ymm6,%ymm6 1183 vpblendd $3,%ymm11,%ymm0,%ymm11 1184 vpaddq %ymm10,%ymm7,%ymm7 1185 vpaddq %ymm11,%ymm8,%ymm8 1186 1187 vmovdqu %ymm4,128-128(%rdi) 1188 vmovdqu %ymm5,160-128(%rdi) 1189 vmovdqu %ymm6,192-128(%rdi) 1190 vmovdqu %ymm7,224-128(%rdi) 1191 vmovdqu %ymm8,256-128(%rdi) 1192 vzeroupper 1193 1194 movq %rbp,%rax 1195 1196 movq -48(%rax),%r15 1197 1198 movq -40(%rax),%r14 1199 1200 movq -32(%rax),%r13 1201 1202 movq -24(%rax),%r12 1203 1204 movq -16(%rax),%rbp 1205 1206 movq -8(%rax),%rbx 1207 1208 leaq (%rax),%rsp 1209 1210 L$mul_1024_epilogue: 1211 .byte 0xf3,0xc3 1212 1213 1214 .globl _rsaz_1024_red2norm_avx2 1215 .private_extern _rsaz_1024_red2norm_avx2 1216 1217 .p2align 5 1218 _rsaz_1024_red2norm_avx2: 1219 subq $-128,%rsi 1220 xorq %rax,%rax 1221 movq -128(%rsi),%r8 1222 movq -120(%rsi),%r9 1223 movq -112(%rsi),%r10 1224 shlq $0,%r8 1225 shlq $29,%r9 1226 movq %r10,%r11 1227 shlq $58,%r10 1228 shrq $6,%r11 1229 addq %r8,%rax 1230 addq %r9,%rax 1231 addq %r10,%rax 1232 adcq $0,%r11 1233 movq %rax,0(%rdi) 1234 movq %r11,%rax 1235 movq -104(%rsi),%r8 1236 movq -96(%rsi),%r9 1237 shlq $23,%r8 1238 movq %r9,%r10 1239 shlq $52,%r9 1240 shrq $12,%r10 1241 addq %r8,%rax 1242 addq %r9,%rax 1243 adcq $0,%r10 1244 movq %rax,8(%rdi) 1245 movq %r10,%rax 1246 movq -88(%rsi),%r11 1247 movq -80(%rsi),%r8 1248 shlq $17,%r11 1249 movq %r8,%r9 1250 shlq $46,%r8 1251 shrq $18,%r9 1252 addq %r11,%rax 1253 addq %r8,%rax 1254 adcq $0,%r9 1255 movq %rax,16(%rdi) 1256 movq %r9,%rax 1257 movq -72(%rsi),%r10 1258 movq -64(%rsi),%r11 1259 shlq $11,%r10 1260 movq %r11,%r8 1261 shlq $40,%r11 1262 shrq $24,%r8 1263 addq %r10,%rax 1264 addq %r11,%rax 1265 adcq $0,%r8 1266 movq %rax,24(%rdi) 1267 movq %r8,%rax 1268 movq -56(%rsi),%r9 1269 movq -48(%rsi),%r10 1270 movq -40(%rsi),%r11 1271 shlq $5,%r9 1272 shlq $34,%r10 1273 movq %r11,%r8 1274 shlq $63,%r11 1275 shrq $1,%r8 1276 addq %r9,%rax 1277 addq %r10,%rax 1278 addq %r11,%rax 1279 adcq $0,%r8 1280 movq %rax,32(%rdi) 1281 movq %r8,%rax 1282 movq -32(%rsi),%r9 1283 movq -24(%rsi),%r10 1284 shlq $28,%r9 1285 movq %r10,%r11 1286 shlq $57,%r10 1287 shrq $7,%r11 1288 addq %r9,%rax 1289 addq %r10,%rax 1290 adcq $0,%r11 1291 movq %rax,40(%rdi) 1292 movq %r11,%rax 1293 movq -16(%rsi),%r8 1294 movq -8(%rsi),%r9 1295 shlq $22,%r8 1296 movq %r9,%r10 1297 shlq $51,%r9 1298 shrq $13,%r10 1299 addq %r8,%rax 1300 addq %r9,%rax 1301 adcq $0,%r10 1302 movq %rax,48(%rdi) 1303 movq %r10,%rax 1304 movq 0(%rsi),%r11 1305 movq 8(%rsi),%r8 1306 shlq $16,%r11 1307 movq %r8,%r9 1308 shlq $45,%r8 1309 shrq $19,%r9 1310 addq %r11,%rax 1311 addq %r8,%rax 1312 adcq $0,%r9 1313 movq %rax,56(%rdi) 1314 movq %r9,%rax 1315 movq 16(%rsi),%r10 1316 movq 24(%rsi),%r11 1317 shlq $10,%r10 1318 movq %r11,%r8 1319 shlq $39,%r11 1320 shrq $25,%r8 1321 addq %r10,%rax 1322 addq %r11,%rax 1323 adcq $0,%r8 1324 movq %rax,64(%rdi) 1325 movq %r8,%rax 1326 movq 32(%rsi),%r9 1327 movq 40(%rsi),%r10 1328 movq 48(%rsi),%r11 1329 shlq $4,%r9 1330 shlq $33,%r10 1331 movq %r11,%r8 1332 shlq $62,%r11 1333 shrq $2,%r8 1334 addq %r9,%rax 1335 addq %r10,%rax 1336 addq %r11,%rax 1337 adcq $0,%r8 1338 movq %rax,72(%rdi) 1339 movq %r8,%rax 1340 movq 56(%rsi),%r9 1341 movq 64(%rsi),%r10 1342 shlq $27,%r9 1343 movq %r10,%r11 1344 shlq $56,%r10 1345 shrq $8,%r11 1346 addq %r9,%rax 1347 addq %r10,%rax 1348 adcq $0,%r11 1349 movq %rax,80(%rdi) 1350 movq %r11,%rax 1351 movq 72(%rsi),%r8 1352 movq 80(%rsi),%r9 1353 shlq $21,%r8 1354 movq %r9,%r10 1355 shlq $50,%r9 1356 shrq $14,%r10 1357 addq %r8,%rax 1358 addq %r9,%rax 1359 adcq $0,%r10 1360 movq %rax,88(%rdi) 1361 movq %r10,%rax 1362 movq 88(%rsi),%r11 1363 movq 96(%rsi),%r8 1364 shlq $15,%r11 1365 movq %r8,%r9 1366 shlq $44,%r8 1367 shrq $20,%r9 1368 addq %r11,%rax 1369 addq %r8,%rax 1370 adcq $0,%r9 1371 movq %rax,96(%rdi) 1372 movq %r9,%rax 1373 movq 104(%rsi),%r10 1374 movq 112(%rsi),%r11 1375 shlq $9,%r10 1376 movq %r11,%r8 1377 shlq $38,%r11 1378 shrq $26,%r8 1379 addq %r10,%rax 1380 addq %r11,%rax 1381 adcq $0,%r8 1382 movq %rax,104(%rdi) 1383 movq %r8,%rax 1384 movq 120(%rsi),%r9 1385 movq 128(%rsi),%r10 1386 movq 136(%rsi),%r11 1387 shlq $3,%r9 1388 shlq $32,%r10 1389 movq %r11,%r8 1390 shlq $61,%r11 1391 shrq $3,%r8 1392 addq %r9,%rax 1393 addq %r10,%rax 1394 addq %r11,%rax 1395 adcq $0,%r8 1396 movq %rax,112(%rdi) 1397 movq %r8,%rax 1398 movq 144(%rsi),%r9 1399 movq 152(%rsi),%r10 1400 shlq $26,%r9 1401 movq %r10,%r11 1402 shlq $55,%r10 1403 shrq $9,%r11 1404 addq %r9,%rax 1405 addq %r10,%rax 1406 adcq $0,%r11 1407 movq %rax,120(%rdi) 1408 movq %r11,%rax 1409 .byte 0xf3,0xc3 1410 1411 1412 .globl _rsaz_1024_norm2red_avx2 1413 .private_extern _rsaz_1024_norm2red_avx2 1414 1415 .p2align 5 1416 _rsaz_1024_norm2red_avx2: 1417 subq $-128,%rdi 1418 movq (%rsi),%r8 1419 movl $0x1fffffff,%eax 1420 movq 8(%rsi),%r9 1421 movq %r8,%r11 1422 shrq $0,%r11 1423 andq %rax,%r11 1424 movq %r11,-128(%rdi) 1425 movq %r8,%r10 1426 shrq $29,%r10 1427 andq %rax,%r10 1428 movq %r10,-120(%rdi) 1429 shrdq $58,%r9,%r8 1430 andq %rax,%r8 1431 movq %r8,-112(%rdi) 1432 movq 16(%rsi),%r10 1433 movq %r9,%r8 1434 shrq $23,%r8 1435 andq %rax,%r8 1436 movq %r8,-104(%rdi) 1437 shrdq $52,%r10,%r9 1438 andq %rax,%r9 1439 movq %r9,-96(%rdi) 1440 movq 24(%rsi),%r11 1441 movq %r10,%r9 1442 shrq $17,%r9 1443 andq %rax,%r9 1444 movq %r9,-88(%rdi) 1445 shrdq $46,%r11,%r10 1446 andq %rax,%r10 1447 movq %r10,-80(%rdi) 1448 movq 32(%rsi),%r8 1449 movq %r11,%r10 1450 shrq $11,%r10 1451 andq %rax,%r10 1452 movq %r10,-72(%rdi) 1453 shrdq $40,%r8,%r11 1454 andq %rax,%r11 1455 movq %r11,-64(%rdi) 1456 movq 40(%rsi),%r9 1457 movq %r8,%r11 1458 shrq $5,%r11 1459 andq %rax,%r11 1460 movq %r11,-56(%rdi) 1461 movq %r8,%r10 1462 shrq $34,%r10 1463 andq %rax,%r10 1464 movq %r10,-48(%rdi) 1465 shrdq $63,%r9,%r8 1466 andq %rax,%r8 1467 movq %r8,-40(%rdi) 1468 movq 48(%rsi),%r10 1469 movq %r9,%r8 1470 shrq $28,%r8 1471 andq %rax,%r8 1472 movq %r8,-32(%rdi) 1473 shrdq $57,%r10,%r9 1474 andq %rax,%r9 1475 movq %r9,-24(%rdi) 1476 movq 56(%rsi),%r11 1477 movq %r10,%r9 1478 shrq $22,%r9 1479 andq %rax,%r9 1480 movq %r9,-16(%rdi) 1481 shrdq $51,%r11,%r10 1482 andq %rax,%r10 1483 movq %r10,-8(%rdi) 1484 movq 64(%rsi),%r8 1485 movq %r11,%r10 1486 shrq $16,%r10 1487 andq %rax,%r10 1488 movq %r10,0(%rdi) 1489 shrdq $45,%r8,%r11 1490 andq %rax,%r11 1491 movq %r11,8(%rdi) 1492 movq 72(%rsi),%r9 1493 movq %r8,%r11 1494 shrq $10,%r11 1495 andq %rax,%r11 1496 movq %r11,16(%rdi) 1497 shrdq $39,%r9,%r8 1498 andq %rax,%r8 1499 movq %r8,24(%rdi) 1500 movq 80(%rsi),%r10 1501 movq %r9,%r8 1502 shrq $4,%r8 1503 andq %rax,%r8 1504 movq %r8,32(%rdi) 1505 movq %r9,%r11 1506 shrq $33,%r11 1507 andq %rax,%r11 1508 movq %r11,40(%rdi) 1509 shrdq $62,%r10,%r9 1510 andq %rax,%r9 1511 movq %r9,48(%rdi) 1512 movq 88(%rsi),%r11 1513 movq %r10,%r9 1514 shrq $27,%r9 1515 andq %rax,%r9 1516 movq %r9,56(%rdi) 1517 shrdq $56,%r11,%r10 1518 andq %rax,%r10 1519 movq %r10,64(%rdi) 1520 movq 96(%rsi),%r8 1521 movq %r11,%r10 1522 shrq $21,%r10 1523 andq %rax,%r10 1524 movq %r10,72(%rdi) 1525 shrdq $50,%r8,%r11 1526 andq %rax,%r11 1527 movq %r11,80(%rdi) 1528 movq 104(%rsi),%r9 1529 movq %r8,%r11 1530 shrq $15,%r11 1531 andq %rax,%r11 1532 movq %r11,88(%rdi) 1533 shrdq $44,%r9,%r8 1534 andq %rax,%r8 1535 movq %r8,96(%rdi) 1536 movq 112(%rsi),%r10 1537 movq %r9,%r8 1538 shrq $9,%r8 1539 andq %rax,%r8 1540 movq %r8,104(%rdi) 1541 shrdq $38,%r10,%r9 1542 andq %rax,%r9 1543 movq %r9,112(%rdi) 1544 movq 120(%rsi),%r11 1545 movq %r10,%r9 1546 shrq $3,%r9 1547 andq %rax,%r9 1548 movq %r9,120(%rdi) 1549 movq %r10,%r8 1550 shrq $32,%r8 1551 andq %rax,%r8 1552 movq %r8,128(%rdi) 1553 shrdq $61,%r11,%r10 1554 andq %rax,%r10 1555 movq %r10,136(%rdi) 1556 xorq %r8,%r8 1557 movq %r11,%r10 1558 shrq $26,%r10 1559 andq %rax,%r10 1560 movq %r10,144(%rdi) 1561 shrdq $55,%r8,%r11 1562 andq %rax,%r11 1563 movq %r11,152(%rdi) 1564 movq %r8,160(%rdi) 1565 movq %r8,168(%rdi) 1566 movq %r8,176(%rdi) 1567 movq %r8,184(%rdi) 1568 .byte 0xf3,0xc3 1569 1570 .globl _rsaz_1024_scatter5_avx2 1571 .private_extern _rsaz_1024_scatter5_avx2 1572 1573 .p2align 5 1574 _rsaz_1024_scatter5_avx2: 1575 vzeroupper 1576 vmovdqu L$scatter_permd(%rip),%ymm5 1577 shll $4,%edx 1578 leaq (%rdi,%rdx,1),%rdi 1579 movl $9,%eax 1580 jmp L$oop_scatter_1024 1581 1582 .p2align 5 1583 L$oop_scatter_1024: 1584 vmovdqu (%rsi),%ymm0 1585 leaq 32(%rsi),%rsi 1586 vpermd %ymm0,%ymm5,%ymm0 1587 vmovdqu %xmm0,(%rdi) 1588 leaq 512(%rdi),%rdi 1589 decl %eax 1590 jnz L$oop_scatter_1024 1591 1592 vzeroupper 1593 .byte 0xf3,0xc3 1594 1595 1596 .globl _rsaz_1024_gather5_avx2 1597 .private_extern _rsaz_1024_gather5_avx2 1598 1599 .p2align 5 1600 _rsaz_1024_gather5_avx2: 1601 1602 vzeroupper 1603 movq %rsp,%r11 1604 1605 leaq -256(%rsp),%rsp 1606 andq $-32,%rsp 1607 leaq L$inc(%rip),%r10 1608 leaq -128(%rsp),%rax 1609 1610 vmovd %edx,%xmm4 1611 vmovdqa (%r10),%ymm0 1612 vmovdqa 32(%r10),%ymm1 1613 vmovdqa 64(%r10),%ymm5 1614 vpbroadcastd %xmm4,%ymm4 1615 1616 vpaddd %ymm5,%ymm0,%ymm2 1617 vpcmpeqd %ymm4,%ymm0,%ymm0 1618 vpaddd %ymm5,%ymm1,%ymm3 1619 vpcmpeqd %ymm4,%ymm1,%ymm1 1620 vmovdqa %ymm0,0+128(%rax) 1621 vpaddd %ymm5,%ymm2,%ymm0 1622 vpcmpeqd %ymm4,%ymm2,%ymm2 1623 vmovdqa %ymm1,32+128(%rax) 1624 vpaddd %ymm5,%ymm3,%ymm1 1625 vpcmpeqd %ymm4,%ymm3,%ymm3 1626 vmovdqa %ymm2,64+128(%rax) 1627 vpaddd %ymm5,%ymm0,%ymm2 1628 vpcmpeqd %ymm4,%ymm0,%ymm0 1629 vmovdqa %ymm3,96+128(%rax) 1630 vpaddd %ymm5,%ymm1,%ymm3 1631 vpcmpeqd %ymm4,%ymm1,%ymm1 1632 vmovdqa %ymm0,128+128(%rax) 1633 vpaddd %ymm5,%ymm2,%ymm8 1634 vpcmpeqd %ymm4,%ymm2,%ymm2 1635 vmovdqa %ymm1,160+128(%rax) 1636 vpaddd %ymm5,%ymm3,%ymm9 1637 vpcmpeqd %ymm4,%ymm3,%ymm3 1638 vmovdqa %ymm2,192+128(%rax) 1639 vpaddd %ymm5,%ymm8,%ymm10 1640 vpcmpeqd %ymm4,%ymm8,%ymm8 1641 vmovdqa %ymm3,224+128(%rax) 1642 vpaddd %ymm5,%ymm9,%ymm11 1643 vpcmpeqd %ymm4,%ymm9,%ymm9 1644 vpaddd %ymm5,%ymm10,%ymm12 1645 vpcmpeqd %ymm4,%ymm10,%ymm10 1646 vpaddd %ymm5,%ymm11,%ymm13 1647 vpcmpeqd %ymm4,%ymm11,%ymm11 1648 vpaddd %ymm5,%ymm12,%ymm14 1649 vpcmpeqd %ymm4,%ymm12,%ymm12 1650 vpaddd %ymm5,%ymm13,%ymm15 1651 vpcmpeqd %ymm4,%ymm13,%ymm13 1652 vpcmpeqd %ymm4,%ymm14,%ymm14 1653 vpcmpeqd %ymm4,%ymm15,%ymm15 1654 1655 vmovdqa -32(%r10),%ymm7 1656 leaq 128(%rsi),%rsi 1657 movl $9,%edx 1658 1659 L$oop_gather_1024: 1660 vmovdqa 0-128(%rsi),%ymm0 1661 vmovdqa 32-128(%rsi),%ymm1 1662 vmovdqa 64-128(%rsi),%ymm2 1663 vmovdqa 96-128(%rsi),%ymm3 1664 vpand 0+128(%rax),%ymm0,%ymm0 1665 vpand 32+128(%rax),%ymm1,%ymm1 1666 vpand 64+128(%rax),%ymm2,%ymm2 1667 vpor %ymm0,%ymm1,%ymm4 1668 vpand 96+128(%rax),%ymm3,%ymm3 1669 vmovdqa 128-128(%rsi),%ymm0 1670 vmovdqa 160-128(%rsi),%ymm1 1671 vpor %ymm2,%ymm3,%ymm5 1672 vmovdqa 192-128(%rsi),%ymm2 1673 vmovdqa 224-128(%rsi),%ymm3 1674 vpand 128+128(%rax),%ymm0,%ymm0 1675 vpand 160+128(%rax),%ymm1,%ymm1 1676 vpand 192+128(%rax),%ymm2,%ymm2 1677 vpor %ymm0,%ymm4,%ymm4 1678 vpand 224+128(%rax),%ymm3,%ymm3 1679 vpand 256-128(%rsi),%ymm8,%ymm0 1680 vpor %ymm1,%ymm5,%ymm5 1681 vpand 288-128(%rsi),%ymm9,%ymm1 1682 vpor %ymm2,%ymm4,%ymm4 1683 vpand 320-128(%rsi),%ymm10,%ymm2 1684 vpor %ymm3,%ymm5,%ymm5 1685 vpand 352-128(%rsi),%ymm11,%ymm3 1686 vpor %ymm0,%ymm4,%ymm4 1687 vpand 384-128(%rsi),%ymm12,%ymm0 1688 vpor %ymm1,%ymm5,%ymm5 1689 vpand 416-128(%rsi),%ymm13,%ymm1 1690 vpor %ymm2,%ymm4,%ymm4 1691 vpand 448-128(%rsi),%ymm14,%ymm2 1692 vpor %ymm3,%ymm5,%ymm5 1693 vpand 480-128(%rsi),%ymm15,%ymm3 1694 leaq 512(%rsi),%rsi 1695 vpor %ymm0,%ymm4,%ymm4 1696 vpor %ymm1,%ymm5,%ymm5 1697 vpor %ymm2,%ymm4,%ymm4 1698 vpor %ymm3,%ymm5,%ymm5 1699 1700 vpor %ymm5,%ymm4,%ymm4 1701 vextracti128 $1,%ymm4,%xmm5 1702 vpor %xmm4,%xmm5,%xmm5 1703 vpermd %ymm5,%ymm7,%ymm5 1704 vmovdqu %ymm5,(%rdi) 1705 leaq 32(%rdi),%rdi 1706 decl %edx 1707 jnz L$oop_gather_1024 1708 1709 vpxor %ymm0,%ymm0,%ymm0 1710 vmovdqu %ymm0,(%rdi) 1711 vzeroupper 1712 leaq (%r11),%rsp 1713 1714 .byte 0xf3,0xc3 1715 1716 L$SEH_end_rsaz_1024_gather5: 1717 1718 1719 .globl _rsaz_avx2_eligible 1720 .private_extern _rsaz_avx2_eligible 1721 1722 .p2align 5 1723 _rsaz_avx2_eligible: 1724 leaq _OPENSSL_ia32cap_P(%rip),%rax 1725 movl 8(%rax),%eax 1726 andl $32,%eax 1727 shrl $5,%eax 1728 .byte 0xf3,0xc3 1729 1730 1731 .p2align 6 1732 L$and_mask: 1733 .quad 0x1fffffff,0x1fffffff,0x1fffffff,0x1fffffff 1734 L$scatter_permd: 1735 .long 0,2,4,6,7,7,7,7 1736 L$gather_permd: 1737 .long 0,7,1,7,2,7,3,7 1738 L$inc: 1739 .long 0,0,0,0, 1,1,1,1 1740 .long 2,2,2,2, 3,3,3,3 1741 .long 4,4,4,4, 4,4,4,4 1742 .p2align 6 1743 #endif 1744
