1 #if defined(__x86_64__) 2 .text 3 4 .extern asm_AES_encrypt 5 .hidden asm_AES_encrypt 6 .extern asm_AES_decrypt 7 .hidden asm_AES_decrypt 8 9 .type _bsaes_encrypt8,@function 10 .align 64 11 _bsaes_encrypt8: 12 leaq .LBS0(%rip),%r11 13 14 movdqa (%rax),%xmm8 15 leaq 16(%rax),%rax 16 movdqa 80(%r11),%xmm7 17 pxor %xmm8,%xmm15 18 pxor %xmm8,%xmm0 19 pxor %xmm8,%xmm1 20 pxor %xmm8,%xmm2 21 .byte 102,68,15,56,0,255 22 .byte 102,15,56,0,199 23 pxor %xmm8,%xmm3 24 pxor %xmm8,%xmm4 25 .byte 102,15,56,0,207 26 .byte 102,15,56,0,215 27 pxor %xmm8,%xmm5 28 pxor %xmm8,%xmm6 29 .byte 102,15,56,0,223 30 .byte 102,15,56,0,231 31 .byte 102,15,56,0,239 32 .byte 102,15,56,0,247 33 _bsaes_encrypt8_bitslice: 34 movdqa 0(%r11),%xmm7 35 movdqa 16(%r11),%xmm8 36 movdqa %xmm5,%xmm9 37 psrlq $1,%xmm5 38 movdqa %xmm3,%xmm10 39 psrlq $1,%xmm3 40 pxor %xmm6,%xmm5 41 pxor %xmm4,%xmm3 42 pand %xmm7,%xmm5 43 pand %xmm7,%xmm3 44 pxor %xmm5,%xmm6 45 psllq $1,%xmm5 46 pxor %xmm3,%xmm4 47 psllq $1,%xmm3 48 pxor %xmm9,%xmm5 49 pxor %xmm10,%xmm3 50 movdqa %xmm1,%xmm9 51 psrlq $1,%xmm1 52 movdqa %xmm15,%xmm10 53 psrlq $1,%xmm15 54 pxor %xmm2,%xmm1 55 pxor %xmm0,%xmm15 56 pand %xmm7,%xmm1 57 pand %xmm7,%xmm15 58 pxor %xmm1,%xmm2 59 psllq $1,%xmm1 60 pxor %xmm15,%xmm0 61 psllq $1,%xmm15 62 pxor %xmm9,%xmm1 63 pxor %xmm10,%xmm15 64 movdqa 32(%r11),%xmm7 65 movdqa %xmm4,%xmm9 66 psrlq $2,%xmm4 67 movdqa %xmm3,%xmm10 68 psrlq $2,%xmm3 69 pxor %xmm6,%xmm4 70 pxor %xmm5,%xmm3 71 pand %xmm8,%xmm4 72 pand %xmm8,%xmm3 73 pxor %xmm4,%xmm6 74 psllq $2,%xmm4 75 pxor %xmm3,%xmm5 76 psllq $2,%xmm3 77 pxor %xmm9,%xmm4 78 pxor %xmm10,%xmm3 79 movdqa %xmm0,%xmm9 80 psrlq $2,%xmm0 81 movdqa %xmm15,%xmm10 82 psrlq $2,%xmm15 83 pxor %xmm2,%xmm0 84 pxor %xmm1,%xmm15 85 pand %xmm8,%xmm0 86 pand %xmm8,%xmm15 87 pxor %xmm0,%xmm2 88 psllq $2,%xmm0 89 pxor %xmm15,%xmm1 90 psllq $2,%xmm15 91 pxor %xmm9,%xmm0 92 pxor %xmm10,%xmm15 93 movdqa %xmm2,%xmm9 94 psrlq $4,%xmm2 95 movdqa %xmm1,%xmm10 96 psrlq $4,%xmm1 97 pxor %xmm6,%xmm2 98 pxor %xmm5,%xmm1 99 pand %xmm7,%xmm2 100 pand %xmm7,%xmm1 101 pxor %xmm2,%xmm6 102 psllq $4,%xmm2 103 pxor %xmm1,%xmm5 104 psllq $4,%xmm1 105 pxor %xmm9,%xmm2 106 pxor %xmm10,%xmm1 107 movdqa %xmm0,%xmm9 108 psrlq $4,%xmm0 109 movdqa %xmm15,%xmm10 110 psrlq $4,%xmm15 111 pxor %xmm4,%xmm0 112 pxor %xmm3,%xmm15 113 pand %xmm7,%xmm0 114 pand %xmm7,%xmm15 115 pxor %xmm0,%xmm4 116 psllq $4,%xmm0 117 pxor %xmm15,%xmm3 118 psllq $4,%xmm15 119 pxor %xmm9,%xmm0 120 pxor %xmm10,%xmm15 121 decl %r10d 122 jmp .Lenc_sbox 123 .align 16 124 .Lenc_loop: 125 pxor 0(%rax),%xmm15 126 pxor 16(%rax),%xmm0 127 pxor 32(%rax),%xmm1 128 pxor 48(%rax),%xmm2 129 .byte 102,68,15,56,0,255 130 .byte 102,15,56,0,199 131 pxor 64(%rax),%xmm3 132 pxor 80(%rax),%xmm4 133 .byte 102,15,56,0,207 134 .byte 102,15,56,0,215 135 pxor 96(%rax),%xmm5 136 pxor 112(%rax),%xmm6 137 .byte 102,15,56,0,223 138 .byte 102,15,56,0,231 139 .byte 102,15,56,0,239 140 .byte 102,15,56,0,247 141 leaq 128(%rax),%rax 142 .Lenc_sbox: 143 pxor %xmm5,%xmm4 144 pxor %xmm0,%xmm1 145 pxor %xmm15,%xmm2 146 pxor %xmm1,%xmm5 147 pxor %xmm15,%xmm4 148 149 pxor %xmm2,%xmm5 150 pxor %xmm6,%xmm2 151 pxor %xmm4,%xmm6 152 pxor %xmm3,%xmm2 153 pxor %xmm4,%xmm3 154 pxor %xmm0,%xmm2 155 156 pxor %xmm6,%xmm1 157 pxor %xmm4,%xmm0 158 movdqa %xmm6,%xmm10 159 movdqa %xmm0,%xmm9 160 movdqa %xmm4,%xmm8 161 movdqa %xmm1,%xmm12 162 movdqa %xmm5,%xmm11 163 164 pxor %xmm3,%xmm10 165 pxor %xmm1,%xmm9 166 pxor %xmm2,%xmm8 167 movdqa %xmm10,%xmm13 168 pxor %xmm3,%xmm12 169 movdqa %xmm9,%xmm7 170 pxor %xmm15,%xmm11 171 movdqa %xmm10,%xmm14 172 173 por %xmm8,%xmm9 174 por %xmm11,%xmm10 175 pxor %xmm7,%xmm14 176 pand %xmm11,%xmm13 177 pxor %xmm8,%xmm11 178 pand %xmm8,%xmm7 179 pand %xmm11,%xmm14 180 movdqa %xmm2,%xmm11 181 pxor %xmm15,%xmm11 182 pand %xmm11,%xmm12 183 pxor %xmm12,%xmm10 184 pxor %xmm12,%xmm9 185 movdqa %xmm6,%xmm12 186 movdqa %xmm4,%xmm11 187 pxor %xmm0,%xmm12 188 pxor %xmm5,%xmm11 189 movdqa %xmm12,%xmm8 190 pand %xmm11,%xmm12 191 por %xmm11,%xmm8 192 pxor %xmm12,%xmm7 193 pxor %xmm14,%xmm10 194 pxor %xmm13,%xmm9 195 pxor %xmm14,%xmm8 196 movdqa %xmm1,%xmm11 197 pxor %xmm13,%xmm7 198 movdqa %xmm3,%xmm12 199 pxor %xmm13,%xmm8 200 movdqa %xmm0,%xmm13 201 pand %xmm2,%xmm11 202 movdqa %xmm6,%xmm14 203 pand %xmm15,%xmm12 204 pand %xmm4,%xmm13 205 por %xmm5,%xmm14 206 pxor %xmm11,%xmm10 207 pxor %xmm12,%xmm9 208 pxor %xmm13,%xmm8 209 pxor %xmm14,%xmm7 210 211 212 213 214 215 movdqa %xmm10,%xmm11 216 pand %xmm8,%xmm10 217 pxor %xmm9,%xmm11 218 219 movdqa %xmm7,%xmm13 220 movdqa %xmm11,%xmm14 221 pxor %xmm10,%xmm13 222 pand %xmm13,%xmm14 223 224 movdqa %xmm8,%xmm12 225 pxor %xmm9,%xmm14 226 pxor %xmm7,%xmm12 227 228 pxor %xmm9,%xmm10 229 230 pand %xmm10,%xmm12 231 232 movdqa %xmm13,%xmm9 233 pxor %xmm7,%xmm12 234 235 pxor %xmm12,%xmm9 236 pxor %xmm12,%xmm8 237 238 pand %xmm7,%xmm9 239 240 pxor %xmm9,%xmm13 241 pxor %xmm9,%xmm8 242 243 pand %xmm14,%xmm13 244 245 pxor %xmm11,%xmm13 246 movdqa %xmm5,%xmm11 247 movdqa %xmm4,%xmm7 248 movdqa %xmm14,%xmm9 249 pxor %xmm13,%xmm9 250 pand %xmm5,%xmm9 251 pxor %xmm4,%xmm5 252 pand %xmm14,%xmm4 253 pand %xmm13,%xmm5 254 pxor %xmm4,%xmm5 255 pxor %xmm9,%xmm4 256 pxor %xmm15,%xmm11 257 pxor %xmm2,%xmm7 258 pxor %xmm12,%xmm14 259 pxor %xmm8,%xmm13 260 movdqa %xmm14,%xmm10 261 movdqa %xmm12,%xmm9 262 pxor %xmm13,%xmm10 263 pxor %xmm8,%xmm9 264 pand %xmm11,%xmm10 265 pand %xmm15,%xmm9 266 pxor %xmm7,%xmm11 267 pxor %xmm2,%xmm15 268 pand %xmm14,%xmm7 269 pand %xmm12,%xmm2 270 pand %xmm13,%xmm11 271 pand %xmm8,%xmm15 272 pxor %xmm11,%xmm7 273 pxor %xmm2,%xmm15 274 pxor %xmm10,%xmm11 275 pxor %xmm9,%xmm2 276 pxor %xmm11,%xmm5 277 pxor %xmm11,%xmm15 278 pxor %xmm7,%xmm4 279 pxor %xmm7,%xmm2 280 281 movdqa %xmm6,%xmm11 282 movdqa %xmm0,%xmm7 283 pxor %xmm3,%xmm11 284 pxor %xmm1,%xmm7 285 movdqa %xmm14,%xmm10 286 movdqa %xmm12,%xmm9 287 pxor %xmm13,%xmm10 288 pxor %xmm8,%xmm9 289 pand %xmm11,%xmm10 290 pand %xmm3,%xmm9 291 pxor %xmm7,%xmm11 292 pxor %xmm1,%xmm3 293 pand %xmm14,%xmm7 294 pand %xmm12,%xmm1 295 pand %xmm13,%xmm11 296 pand %xmm8,%xmm3 297 pxor %xmm11,%xmm7 298 pxor %xmm1,%xmm3 299 pxor %xmm10,%xmm11 300 pxor %xmm9,%xmm1 301 pxor %xmm12,%xmm14 302 pxor %xmm8,%xmm13 303 movdqa %xmm14,%xmm10 304 pxor %xmm13,%xmm10 305 pand %xmm6,%xmm10 306 pxor %xmm0,%xmm6 307 pand %xmm14,%xmm0 308 pand %xmm13,%xmm6 309 pxor %xmm0,%xmm6 310 pxor %xmm10,%xmm0 311 pxor %xmm11,%xmm6 312 pxor %xmm11,%xmm3 313 pxor %xmm7,%xmm0 314 pxor %xmm7,%xmm1 315 pxor %xmm15,%xmm6 316 pxor %xmm5,%xmm0 317 pxor %xmm6,%xmm3 318 pxor %xmm15,%xmm5 319 pxor %xmm0,%xmm15 320 321 pxor %xmm4,%xmm0 322 pxor %xmm1,%xmm4 323 pxor %xmm2,%xmm1 324 pxor %xmm4,%xmm2 325 pxor %xmm4,%xmm3 326 327 pxor %xmm2,%xmm5 328 decl %r10d 329 jl .Lenc_done 330 pshufd $147,%xmm15,%xmm7 331 pshufd $147,%xmm0,%xmm8 332 pxor %xmm7,%xmm15 333 pshufd $147,%xmm3,%xmm9 334 pxor %xmm8,%xmm0 335 pshufd $147,%xmm5,%xmm10 336 pxor %xmm9,%xmm3 337 pshufd $147,%xmm2,%xmm11 338 pxor %xmm10,%xmm5 339 pshufd $147,%xmm6,%xmm12 340 pxor %xmm11,%xmm2 341 pshufd $147,%xmm1,%xmm13 342 pxor %xmm12,%xmm6 343 pshufd $147,%xmm4,%xmm14 344 pxor %xmm13,%xmm1 345 pxor %xmm14,%xmm4 346 347 pxor %xmm15,%xmm8 348 pxor %xmm4,%xmm7 349 pxor %xmm4,%xmm8 350 pshufd $78,%xmm15,%xmm15 351 pxor %xmm0,%xmm9 352 pshufd $78,%xmm0,%xmm0 353 pxor %xmm2,%xmm12 354 pxor %xmm7,%xmm15 355 pxor %xmm6,%xmm13 356 pxor %xmm8,%xmm0 357 pxor %xmm5,%xmm11 358 pshufd $78,%xmm2,%xmm7 359 pxor %xmm1,%xmm14 360 pshufd $78,%xmm6,%xmm8 361 pxor %xmm3,%xmm10 362 pshufd $78,%xmm5,%xmm2 363 pxor %xmm4,%xmm10 364 pshufd $78,%xmm4,%xmm6 365 pxor %xmm4,%xmm11 366 pshufd $78,%xmm1,%xmm5 367 pxor %xmm11,%xmm7 368 pshufd $78,%xmm3,%xmm1 369 pxor %xmm12,%xmm8 370 pxor %xmm10,%xmm2 371 pxor %xmm14,%xmm6 372 pxor %xmm13,%xmm5 373 movdqa %xmm7,%xmm3 374 pxor %xmm9,%xmm1 375 movdqa %xmm8,%xmm4 376 movdqa 48(%r11),%xmm7 377 jnz .Lenc_loop 378 movdqa 64(%r11),%xmm7 379 jmp .Lenc_loop 380 .align 16 381 .Lenc_done: 382 movdqa 0(%r11),%xmm7 383 movdqa 16(%r11),%xmm8 384 movdqa %xmm1,%xmm9 385 psrlq $1,%xmm1 386 movdqa %xmm2,%xmm10 387 psrlq $1,%xmm2 388 pxor %xmm4,%xmm1 389 pxor %xmm6,%xmm2 390 pand %xmm7,%xmm1 391 pand %xmm7,%xmm2 392 pxor %xmm1,%xmm4 393 psllq $1,%xmm1 394 pxor %xmm2,%xmm6 395 psllq $1,%xmm2 396 pxor %xmm9,%xmm1 397 pxor %xmm10,%xmm2 398 movdqa %xmm3,%xmm9 399 psrlq $1,%xmm3 400 movdqa %xmm15,%xmm10 401 psrlq $1,%xmm15 402 pxor %xmm5,%xmm3 403 pxor %xmm0,%xmm15 404 pand %xmm7,%xmm3 405 pand %xmm7,%xmm15 406 pxor %xmm3,%xmm5 407 psllq $1,%xmm3 408 pxor %xmm15,%xmm0 409 psllq $1,%xmm15 410 pxor %xmm9,%xmm3 411 pxor %xmm10,%xmm15 412 movdqa 32(%r11),%xmm7 413 movdqa %xmm6,%xmm9 414 psrlq $2,%xmm6 415 movdqa %xmm2,%xmm10 416 psrlq $2,%xmm2 417 pxor %xmm4,%xmm6 418 pxor %xmm1,%xmm2 419 pand %xmm8,%xmm6 420 pand %xmm8,%xmm2 421 pxor %xmm6,%xmm4 422 psllq $2,%xmm6 423 pxor %xmm2,%xmm1 424 psllq $2,%xmm2 425 pxor %xmm9,%xmm6 426 pxor %xmm10,%xmm2 427 movdqa %xmm0,%xmm9 428 psrlq $2,%xmm0 429 movdqa %xmm15,%xmm10 430 psrlq $2,%xmm15 431 pxor %xmm5,%xmm0 432 pxor %xmm3,%xmm15 433 pand %xmm8,%xmm0 434 pand %xmm8,%xmm15 435 pxor %xmm0,%xmm5 436 psllq $2,%xmm0 437 pxor %xmm15,%xmm3 438 psllq $2,%xmm15 439 pxor %xmm9,%xmm0 440 pxor %xmm10,%xmm15 441 movdqa %xmm5,%xmm9 442 psrlq $4,%xmm5 443 movdqa %xmm3,%xmm10 444 psrlq $4,%xmm3 445 pxor %xmm4,%xmm5 446 pxor %xmm1,%xmm3 447 pand %xmm7,%xmm5 448 pand %xmm7,%xmm3 449 pxor %xmm5,%xmm4 450 psllq $4,%xmm5 451 pxor %xmm3,%xmm1 452 psllq $4,%xmm3 453 pxor %xmm9,%xmm5 454 pxor %xmm10,%xmm3 455 movdqa %xmm0,%xmm9 456 psrlq $4,%xmm0 457 movdqa %xmm15,%xmm10 458 psrlq $4,%xmm15 459 pxor %xmm6,%xmm0 460 pxor %xmm2,%xmm15 461 pand %xmm7,%xmm0 462 pand %xmm7,%xmm15 463 pxor %xmm0,%xmm6 464 psllq $4,%xmm0 465 pxor %xmm15,%xmm2 466 psllq $4,%xmm15 467 pxor %xmm9,%xmm0 468 pxor %xmm10,%xmm15 469 movdqa (%rax),%xmm7 470 pxor %xmm7,%xmm3 471 pxor %xmm7,%xmm5 472 pxor %xmm7,%xmm2 473 pxor %xmm7,%xmm6 474 pxor %xmm7,%xmm1 475 pxor %xmm7,%xmm4 476 pxor %xmm7,%xmm15 477 pxor %xmm7,%xmm0 478 .byte 0xf3,0xc3 479 .size _bsaes_encrypt8,.-_bsaes_encrypt8 480 481 .type _bsaes_decrypt8,@function 482 .align 64 483 _bsaes_decrypt8: 484 leaq .LBS0(%rip),%r11 485 486 movdqa (%rax),%xmm8 487 leaq 16(%rax),%rax 488 movdqa -48(%r11),%xmm7 489 pxor %xmm8,%xmm15 490 pxor %xmm8,%xmm0 491 pxor %xmm8,%xmm1 492 pxor %xmm8,%xmm2 493 .byte 102,68,15,56,0,255 494 .byte 102,15,56,0,199 495 pxor %xmm8,%xmm3 496 pxor %xmm8,%xmm4 497 .byte 102,15,56,0,207 498 .byte 102,15,56,0,215 499 pxor %xmm8,%xmm5 500 pxor %xmm8,%xmm6 501 .byte 102,15,56,0,223 502 .byte 102,15,56,0,231 503 .byte 102,15,56,0,239 504 .byte 102,15,56,0,247 505 movdqa 0(%r11),%xmm7 506 movdqa 16(%r11),%xmm8 507 movdqa %xmm5,%xmm9 508 psrlq $1,%xmm5 509 movdqa %xmm3,%xmm10 510 psrlq $1,%xmm3 511 pxor %xmm6,%xmm5 512 pxor %xmm4,%xmm3 513 pand %xmm7,%xmm5 514 pand %xmm7,%xmm3 515 pxor %xmm5,%xmm6 516 psllq $1,%xmm5 517 pxor %xmm3,%xmm4 518 psllq $1,%xmm3 519 pxor %xmm9,%xmm5 520 pxor %xmm10,%xmm3 521 movdqa %xmm1,%xmm9 522 psrlq $1,%xmm1 523 movdqa %xmm15,%xmm10 524 psrlq $1,%xmm15 525 pxor %xmm2,%xmm1 526 pxor %xmm0,%xmm15 527 pand %xmm7,%xmm1 528 pand %xmm7,%xmm15 529 pxor %xmm1,%xmm2 530 psllq $1,%xmm1 531 pxor %xmm15,%xmm0 532 psllq $1,%xmm15 533 pxor %xmm9,%xmm1 534 pxor %xmm10,%xmm15 535 movdqa 32(%r11),%xmm7 536 movdqa %xmm4,%xmm9 537 psrlq $2,%xmm4 538 movdqa %xmm3,%xmm10 539 psrlq $2,%xmm3 540 pxor %xmm6,%xmm4 541 pxor %xmm5,%xmm3 542 pand %xmm8,%xmm4 543 pand %xmm8,%xmm3 544 pxor %xmm4,%xmm6 545 psllq $2,%xmm4 546 pxor %xmm3,%xmm5 547 psllq $2,%xmm3 548 pxor %xmm9,%xmm4 549 pxor %xmm10,%xmm3 550 movdqa %xmm0,%xmm9 551 psrlq $2,%xmm0 552 movdqa %xmm15,%xmm10 553 psrlq $2,%xmm15 554 pxor %xmm2,%xmm0 555 pxor %xmm1,%xmm15 556 pand %xmm8,%xmm0 557 pand %xmm8,%xmm15 558 pxor %xmm0,%xmm2 559 psllq $2,%xmm0 560 pxor %xmm15,%xmm1 561 psllq $2,%xmm15 562 pxor %xmm9,%xmm0 563 pxor %xmm10,%xmm15 564 movdqa %xmm2,%xmm9 565 psrlq $4,%xmm2 566 movdqa %xmm1,%xmm10 567 psrlq $4,%xmm1 568 pxor %xmm6,%xmm2 569 pxor %xmm5,%xmm1 570 pand %xmm7,%xmm2 571 pand %xmm7,%xmm1 572 pxor %xmm2,%xmm6 573 psllq $4,%xmm2 574 pxor %xmm1,%xmm5 575 psllq $4,%xmm1 576 pxor %xmm9,%xmm2 577 pxor %xmm10,%xmm1 578 movdqa %xmm0,%xmm9 579 psrlq $4,%xmm0 580 movdqa %xmm15,%xmm10 581 psrlq $4,%xmm15 582 pxor %xmm4,%xmm0 583 pxor %xmm3,%xmm15 584 pand %xmm7,%xmm0 585 pand %xmm7,%xmm15 586 pxor %xmm0,%xmm4 587 psllq $4,%xmm0 588 pxor %xmm15,%xmm3 589 psllq $4,%xmm15 590 pxor %xmm9,%xmm0 591 pxor %xmm10,%xmm15 592 decl %r10d 593 jmp .Ldec_sbox 594 .align 16 595 .Ldec_loop: 596 pxor 0(%rax),%xmm15 597 pxor 16(%rax),%xmm0 598 pxor 32(%rax),%xmm1 599 pxor 48(%rax),%xmm2 600 .byte 102,68,15,56,0,255 601 .byte 102,15,56,0,199 602 pxor 64(%rax),%xmm3 603 pxor 80(%rax),%xmm4 604 .byte 102,15,56,0,207 605 .byte 102,15,56,0,215 606 pxor 96(%rax),%xmm5 607 pxor 112(%rax),%xmm6 608 .byte 102,15,56,0,223 609 .byte 102,15,56,0,231 610 .byte 102,15,56,0,239 611 .byte 102,15,56,0,247 612 leaq 128(%rax),%rax 613 .Ldec_sbox: 614 pxor %xmm3,%xmm2 615 616 pxor %xmm6,%xmm3 617 pxor %xmm6,%xmm1 618 pxor %xmm3,%xmm5 619 pxor %xmm5,%xmm6 620 pxor %xmm6,%xmm0 621 622 pxor %xmm0,%xmm15 623 pxor %xmm4,%xmm1 624 pxor %xmm15,%xmm2 625 pxor %xmm15,%xmm4 626 pxor %xmm2,%xmm0 627 movdqa %xmm2,%xmm10 628 movdqa %xmm6,%xmm9 629 movdqa %xmm0,%xmm8 630 movdqa %xmm3,%xmm12 631 movdqa %xmm4,%xmm11 632 633 pxor %xmm15,%xmm10 634 pxor %xmm3,%xmm9 635 pxor %xmm5,%xmm8 636 movdqa %xmm10,%xmm13 637 pxor %xmm15,%xmm12 638 movdqa %xmm9,%xmm7 639 pxor %xmm1,%xmm11 640 movdqa %xmm10,%xmm14 641 642 por %xmm8,%xmm9 643 por %xmm11,%xmm10 644 pxor %xmm7,%xmm14 645 pand %xmm11,%xmm13 646 pxor %xmm8,%xmm11 647 pand %xmm8,%xmm7 648 pand %xmm11,%xmm14 649 movdqa %xmm5,%xmm11 650 pxor %xmm1,%xmm11 651 pand %xmm11,%xmm12 652 pxor %xmm12,%xmm10 653 pxor %xmm12,%xmm9 654 movdqa %xmm2,%xmm12 655 movdqa %xmm0,%xmm11 656 pxor %xmm6,%xmm12 657 pxor %xmm4,%xmm11 658 movdqa %xmm12,%xmm8 659 pand %xmm11,%xmm12 660 por %xmm11,%xmm8 661 pxor %xmm12,%xmm7 662 pxor %xmm14,%xmm10 663 pxor %xmm13,%xmm9 664 pxor %xmm14,%xmm8 665 movdqa %xmm3,%xmm11 666 pxor %xmm13,%xmm7 667 movdqa %xmm15,%xmm12 668 pxor %xmm13,%xmm8 669 movdqa %xmm6,%xmm13 670 pand %xmm5,%xmm11 671 movdqa %xmm2,%xmm14 672 pand %xmm1,%xmm12 673 pand %xmm0,%xmm13 674 por %xmm4,%xmm14 675 pxor %xmm11,%xmm10 676 pxor %xmm12,%xmm9 677 pxor %xmm13,%xmm8 678 pxor %xmm14,%xmm7 679 680 681 682 683 684 movdqa %xmm10,%xmm11 685 pand %xmm8,%xmm10 686 pxor %xmm9,%xmm11 687 688 movdqa %xmm7,%xmm13 689 movdqa %xmm11,%xmm14 690 pxor %xmm10,%xmm13 691 pand %xmm13,%xmm14 692 693 movdqa %xmm8,%xmm12 694 pxor %xmm9,%xmm14 695 pxor %xmm7,%xmm12 696 697 pxor %xmm9,%xmm10 698 699 pand %xmm10,%xmm12 700 701 movdqa %xmm13,%xmm9 702 pxor %xmm7,%xmm12 703 704 pxor %xmm12,%xmm9 705 pxor %xmm12,%xmm8 706 707 pand %xmm7,%xmm9 708 709 pxor %xmm9,%xmm13 710 pxor %xmm9,%xmm8 711 712 pand %xmm14,%xmm13 713 714 pxor %xmm11,%xmm13 715 movdqa %xmm4,%xmm11 716 movdqa %xmm0,%xmm7 717 movdqa %xmm14,%xmm9 718 pxor %xmm13,%xmm9 719 pand %xmm4,%xmm9 720 pxor %xmm0,%xmm4 721 pand %xmm14,%xmm0 722 pand %xmm13,%xmm4 723 pxor %xmm0,%xmm4 724 pxor %xmm9,%xmm0 725 pxor %xmm1,%xmm11 726 pxor %xmm5,%xmm7 727 pxor %xmm12,%xmm14 728 pxor %xmm8,%xmm13 729 movdqa %xmm14,%xmm10 730 movdqa %xmm12,%xmm9 731 pxor %xmm13,%xmm10 732 pxor %xmm8,%xmm9 733 pand %xmm11,%xmm10 734 pand %xmm1,%xmm9 735 pxor %xmm7,%xmm11 736 pxor %xmm5,%xmm1 737 pand %xmm14,%xmm7 738 pand %xmm12,%xmm5 739 pand %xmm13,%xmm11 740 pand %xmm8,%xmm1 741 pxor %xmm11,%xmm7 742 pxor %xmm5,%xmm1 743 pxor %xmm10,%xmm11 744 pxor %xmm9,%xmm5 745 pxor %xmm11,%xmm4 746 pxor %xmm11,%xmm1 747 pxor %xmm7,%xmm0 748 pxor %xmm7,%xmm5 749 750 movdqa %xmm2,%xmm11 751 movdqa %xmm6,%xmm7 752 pxor %xmm15,%xmm11 753 pxor %xmm3,%xmm7 754 movdqa %xmm14,%xmm10 755 movdqa %xmm12,%xmm9 756 pxor %xmm13,%xmm10 757 pxor %xmm8,%xmm9 758 pand %xmm11,%xmm10 759 pand %xmm15,%xmm9 760 pxor %xmm7,%xmm11 761 pxor %xmm3,%xmm15 762 pand %xmm14,%xmm7 763 pand %xmm12,%xmm3 764 pand %xmm13,%xmm11 765 pand %xmm8,%xmm15 766 pxor %xmm11,%xmm7 767 pxor %xmm3,%xmm15 768 pxor %xmm10,%xmm11 769 pxor %xmm9,%xmm3 770 pxor %xmm12,%xmm14 771 pxor %xmm8,%xmm13 772 movdqa %xmm14,%xmm10 773 pxor %xmm13,%xmm10 774 pand %xmm2,%xmm10 775 pxor %xmm6,%xmm2 776 pand %xmm14,%xmm6 777 pand %xmm13,%xmm2 778 pxor %xmm6,%xmm2 779 pxor %xmm10,%xmm6 780 pxor %xmm11,%xmm2 781 pxor %xmm11,%xmm15 782 pxor %xmm7,%xmm6 783 pxor %xmm7,%xmm3 784 pxor %xmm6,%xmm0 785 pxor %xmm4,%xmm5 786 787 pxor %xmm0,%xmm3 788 pxor %xmm6,%xmm1 789 pxor %xmm6,%xmm4 790 pxor %xmm1,%xmm3 791 pxor %xmm15,%xmm6 792 pxor %xmm4,%xmm3 793 pxor %xmm5,%xmm2 794 pxor %xmm0,%xmm5 795 pxor %xmm3,%xmm2 796 797 pxor %xmm15,%xmm3 798 pxor %xmm2,%xmm6 799 decl %r10d 800 jl .Ldec_done 801 802 pshufd $78,%xmm15,%xmm7 803 pshufd $78,%xmm2,%xmm13 804 pxor %xmm15,%xmm7 805 pshufd $78,%xmm4,%xmm14 806 pxor %xmm2,%xmm13 807 pshufd $78,%xmm0,%xmm8 808 pxor %xmm4,%xmm14 809 pshufd $78,%xmm5,%xmm9 810 pxor %xmm0,%xmm8 811 pshufd $78,%xmm3,%xmm10 812 pxor %xmm5,%xmm9 813 pxor %xmm13,%xmm15 814 pxor %xmm13,%xmm0 815 pshufd $78,%xmm1,%xmm11 816 pxor %xmm3,%xmm10 817 pxor %xmm7,%xmm5 818 pxor %xmm8,%xmm3 819 pshufd $78,%xmm6,%xmm12 820 pxor %xmm1,%xmm11 821 pxor %xmm14,%xmm0 822 pxor %xmm9,%xmm1 823 pxor %xmm6,%xmm12 824 825 pxor %xmm14,%xmm5 826 pxor %xmm13,%xmm3 827 pxor %xmm13,%xmm1 828 pxor %xmm10,%xmm6 829 pxor %xmm11,%xmm2 830 pxor %xmm14,%xmm1 831 pxor %xmm14,%xmm6 832 pxor %xmm12,%xmm4 833 pshufd $147,%xmm15,%xmm7 834 pshufd $147,%xmm0,%xmm8 835 pxor %xmm7,%xmm15 836 pshufd $147,%xmm5,%xmm9 837 pxor %xmm8,%xmm0 838 pshufd $147,%xmm3,%xmm10 839 pxor %xmm9,%xmm5 840 pshufd $147,%xmm1,%xmm11 841 pxor %xmm10,%xmm3 842 pshufd $147,%xmm6,%xmm12 843 pxor %xmm11,%xmm1 844 pshufd $147,%xmm2,%xmm13 845 pxor %xmm12,%xmm6 846 pshufd $147,%xmm4,%xmm14 847 pxor %xmm13,%xmm2 848 pxor %xmm14,%xmm4 849 850 pxor %xmm15,%xmm8 851 pxor %xmm4,%xmm7 852 pxor %xmm4,%xmm8 853 pshufd $78,%xmm15,%xmm15 854 pxor %xmm0,%xmm9 855 pshufd $78,%xmm0,%xmm0 856 pxor %xmm1,%xmm12 857 pxor %xmm7,%xmm15 858 pxor %xmm6,%xmm13 859 pxor %xmm8,%xmm0 860 pxor %xmm3,%xmm11 861 pshufd $78,%xmm1,%xmm7 862 pxor %xmm2,%xmm14 863 pshufd $78,%xmm6,%xmm8 864 pxor %xmm5,%xmm10 865 pshufd $78,%xmm3,%xmm1 866 pxor %xmm4,%xmm10 867 pshufd $78,%xmm4,%xmm6 868 pxor %xmm4,%xmm11 869 pshufd $78,%xmm2,%xmm3 870 pxor %xmm11,%xmm7 871 pshufd $78,%xmm5,%xmm2 872 pxor %xmm12,%xmm8 873 pxor %xmm1,%xmm10 874 pxor %xmm14,%xmm6 875 pxor %xmm3,%xmm13 876 movdqa %xmm7,%xmm3 877 pxor %xmm9,%xmm2 878 movdqa %xmm13,%xmm5 879 movdqa %xmm8,%xmm4 880 movdqa %xmm2,%xmm1 881 movdqa %xmm10,%xmm2 882 movdqa -16(%r11),%xmm7 883 jnz .Ldec_loop 884 movdqa -32(%r11),%xmm7 885 jmp .Ldec_loop 886 .align 16 887 .Ldec_done: 888 movdqa 0(%r11),%xmm7 889 movdqa 16(%r11),%xmm8 890 movdqa %xmm2,%xmm9 891 psrlq $1,%xmm2 892 movdqa %xmm1,%xmm10 893 psrlq $1,%xmm1 894 pxor %xmm4,%xmm2 895 pxor %xmm6,%xmm1 896 pand %xmm7,%xmm2 897 pand %xmm7,%xmm1 898 pxor %xmm2,%xmm4 899 psllq $1,%xmm2 900 pxor %xmm1,%xmm6 901 psllq $1,%xmm1 902 pxor %xmm9,%xmm2 903 pxor %xmm10,%xmm1 904 movdqa %xmm5,%xmm9 905 psrlq $1,%xmm5 906 movdqa %xmm15,%xmm10 907 psrlq $1,%xmm15 908 pxor %xmm3,%xmm5 909 pxor %xmm0,%xmm15 910 pand %xmm7,%xmm5 911 pand %xmm7,%xmm15 912 pxor %xmm5,%xmm3 913 psllq $1,%xmm5 914 pxor %xmm15,%xmm0 915 psllq $1,%xmm15 916 pxor %xmm9,%xmm5 917 pxor %xmm10,%xmm15 918 movdqa 32(%r11),%xmm7 919 movdqa %xmm6,%xmm9 920 psrlq $2,%xmm6 921 movdqa %xmm1,%xmm10 922 psrlq $2,%xmm1 923 pxor %xmm4,%xmm6 924 pxor %xmm2,%xmm1 925 pand %xmm8,%xmm6 926 pand %xmm8,%xmm1 927 pxor %xmm6,%xmm4 928 psllq $2,%xmm6 929 pxor %xmm1,%xmm2 930 psllq $2,%xmm1 931 pxor %xmm9,%xmm6 932 pxor %xmm10,%xmm1 933 movdqa %xmm0,%xmm9 934 psrlq $2,%xmm0 935 movdqa %xmm15,%xmm10 936 psrlq $2,%xmm15 937 pxor %xmm3,%xmm0 938 pxor %xmm5,%xmm15 939 pand %xmm8,%xmm0 940 pand %xmm8,%xmm15 941 pxor %xmm0,%xmm3 942 psllq $2,%xmm0 943 pxor %xmm15,%xmm5 944 psllq $2,%xmm15 945 pxor %xmm9,%xmm0 946 pxor %xmm10,%xmm15 947 movdqa %xmm3,%xmm9 948 psrlq $4,%xmm3 949 movdqa %xmm5,%xmm10 950 psrlq $4,%xmm5 951 pxor %xmm4,%xmm3 952 pxor %xmm2,%xmm5 953 pand %xmm7,%xmm3 954 pand %xmm7,%xmm5 955 pxor %xmm3,%xmm4 956 psllq $4,%xmm3 957 pxor %xmm5,%xmm2 958 psllq $4,%xmm5 959 pxor %xmm9,%xmm3 960 pxor %xmm10,%xmm5 961 movdqa %xmm0,%xmm9 962 psrlq $4,%xmm0 963 movdqa %xmm15,%xmm10 964 psrlq $4,%xmm15 965 pxor %xmm6,%xmm0 966 pxor %xmm1,%xmm15 967 pand %xmm7,%xmm0 968 pand %xmm7,%xmm15 969 pxor %xmm0,%xmm6 970 psllq $4,%xmm0 971 pxor %xmm15,%xmm1 972 psllq $4,%xmm15 973 pxor %xmm9,%xmm0 974 pxor %xmm10,%xmm15 975 movdqa (%rax),%xmm7 976 pxor %xmm7,%xmm5 977 pxor %xmm7,%xmm3 978 pxor %xmm7,%xmm1 979 pxor %xmm7,%xmm6 980 pxor %xmm7,%xmm2 981 pxor %xmm7,%xmm4 982 pxor %xmm7,%xmm15 983 pxor %xmm7,%xmm0 984 .byte 0xf3,0xc3 985 .size _bsaes_decrypt8,.-_bsaes_decrypt8 986 .type _bsaes_key_convert,@function 987 .align 16 988 _bsaes_key_convert: 989 leaq .Lmasks(%rip),%r11 990 movdqu (%rcx),%xmm7 991 leaq 16(%rcx),%rcx 992 movdqa 0(%r11),%xmm0 993 movdqa 16(%r11),%xmm1 994 movdqa 32(%r11),%xmm2 995 movdqa 48(%r11),%xmm3 996 movdqa 64(%r11),%xmm4 997 pcmpeqd %xmm5,%xmm5 998 999 movdqu (%rcx),%xmm6 1000 movdqa %xmm7,(%rax) 1001 leaq 16(%rax),%rax 1002 decl %r10d 1003 jmp .Lkey_loop 1004 .align 16 1005 .Lkey_loop: 1006 .byte 102,15,56,0,244 1007 1008 movdqa %xmm0,%xmm8 1009 movdqa %xmm1,%xmm9 1010 1011 pand %xmm6,%xmm8 1012 pand %xmm6,%xmm9 1013 movdqa %xmm2,%xmm10 1014 pcmpeqb %xmm0,%xmm8 1015 psllq $4,%xmm0 1016 movdqa %xmm3,%xmm11 1017 pcmpeqb %xmm1,%xmm9 1018 psllq $4,%xmm1 1019 1020 pand %xmm6,%xmm10 1021 pand %xmm6,%xmm11 1022 movdqa %xmm0,%xmm12 1023 pcmpeqb %xmm2,%xmm10 1024 psllq $4,%xmm2 1025 movdqa %xmm1,%xmm13 1026 pcmpeqb %xmm3,%xmm11 1027 psllq $4,%xmm3 1028 1029 movdqa %xmm2,%xmm14 1030 movdqa %xmm3,%xmm15 1031 pxor %xmm5,%xmm8 1032 pxor %xmm5,%xmm9 1033 1034 pand %xmm6,%xmm12 1035 pand %xmm6,%xmm13 1036 movdqa %xmm8,0(%rax) 1037 pcmpeqb %xmm0,%xmm12 1038 psrlq $4,%xmm0 1039 movdqa %xmm9,16(%rax) 1040 pcmpeqb %xmm1,%xmm13 1041 psrlq $4,%xmm1 1042 leaq 16(%rcx),%rcx 1043 1044 pand %xmm6,%xmm14 1045 pand %xmm6,%xmm15 1046 movdqa %xmm10,32(%rax) 1047 pcmpeqb %xmm2,%xmm14 1048 psrlq $4,%xmm2 1049 movdqa %xmm11,48(%rax) 1050 pcmpeqb %xmm3,%xmm15 1051 psrlq $4,%xmm3 1052 movdqu (%rcx),%xmm6 1053 1054 pxor %xmm5,%xmm13 1055 pxor %xmm5,%xmm14 1056 movdqa %xmm12,64(%rax) 1057 movdqa %xmm13,80(%rax) 1058 movdqa %xmm14,96(%rax) 1059 movdqa %xmm15,112(%rax) 1060 leaq 128(%rax),%rax 1061 decl %r10d 1062 jnz .Lkey_loop 1063 1064 movdqa 80(%r11),%xmm7 1065 1066 .byte 0xf3,0xc3 1067 .size _bsaes_key_convert,.-_bsaes_key_convert 1068 .extern asm_AES_cbc_encrypt 1069 .hidden asm_AES_cbc_encrypt 1070 .globl bsaes_cbc_encrypt 1071 .hidden bsaes_cbc_encrypt 1072 .type bsaes_cbc_encrypt,@function 1073 .align 16 1074 bsaes_cbc_encrypt: 1075 cmpl $0,%r9d 1076 jne asm_AES_cbc_encrypt 1077 cmpq $128,%rdx 1078 jb asm_AES_cbc_encrypt 1079 1080 movq %rsp,%rax 1081 .Lcbc_dec_prologue: 1082 pushq %rbp 1083 pushq %rbx 1084 pushq %r12 1085 pushq %r13 1086 pushq %r14 1087 pushq %r15 1088 leaq -72(%rsp),%rsp 1089 movq %rsp,%rbp 1090 movl 240(%rcx),%eax 1091 movq %rdi,%r12 1092 movq %rsi,%r13 1093 movq %rdx,%r14 1094 movq %rcx,%r15 1095 movq %r8,%rbx 1096 shrq $4,%r14 1097 1098 movl %eax,%edx 1099 shlq $7,%rax 1100 subq $96,%rax 1101 subq %rax,%rsp 1102 1103 movq %rsp,%rax 1104 movq %r15,%rcx 1105 movl %edx,%r10d 1106 call _bsaes_key_convert 1107 pxor (%rsp),%xmm7 1108 movdqa %xmm6,(%rax) 1109 movdqa %xmm7,(%rsp) 1110 1111 movdqu (%rbx),%xmm14 1112 subq $8,%r14 1113 .Lcbc_dec_loop: 1114 movdqu 0(%r12),%xmm15 1115 movdqu 16(%r12),%xmm0 1116 movdqu 32(%r12),%xmm1 1117 movdqu 48(%r12),%xmm2 1118 movdqu 64(%r12),%xmm3 1119 movdqu 80(%r12),%xmm4 1120 movq %rsp,%rax 1121 movdqu 96(%r12),%xmm5 1122 movl %edx,%r10d 1123 movdqu 112(%r12),%xmm6 1124 movdqa %xmm14,32(%rbp) 1125 1126 call _bsaes_decrypt8 1127 1128 pxor 32(%rbp),%xmm15 1129 movdqu 0(%r12),%xmm7 1130 movdqu 16(%r12),%xmm8 1131 pxor %xmm7,%xmm0 1132 movdqu 32(%r12),%xmm9 1133 pxor %xmm8,%xmm5 1134 movdqu 48(%r12),%xmm10 1135 pxor %xmm9,%xmm3 1136 movdqu 64(%r12),%xmm11 1137 pxor %xmm10,%xmm1 1138 movdqu 80(%r12),%xmm12 1139 pxor %xmm11,%xmm6 1140 movdqu 96(%r12),%xmm13 1141 pxor %xmm12,%xmm2 1142 movdqu 112(%r12),%xmm14 1143 pxor %xmm13,%xmm4 1144 movdqu %xmm15,0(%r13) 1145 leaq 128(%r12),%r12 1146 movdqu %xmm0,16(%r13) 1147 movdqu %xmm5,32(%r13) 1148 movdqu %xmm3,48(%r13) 1149 movdqu %xmm1,64(%r13) 1150 movdqu %xmm6,80(%r13) 1151 movdqu %xmm2,96(%r13) 1152 movdqu %xmm4,112(%r13) 1153 leaq 128(%r13),%r13 1154 subq $8,%r14 1155 jnc .Lcbc_dec_loop 1156 1157 addq $8,%r14 1158 jz .Lcbc_dec_done 1159 1160 movdqu 0(%r12),%xmm15 1161 movq %rsp,%rax 1162 movl %edx,%r10d 1163 cmpq $2,%r14 1164 jb .Lcbc_dec_one 1165 movdqu 16(%r12),%xmm0 1166 je .Lcbc_dec_two 1167 movdqu 32(%r12),%xmm1 1168 cmpq $4,%r14 1169 jb .Lcbc_dec_three 1170 movdqu 48(%r12),%xmm2 1171 je .Lcbc_dec_four 1172 movdqu 64(%r12),%xmm3 1173 cmpq $6,%r14 1174 jb .Lcbc_dec_five 1175 movdqu 80(%r12),%xmm4 1176 je .Lcbc_dec_six 1177 movdqu 96(%r12),%xmm5 1178 movdqa %xmm14,32(%rbp) 1179 call _bsaes_decrypt8 1180 pxor 32(%rbp),%xmm15 1181 movdqu 0(%r12),%xmm7 1182 movdqu 16(%r12),%xmm8 1183 pxor %xmm7,%xmm0 1184 movdqu 32(%r12),%xmm9 1185 pxor %xmm8,%xmm5 1186 movdqu 48(%r12),%xmm10 1187 pxor %xmm9,%xmm3 1188 movdqu 64(%r12),%xmm11 1189 pxor %xmm10,%xmm1 1190 movdqu 80(%r12),%xmm12 1191 pxor %xmm11,%xmm6 1192 movdqu 96(%r12),%xmm14 1193 pxor %xmm12,%xmm2 1194 movdqu %xmm15,0(%r13) 1195 movdqu %xmm0,16(%r13) 1196 movdqu %xmm5,32(%r13) 1197 movdqu %xmm3,48(%r13) 1198 movdqu %xmm1,64(%r13) 1199 movdqu %xmm6,80(%r13) 1200 movdqu %xmm2,96(%r13) 1201 jmp .Lcbc_dec_done 1202 .align 16 1203 .Lcbc_dec_six: 1204 movdqa %xmm14,32(%rbp) 1205 call _bsaes_decrypt8 1206 pxor 32(%rbp),%xmm15 1207 movdqu 0(%r12),%xmm7 1208 movdqu 16(%r12),%xmm8 1209 pxor %xmm7,%xmm0 1210 movdqu 32(%r12),%xmm9 1211 pxor %xmm8,%xmm5 1212 movdqu 48(%r12),%xmm10 1213 pxor %xmm9,%xmm3 1214 movdqu 64(%r12),%xmm11 1215 pxor %xmm10,%xmm1 1216 movdqu 80(%r12),%xmm14 1217 pxor %xmm11,%xmm6 1218 movdqu %xmm15,0(%r13) 1219 movdqu %xmm0,16(%r13) 1220 movdqu %xmm5,32(%r13) 1221 movdqu %xmm3,48(%r13) 1222 movdqu %xmm1,64(%r13) 1223 movdqu %xmm6,80(%r13) 1224 jmp .Lcbc_dec_done 1225 .align 16 1226 .Lcbc_dec_five: 1227 movdqa %xmm14,32(%rbp) 1228 call _bsaes_decrypt8 1229 pxor 32(%rbp),%xmm15 1230 movdqu 0(%r12),%xmm7 1231 movdqu 16(%r12),%xmm8 1232 pxor %xmm7,%xmm0 1233 movdqu 32(%r12),%xmm9 1234 pxor %xmm8,%xmm5 1235 movdqu 48(%r12),%xmm10 1236 pxor %xmm9,%xmm3 1237 movdqu 64(%r12),%xmm14 1238 pxor %xmm10,%xmm1 1239 movdqu %xmm15,0(%r13) 1240 movdqu %xmm0,16(%r13) 1241 movdqu %xmm5,32(%r13) 1242 movdqu %xmm3,48(%r13) 1243 movdqu %xmm1,64(%r13) 1244 jmp .Lcbc_dec_done 1245 .align 16 1246 .Lcbc_dec_four: 1247 movdqa %xmm14,32(%rbp) 1248 call _bsaes_decrypt8 1249 pxor 32(%rbp),%xmm15 1250 movdqu 0(%r12),%xmm7 1251 movdqu 16(%r12),%xmm8 1252 pxor %xmm7,%xmm0 1253 movdqu 32(%r12),%xmm9 1254 pxor %xmm8,%xmm5 1255 movdqu 48(%r12),%xmm14 1256 pxor %xmm9,%xmm3 1257 movdqu %xmm15,0(%r13) 1258 movdqu %xmm0,16(%r13) 1259 movdqu %xmm5,32(%r13) 1260 movdqu %xmm3,48(%r13) 1261 jmp .Lcbc_dec_done 1262 .align 16 1263 .Lcbc_dec_three: 1264 movdqa %xmm14,32(%rbp) 1265 call _bsaes_decrypt8 1266 pxor 32(%rbp),%xmm15 1267 movdqu 0(%r12),%xmm7 1268 movdqu 16(%r12),%xmm8 1269 pxor %xmm7,%xmm0 1270 movdqu 32(%r12),%xmm14 1271 pxor %xmm8,%xmm5 1272 movdqu %xmm15,0(%r13) 1273 movdqu %xmm0,16(%r13) 1274 movdqu %xmm5,32(%r13) 1275 jmp .Lcbc_dec_done 1276 .align 16 1277 .Lcbc_dec_two: 1278 movdqa %xmm14,32(%rbp) 1279 call _bsaes_decrypt8 1280 pxor 32(%rbp),%xmm15 1281 movdqu 0(%r12),%xmm7 1282 movdqu 16(%r12),%xmm14 1283 pxor %xmm7,%xmm0 1284 movdqu %xmm15,0(%r13) 1285 movdqu %xmm0,16(%r13) 1286 jmp .Lcbc_dec_done 1287 .align 16 1288 .Lcbc_dec_one: 1289 leaq (%r12),%rdi 1290 leaq 32(%rbp),%rsi 1291 leaq (%r15),%rdx 1292 call asm_AES_decrypt 1293 pxor 32(%rbp),%xmm14 1294 movdqu %xmm14,(%r13) 1295 movdqa %xmm15,%xmm14 1296 1297 .Lcbc_dec_done: 1298 movdqu %xmm14,(%rbx) 1299 leaq (%rsp),%rax 1300 pxor %xmm0,%xmm0 1301 .Lcbc_dec_bzero: 1302 movdqa %xmm0,0(%rax) 1303 movdqa %xmm0,16(%rax) 1304 leaq 32(%rax),%rax 1305 cmpq %rax,%rbp 1306 ja .Lcbc_dec_bzero 1307 1308 leaq (%rbp),%rsp 1309 movq 72(%rsp),%r15 1310 movq 80(%rsp),%r14 1311 movq 88(%rsp),%r13 1312 movq 96(%rsp),%r12 1313 movq 104(%rsp),%rbx 1314 movq 112(%rsp),%rax 1315 leaq 120(%rsp),%rsp 1316 movq %rax,%rbp 1317 .Lcbc_dec_epilogue: 1318 .byte 0xf3,0xc3 1319 .size bsaes_cbc_encrypt,.-bsaes_cbc_encrypt 1320 1321 .globl bsaes_ctr32_encrypt_blocks 1322 .hidden bsaes_ctr32_encrypt_blocks 1323 .type bsaes_ctr32_encrypt_blocks,@function 1324 .align 16 1325 bsaes_ctr32_encrypt_blocks: 1326 movq %rsp,%rax 1327 .Lctr_enc_prologue: 1328 pushq %rbp 1329 pushq %rbx 1330 pushq %r12 1331 pushq %r13 1332 pushq %r14 1333 pushq %r15 1334 leaq -72(%rsp),%rsp 1335 movq %rsp,%rbp 1336 movdqu (%r8),%xmm0 1337 movl 240(%rcx),%eax 1338 movq %rdi,%r12 1339 movq %rsi,%r13 1340 movq %rdx,%r14 1341 movq %rcx,%r15 1342 movdqa %xmm0,32(%rbp) 1343 cmpq $8,%rdx 1344 jb .Lctr_enc_short 1345 1346 movl %eax,%ebx 1347 shlq $7,%rax 1348 subq $96,%rax 1349 subq %rax,%rsp 1350 1351 movq %rsp,%rax 1352 movq %r15,%rcx 1353 movl %ebx,%r10d 1354 call _bsaes_key_convert 1355 pxor %xmm6,%xmm7 1356 movdqa %xmm7,(%rax) 1357 1358 movdqa (%rsp),%xmm8 1359 leaq .LADD1(%rip),%r11 1360 movdqa 32(%rbp),%xmm15 1361 movdqa -32(%r11),%xmm7 1362 .byte 102,68,15,56,0,199 1363 .byte 102,68,15,56,0,255 1364 movdqa %xmm8,(%rsp) 1365 jmp .Lctr_enc_loop 1366 .align 16 1367 .Lctr_enc_loop: 1368 movdqa %xmm15,32(%rbp) 1369 movdqa %xmm15,%xmm0 1370 movdqa %xmm15,%xmm1 1371 paddd 0(%r11),%xmm0 1372 movdqa %xmm15,%xmm2 1373 paddd 16(%r11),%xmm1 1374 movdqa %xmm15,%xmm3 1375 paddd 32(%r11),%xmm2 1376 movdqa %xmm15,%xmm4 1377 paddd 48(%r11),%xmm3 1378 movdqa %xmm15,%xmm5 1379 paddd 64(%r11),%xmm4 1380 movdqa %xmm15,%xmm6 1381 paddd 80(%r11),%xmm5 1382 paddd 96(%r11),%xmm6 1383 1384 1385 1386 movdqa (%rsp),%xmm8 1387 leaq 16(%rsp),%rax 1388 movdqa -16(%r11),%xmm7 1389 pxor %xmm8,%xmm15 1390 pxor %xmm8,%xmm0 1391 pxor %xmm8,%xmm1 1392 pxor %xmm8,%xmm2 1393 .byte 102,68,15,56,0,255 1394 .byte 102,15,56,0,199 1395 pxor %xmm8,%xmm3 1396 pxor %xmm8,%xmm4 1397 .byte 102,15,56,0,207 1398 .byte 102,15,56,0,215 1399 pxor %xmm8,%xmm5 1400 pxor %xmm8,%xmm6 1401 .byte 102,15,56,0,223 1402 .byte 102,15,56,0,231 1403 .byte 102,15,56,0,239 1404 .byte 102,15,56,0,247 1405 leaq .LBS0(%rip),%r11 1406 movl %ebx,%r10d 1407 1408 call _bsaes_encrypt8_bitslice 1409 1410 subq $8,%r14 1411 jc .Lctr_enc_loop_done 1412 1413 movdqu 0(%r12),%xmm7 1414 movdqu 16(%r12),%xmm8 1415 movdqu 32(%r12),%xmm9 1416 movdqu 48(%r12),%xmm10 1417 movdqu 64(%r12),%xmm11 1418 movdqu 80(%r12),%xmm12 1419 movdqu 96(%r12),%xmm13 1420 movdqu 112(%r12),%xmm14 1421 leaq 128(%r12),%r12 1422 pxor %xmm15,%xmm7 1423 movdqa 32(%rbp),%xmm15 1424 pxor %xmm8,%xmm0 1425 movdqu %xmm7,0(%r13) 1426 pxor %xmm9,%xmm3 1427 movdqu %xmm0,16(%r13) 1428 pxor %xmm10,%xmm5 1429 movdqu %xmm3,32(%r13) 1430 pxor %xmm11,%xmm2 1431 movdqu %xmm5,48(%r13) 1432 pxor %xmm12,%xmm6 1433 movdqu %xmm2,64(%r13) 1434 pxor %xmm13,%xmm1 1435 movdqu %xmm6,80(%r13) 1436 pxor %xmm14,%xmm4 1437 movdqu %xmm1,96(%r13) 1438 leaq .LADD1(%rip),%r11 1439 movdqu %xmm4,112(%r13) 1440 leaq 128(%r13),%r13 1441 paddd 112(%r11),%xmm15 1442 jnz .Lctr_enc_loop 1443 1444 jmp .Lctr_enc_done 1445 .align 16 1446 .Lctr_enc_loop_done: 1447 addq $8,%r14 1448 movdqu 0(%r12),%xmm7 1449 pxor %xmm7,%xmm15 1450 movdqu %xmm15,0(%r13) 1451 cmpq $2,%r14 1452 jb .Lctr_enc_done 1453 movdqu 16(%r12),%xmm8 1454 pxor %xmm8,%xmm0 1455 movdqu %xmm0,16(%r13) 1456 je .Lctr_enc_done 1457 movdqu 32(%r12),%xmm9 1458 pxor %xmm9,%xmm3 1459 movdqu %xmm3,32(%r13) 1460 cmpq $4,%r14 1461 jb .Lctr_enc_done 1462 movdqu 48(%r12),%xmm10 1463 pxor %xmm10,%xmm5 1464 movdqu %xmm5,48(%r13) 1465 je .Lctr_enc_done 1466 movdqu 64(%r12),%xmm11 1467 pxor %xmm11,%xmm2 1468 movdqu %xmm2,64(%r13) 1469 cmpq $6,%r14 1470 jb .Lctr_enc_done 1471 movdqu 80(%r12),%xmm12 1472 pxor %xmm12,%xmm6 1473 movdqu %xmm6,80(%r13) 1474 je .Lctr_enc_done 1475 movdqu 96(%r12),%xmm13 1476 pxor %xmm13,%xmm1 1477 movdqu %xmm1,96(%r13) 1478 jmp .Lctr_enc_done 1479 1480 .align 16 1481 .Lctr_enc_short: 1482 leaq 32(%rbp),%rdi 1483 leaq 48(%rbp),%rsi 1484 leaq (%r15),%rdx 1485 call asm_AES_encrypt 1486 movdqu (%r12),%xmm0 1487 leaq 16(%r12),%r12 1488 movl 44(%rbp),%eax 1489 bswapl %eax 1490 pxor 48(%rbp),%xmm0 1491 incl %eax 1492 movdqu %xmm0,(%r13) 1493 bswapl %eax 1494 leaq 16(%r13),%r13 1495 movl %eax,44(%rsp) 1496 decq %r14 1497 jnz .Lctr_enc_short 1498 1499 .Lctr_enc_done: 1500 leaq (%rsp),%rax 1501 pxor %xmm0,%xmm0 1502 .Lctr_enc_bzero: 1503 movdqa %xmm0,0(%rax) 1504 movdqa %xmm0,16(%rax) 1505 leaq 32(%rax),%rax 1506 cmpq %rax,%rbp 1507 ja .Lctr_enc_bzero 1508 1509 leaq (%rbp),%rsp 1510 movq 72(%rsp),%r15 1511 movq 80(%rsp),%r14 1512 movq 88(%rsp),%r13 1513 movq 96(%rsp),%r12 1514 movq 104(%rsp),%rbx 1515 movq 112(%rsp),%rax 1516 leaq 120(%rsp),%rsp 1517 movq %rax,%rbp 1518 .Lctr_enc_epilogue: 1519 .byte 0xf3,0xc3 1520 .size bsaes_ctr32_encrypt_blocks,.-bsaes_ctr32_encrypt_blocks 1521 .globl bsaes_xts_encrypt 1522 .hidden bsaes_xts_encrypt 1523 .type bsaes_xts_encrypt,@function 1524 .align 16 1525 bsaes_xts_encrypt: 1526 movq %rsp,%rax 1527 .Lxts_enc_prologue: 1528 pushq %rbp 1529 pushq %rbx 1530 pushq %r12 1531 pushq %r13 1532 pushq %r14 1533 pushq %r15 1534 leaq -72(%rsp),%rsp 1535 movq %rsp,%rbp 1536 movq %rdi,%r12 1537 movq %rsi,%r13 1538 movq %rdx,%r14 1539 movq %rcx,%r15 1540 1541 leaq (%r9),%rdi 1542 leaq 32(%rbp),%rsi 1543 leaq (%r8),%rdx 1544 call asm_AES_encrypt 1545 1546 movl 240(%r15),%eax 1547 movq %r14,%rbx 1548 1549 movl %eax,%edx 1550 shlq $7,%rax 1551 subq $96,%rax 1552 subq %rax,%rsp 1553 1554 movq %rsp,%rax 1555 movq %r15,%rcx 1556 movl %edx,%r10d 1557 call _bsaes_key_convert 1558 pxor %xmm6,%xmm7 1559 movdqa %xmm7,(%rax) 1560 1561 andq $-16,%r14 1562 subq $128,%rsp 1563 movdqa 32(%rbp),%xmm6 1564 1565 pxor %xmm14,%xmm14 1566 movdqa .Lxts_magic(%rip),%xmm12 1567 pcmpgtd %xmm6,%xmm14 1568 1569 subq $128,%r14 1570 jc .Lxts_enc_short 1571 jmp .Lxts_enc_loop 1572 1573 .align 16 1574 .Lxts_enc_loop: 1575 pshufd $19,%xmm14,%xmm13 1576 pxor %xmm14,%xmm14 1577 movdqa %xmm6,%xmm15 1578 movdqa %xmm6,0(%rsp) 1579 paddq %xmm6,%xmm6 1580 pand %xmm12,%xmm13 1581 pcmpgtd %xmm6,%xmm14 1582 pxor %xmm13,%xmm6 1583 pshufd $19,%xmm14,%xmm13 1584 pxor %xmm14,%xmm14 1585 movdqa %xmm6,%xmm0 1586 movdqa %xmm6,16(%rsp) 1587 paddq %xmm6,%xmm6 1588 pand %xmm12,%xmm13 1589 pcmpgtd %xmm6,%xmm14 1590 pxor %xmm13,%xmm6 1591 movdqu 0(%r12),%xmm7 1592 pshufd $19,%xmm14,%xmm13 1593 pxor %xmm14,%xmm14 1594 movdqa %xmm6,%xmm1 1595 movdqa %xmm6,32(%rsp) 1596 paddq %xmm6,%xmm6 1597 pand %xmm12,%xmm13 1598 pcmpgtd %xmm6,%xmm14 1599 pxor %xmm13,%xmm6 1600 movdqu 16(%r12),%xmm8 1601 pxor %xmm7,%xmm15 1602 pshufd $19,%xmm14,%xmm13 1603 pxor %xmm14,%xmm14 1604 movdqa %xmm6,%xmm2 1605 movdqa %xmm6,48(%rsp) 1606 paddq %xmm6,%xmm6 1607 pand %xmm12,%xmm13 1608 pcmpgtd %xmm6,%xmm14 1609 pxor %xmm13,%xmm6 1610 movdqu 32(%r12),%xmm9 1611 pxor %xmm8,%xmm0 1612 pshufd $19,%xmm14,%xmm13 1613 pxor %xmm14,%xmm14 1614 movdqa %xmm6,%xmm3 1615 movdqa %xmm6,64(%rsp) 1616 paddq %xmm6,%xmm6 1617 pand %xmm12,%xmm13 1618 pcmpgtd %xmm6,%xmm14 1619 pxor %xmm13,%xmm6 1620 movdqu 48(%r12),%xmm10 1621 pxor %xmm9,%xmm1 1622 pshufd $19,%xmm14,%xmm13 1623 pxor %xmm14,%xmm14 1624 movdqa %xmm6,%xmm4 1625 movdqa %xmm6,80(%rsp) 1626 paddq %xmm6,%xmm6 1627 pand %xmm12,%xmm13 1628 pcmpgtd %xmm6,%xmm14 1629 pxor %xmm13,%xmm6 1630 movdqu 64(%r12),%xmm11 1631 pxor %xmm10,%xmm2 1632 pshufd $19,%xmm14,%xmm13 1633 pxor %xmm14,%xmm14 1634 movdqa %xmm6,%xmm5 1635 movdqa %xmm6,96(%rsp) 1636 paddq %xmm6,%xmm6 1637 pand %xmm12,%xmm13 1638 pcmpgtd %xmm6,%xmm14 1639 pxor %xmm13,%xmm6 1640 movdqu 80(%r12),%xmm12 1641 pxor %xmm11,%xmm3 1642 movdqu 96(%r12),%xmm13 1643 pxor %xmm12,%xmm4 1644 movdqu 112(%r12),%xmm14 1645 leaq 128(%r12),%r12 1646 movdqa %xmm6,112(%rsp) 1647 pxor %xmm13,%xmm5 1648 leaq 128(%rsp),%rax 1649 pxor %xmm14,%xmm6 1650 movl %edx,%r10d 1651 1652 call _bsaes_encrypt8 1653 1654 pxor 0(%rsp),%xmm15 1655 pxor 16(%rsp),%xmm0 1656 movdqu %xmm15,0(%r13) 1657 pxor 32(%rsp),%xmm3 1658 movdqu %xmm0,16(%r13) 1659 pxor 48(%rsp),%xmm5 1660 movdqu %xmm3,32(%r13) 1661 pxor 64(%rsp),%xmm2 1662 movdqu %xmm5,48(%r13) 1663 pxor 80(%rsp),%xmm6 1664 movdqu %xmm2,64(%r13) 1665 pxor 96(%rsp),%xmm1 1666 movdqu %xmm6,80(%r13) 1667 pxor 112(%rsp),%xmm4 1668 movdqu %xmm1,96(%r13) 1669 movdqu %xmm4,112(%r13) 1670 leaq 128(%r13),%r13 1671 1672 movdqa 112(%rsp),%xmm6 1673 pxor %xmm14,%xmm14 1674 movdqa .Lxts_magic(%rip),%xmm12 1675 pcmpgtd %xmm6,%xmm14 1676 pshufd $19,%xmm14,%xmm13 1677 pxor %xmm14,%xmm14 1678 paddq %xmm6,%xmm6 1679 pand %xmm12,%xmm13 1680 pcmpgtd %xmm6,%xmm14 1681 pxor %xmm13,%xmm6 1682 1683 subq $128,%r14 1684 jnc .Lxts_enc_loop 1685 1686 .Lxts_enc_short: 1687 addq $128,%r14 1688 jz .Lxts_enc_done 1689 pshufd $19,%xmm14,%xmm13 1690 pxor %xmm14,%xmm14 1691 movdqa %xmm6,%xmm15 1692 movdqa %xmm6,0(%rsp) 1693 paddq %xmm6,%xmm6 1694 pand %xmm12,%xmm13 1695 pcmpgtd %xmm6,%xmm14 1696 pxor %xmm13,%xmm6 1697 pshufd $19,%xmm14,%xmm13 1698 pxor %xmm14,%xmm14 1699 movdqa %xmm6,%xmm0 1700 movdqa %xmm6,16(%rsp) 1701 paddq %xmm6,%xmm6 1702 pand %xmm12,%xmm13 1703 pcmpgtd %xmm6,%xmm14 1704 pxor %xmm13,%xmm6 1705 movdqu 0(%r12),%xmm7 1706 cmpq $16,%r14 1707 je .Lxts_enc_1 1708 pshufd $19,%xmm14,%xmm13 1709 pxor %xmm14,%xmm14 1710 movdqa %xmm6,%xmm1 1711 movdqa %xmm6,32(%rsp) 1712 paddq %xmm6,%xmm6 1713 pand %xmm12,%xmm13 1714 pcmpgtd %xmm6,%xmm14 1715 pxor %xmm13,%xmm6 1716 movdqu 16(%r12),%xmm8 1717 cmpq $32,%r14 1718 je .Lxts_enc_2 1719 pxor %xmm7,%xmm15 1720 pshufd $19,%xmm14,%xmm13 1721 pxor %xmm14,%xmm14 1722 movdqa %xmm6,%xmm2 1723 movdqa %xmm6,48(%rsp) 1724 paddq %xmm6,%xmm6 1725 pand %xmm12,%xmm13 1726 pcmpgtd %xmm6,%xmm14 1727 pxor %xmm13,%xmm6 1728 movdqu 32(%r12),%xmm9 1729 cmpq $48,%r14 1730 je .Lxts_enc_3 1731 pxor %xmm8,%xmm0 1732 pshufd $19,%xmm14,%xmm13 1733 pxor %xmm14,%xmm14 1734 movdqa %xmm6,%xmm3 1735 movdqa %xmm6,64(%rsp) 1736 paddq %xmm6,%xmm6 1737 pand %xmm12,%xmm13 1738 pcmpgtd %xmm6,%xmm14 1739 pxor %xmm13,%xmm6 1740 movdqu 48(%r12),%xmm10 1741 cmpq $64,%r14 1742 je .Lxts_enc_4 1743 pxor %xmm9,%xmm1 1744 pshufd $19,%xmm14,%xmm13 1745 pxor %xmm14,%xmm14 1746 movdqa %xmm6,%xmm4 1747 movdqa %xmm6,80(%rsp) 1748 paddq %xmm6,%xmm6 1749 pand %xmm12,%xmm13 1750 pcmpgtd %xmm6,%xmm14 1751 pxor %xmm13,%xmm6 1752 movdqu 64(%r12),%xmm11 1753 cmpq $80,%r14 1754 je .Lxts_enc_5 1755 pxor %xmm10,%xmm2 1756 pshufd $19,%xmm14,%xmm13 1757 pxor %xmm14,%xmm14 1758 movdqa %xmm6,%xmm5 1759 movdqa %xmm6,96(%rsp) 1760 paddq %xmm6,%xmm6 1761 pand %xmm12,%xmm13 1762 pcmpgtd %xmm6,%xmm14 1763 pxor %xmm13,%xmm6 1764 movdqu 80(%r12),%xmm12 1765 cmpq $96,%r14 1766 je .Lxts_enc_6 1767 pxor %xmm11,%xmm3 1768 movdqu 96(%r12),%xmm13 1769 pxor %xmm12,%xmm4 1770 movdqa %xmm6,112(%rsp) 1771 leaq 112(%r12),%r12 1772 pxor %xmm13,%xmm5 1773 leaq 128(%rsp),%rax 1774 movl %edx,%r10d 1775 1776 call _bsaes_encrypt8 1777 1778 pxor 0(%rsp),%xmm15 1779 pxor 16(%rsp),%xmm0 1780 movdqu %xmm15,0(%r13) 1781 pxor 32(%rsp),%xmm3 1782 movdqu %xmm0,16(%r13) 1783 pxor 48(%rsp),%xmm5 1784 movdqu %xmm3,32(%r13) 1785 pxor 64(%rsp),%xmm2 1786 movdqu %xmm5,48(%r13) 1787 pxor 80(%rsp),%xmm6 1788 movdqu %xmm2,64(%r13) 1789 pxor 96(%rsp),%xmm1 1790 movdqu %xmm6,80(%r13) 1791 movdqu %xmm1,96(%r13) 1792 leaq 112(%r13),%r13 1793 1794 movdqa 112(%rsp),%xmm6 1795 jmp .Lxts_enc_done 1796 .align 16 1797 .Lxts_enc_6: 1798 pxor %xmm11,%xmm3 1799 leaq 96(%r12),%r12 1800 pxor %xmm12,%xmm4 1801 leaq 128(%rsp),%rax 1802 movl %edx,%r10d 1803 1804 call _bsaes_encrypt8 1805 1806 pxor 0(%rsp),%xmm15 1807 pxor 16(%rsp),%xmm0 1808 movdqu %xmm15,0(%r13) 1809 pxor 32(%rsp),%xmm3 1810 movdqu %xmm0,16(%r13) 1811 pxor 48(%rsp),%xmm5 1812 movdqu %xmm3,32(%r13) 1813 pxor 64(%rsp),%xmm2 1814 movdqu %xmm5,48(%r13) 1815 pxor 80(%rsp),%xmm6 1816 movdqu %xmm2,64(%r13) 1817 movdqu %xmm6,80(%r13) 1818 leaq 96(%r13),%r13 1819 1820 movdqa 96(%rsp),%xmm6 1821 jmp .Lxts_enc_done 1822 .align 16 1823 .Lxts_enc_5: 1824 pxor %xmm10,%xmm2 1825 leaq 80(%r12),%r12 1826 pxor %xmm11,%xmm3 1827 leaq 128(%rsp),%rax 1828 movl %edx,%r10d 1829 1830 call _bsaes_encrypt8 1831 1832 pxor 0(%rsp),%xmm15 1833 pxor 16(%rsp),%xmm0 1834 movdqu %xmm15,0(%r13) 1835 pxor 32(%rsp),%xmm3 1836 movdqu %xmm0,16(%r13) 1837 pxor 48(%rsp),%xmm5 1838 movdqu %xmm3,32(%r13) 1839 pxor 64(%rsp),%xmm2 1840 movdqu %xmm5,48(%r13) 1841 movdqu %xmm2,64(%r13) 1842 leaq 80(%r13),%r13 1843 1844 movdqa 80(%rsp),%xmm6 1845 jmp .Lxts_enc_done 1846 .align 16 1847 .Lxts_enc_4: 1848 pxor %xmm9,%xmm1 1849 leaq 64(%r12),%r12 1850 pxor %xmm10,%xmm2 1851 leaq 128(%rsp),%rax 1852 movl %edx,%r10d 1853 1854 call _bsaes_encrypt8 1855 1856 pxor 0(%rsp),%xmm15 1857 pxor 16(%rsp),%xmm0 1858 movdqu %xmm15,0(%r13) 1859 pxor 32(%rsp),%xmm3 1860 movdqu %xmm0,16(%r13) 1861 pxor 48(%rsp),%xmm5 1862 movdqu %xmm3,32(%r13) 1863 movdqu %xmm5,48(%r13) 1864 leaq 64(%r13),%r13 1865 1866 movdqa 64(%rsp),%xmm6 1867 jmp .Lxts_enc_done 1868 .align 16 1869 .Lxts_enc_3: 1870 pxor %xmm8,%xmm0 1871 leaq 48(%r12),%r12 1872 pxor %xmm9,%xmm1 1873 leaq 128(%rsp),%rax 1874 movl %edx,%r10d 1875 1876 call _bsaes_encrypt8 1877 1878 pxor 0(%rsp),%xmm15 1879 pxor 16(%rsp),%xmm0 1880 movdqu %xmm15,0(%r13) 1881 pxor 32(%rsp),%xmm3 1882 movdqu %xmm0,16(%r13) 1883 movdqu %xmm3,32(%r13) 1884 leaq 48(%r13),%r13 1885 1886 movdqa 48(%rsp),%xmm6 1887 jmp .Lxts_enc_done 1888 .align 16 1889 .Lxts_enc_2: 1890 pxor %xmm7,%xmm15 1891 leaq 32(%r12),%r12 1892 pxor %xmm8,%xmm0 1893 leaq 128(%rsp),%rax 1894 movl %edx,%r10d 1895 1896 call _bsaes_encrypt8 1897 1898 pxor 0(%rsp),%xmm15 1899 pxor 16(%rsp),%xmm0 1900 movdqu %xmm15,0(%r13) 1901 movdqu %xmm0,16(%r13) 1902 leaq 32(%r13),%r13 1903 1904 movdqa 32(%rsp),%xmm6 1905 jmp .Lxts_enc_done 1906 .align 16 1907 .Lxts_enc_1: 1908 pxor %xmm15,%xmm7 1909 leaq 16(%r12),%r12 1910 movdqa %xmm7,32(%rbp) 1911 leaq 32(%rbp),%rdi 1912 leaq 32(%rbp),%rsi 1913 leaq (%r15),%rdx 1914 call asm_AES_encrypt 1915 pxor 32(%rbp),%xmm15 1916 1917 1918 1919 1920 1921 movdqu %xmm15,0(%r13) 1922 leaq 16(%r13),%r13 1923 1924 movdqa 16(%rsp),%xmm6 1925 1926 .Lxts_enc_done: 1927 andl $15,%ebx 1928 jz .Lxts_enc_ret 1929 movq %r13,%rdx 1930 1931 .Lxts_enc_steal: 1932 movzbl (%r12),%eax 1933 movzbl -16(%rdx),%ecx 1934 leaq 1(%r12),%r12 1935 movb %al,-16(%rdx) 1936 movb %cl,0(%rdx) 1937 leaq 1(%rdx),%rdx 1938 subl $1,%ebx 1939 jnz .Lxts_enc_steal 1940 1941 movdqu -16(%r13),%xmm15 1942 leaq 32(%rbp),%rdi 1943 pxor %xmm6,%xmm15 1944 leaq 32(%rbp),%rsi 1945 movdqa %xmm15,32(%rbp) 1946 leaq (%r15),%rdx 1947 call asm_AES_encrypt 1948 pxor 32(%rbp),%xmm6 1949 movdqu %xmm6,-16(%r13) 1950 1951 .Lxts_enc_ret: 1952 leaq (%rsp),%rax 1953 pxor %xmm0,%xmm0 1954 .Lxts_enc_bzero: 1955 movdqa %xmm0,0(%rax) 1956 movdqa %xmm0,16(%rax) 1957 leaq 32(%rax),%rax 1958 cmpq %rax,%rbp 1959 ja .Lxts_enc_bzero 1960 1961 leaq (%rbp),%rsp 1962 movq 72(%rsp),%r15 1963 movq 80(%rsp),%r14 1964 movq 88(%rsp),%r13 1965 movq 96(%rsp),%r12 1966 movq 104(%rsp),%rbx 1967 movq 112(%rsp),%rax 1968 leaq 120(%rsp),%rsp 1969 movq %rax,%rbp 1970 .Lxts_enc_epilogue: 1971 .byte 0xf3,0xc3 1972 .size bsaes_xts_encrypt,.-bsaes_xts_encrypt 1973 1974 .globl bsaes_xts_decrypt 1975 .hidden bsaes_xts_decrypt 1976 .type bsaes_xts_decrypt,@function 1977 .align 16 1978 bsaes_xts_decrypt: 1979 movq %rsp,%rax 1980 .Lxts_dec_prologue: 1981 pushq %rbp 1982 pushq %rbx 1983 pushq %r12 1984 pushq %r13 1985 pushq %r14 1986 pushq %r15 1987 leaq -72(%rsp),%rsp 1988 movq %rsp,%rbp 1989 movq %rdi,%r12 1990 movq %rsi,%r13 1991 movq %rdx,%r14 1992 movq %rcx,%r15 1993 1994 leaq (%r9),%rdi 1995 leaq 32(%rbp),%rsi 1996 leaq (%r8),%rdx 1997 call asm_AES_encrypt 1998 1999 movl 240(%r15),%eax 2000 movq %r14,%rbx 2001 2002 movl %eax,%edx 2003 shlq $7,%rax 2004 subq $96,%rax 2005 subq %rax,%rsp 2006 2007 movq %rsp,%rax 2008 movq %r15,%rcx 2009 movl %edx,%r10d 2010 call _bsaes_key_convert 2011 pxor (%rsp),%xmm7 2012 movdqa %xmm6,(%rax) 2013 movdqa %xmm7,(%rsp) 2014 2015 xorl %eax,%eax 2016 andq $-16,%r14 2017 testl $15,%ebx 2018 setnz %al 2019 shlq $4,%rax 2020 subq %rax,%r14 2021 2022 subq $128,%rsp 2023 movdqa 32(%rbp),%xmm6 2024 2025 pxor %xmm14,%xmm14 2026 movdqa .Lxts_magic(%rip),%xmm12 2027 pcmpgtd %xmm6,%xmm14 2028 2029 subq $128,%r14 2030 jc .Lxts_dec_short 2031 jmp .Lxts_dec_loop 2032 2033 .align 16 2034 .Lxts_dec_loop: 2035 pshufd $19,%xmm14,%xmm13 2036 pxor %xmm14,%xmm14 2037 movdqa %xmm6,%xmm15 2038 movdqa %xmm6,0(%rsp) 2039 paddq %xmm6,%xmm6 2040 pand %xmm12,%xmm13 2041 pcmpgtd %xmm6,%xmm14 2042 pxor %xmm13,%xmm6 2043 pshufd $19,%xmm14,%xmm13 2044 pxor %xmm14,%xmm14 2045 movdqa %xmm6,%xmm0 2046 movdqa %xmm6,16(%rsp) 2047 paddq %xmm6,%xmm6 2048 pand %xmm12,%xmm13 2049 pcmpgtd %xmm6,%xmm14 2050 pxor %xmm13,%xmm6 2051 movdqu 0(%r12),%xmm7 2052 pshufd $19,%xmm14,%xmm13 2053 pxor %xmm14,%xmm14 2054 movdqa %xmm6,%xmm1 2055 movdqa %xmm6,32(%rsp) 2056 paddq %xmm6,%xmm6 2057 pand %xmm12,%xmm13 2058 pcmpgtd %xmm6,%xmm14 2059 pxor %xmm13,%xmm6 2060 movdqu 16(%r12),%xmm8 2061 pxor %xmm7,%xmm15 2062 pshufd $19,%xmm14,%xmm13 2063 pxor %xmm14,%xmm14 2064 movdqa %xmm6,%xmm2 2065 movdqa %xmm6,48(%rsp) 2066 paddq %xmm6,%xmm6 2067 pand %xmm12,%xmm13 2068 pcmpgtd %xmm6,%xmm14 2069 pxor %xmm13,%xmm6 2070 movdqu 32(%r12),%xmm9 2071 pxor %xmm8,%xmm0 2072 pshufd $19,%xmm14,%xmm13 2073 pxor %xmm14,%xmm14 2074 movdqa %xmm6,%xmm3 2075 movdqa %xmm6,64(%rsp) 2076 paddq %xmm6,%xmm6 2077 pand %xmm12,%xmm13 2078 pcmpgtd %xmm6,%xmm14 2079 pxor %xmm13,%xmm6 2080 movdqu 48(%r12),%xmm10 2081 pxor %xmm9,%xmm1 2082 pshufd $19,%xmm14,%xmm13 2083 pxor %xmm14,%xmm14 2084 movdqa %xmm6,%xmm4 2085 movdqa %xmm6,80(%rsp) 2086 paddq %xmm6,%xmm6 2087 pand %xmm12,%xmm13 2088 pcmpgtd %xmm6,%xmm14 2089 pxor %xmm13,%xmm6 2090 movdqu 64(%r12),%xmm11 2091 pxor %xmm10,%xmm2 2092 pshufd $19,%xmm14,%xmm13 2093 pxor %xmm14,%xmm14 2094 movdqa %xmm6,%xmm5 2095 movdqa %xmm6,96(%rsp) 2096 paddq %xmm6,%xmm6 2097 pand %xmm12,%xmm13 2098 pcmpgtd %xmm6,%xmm14 2099 pxor %xmm13,%xmm6 2100 movdqu 80(%r12),%xmm12 2101 pxor %xmm11,%xmm3 2102 movdqu 96(%r12),%xmm13 2103 pxor %xmm12,%xmm4 2104 movdqu 112(%r12),%xmm14 2105 leaq 128(%r12),%r12 2106 movdqa %xmm6,112(%rsp) 2107 pxor %xmm13,%xmm5 2108 leaq 128(%rsp),%rax 2109 pxor %xmm14,%xmm6 2110 movl %edx,%r10d 2111 2112 call _bsaes_decrypt8 2113 2114 pxor 0(%rsp),%xmm15 2115 pxor 16(%rsp),%xmm0 2116 movdqu %xmm15,0(%r13) 2117 pxor 32(%rsp),%xmm5 2118 movdqu %xmm0,16(%r13) 2119 pxor 48(%rsp),%xmm3 2120 movdqu %xmm5,32(%r13) 2121 pxor 64(%rsp),%xmm1 2122 movdqu %xmm3,48(%r13) 2123 pxor 80(%rsp),%xmm6 2124 movdqu %xmm1,64(%r13) 2125 pxor 96(%rsp),%xmm2 2126 movdqu %xmm6,80(%r13) 2127 pxor 112(%rsp),%xmm4 2128 movdqu %xmm2,96(%r13) 2129 movdqu %xmm4,112(%r13) 2130 leaq 128(%r13),%r13 2131 2132 movdqa 112(%rsp),%xmm6 2133 pxor %xmm14,%xmm14 2134 movdqa .Lxts_magic(%rip),%xmm12 2135 pcmpgtd %xmm6,%xmm14 2136 pshufd $19,%xmm14,%xmm13 2137 pxor %xmm14,%xmm14 2138 paddq %xmm6,%xmm6 2139 pand %xmm12,%xmm13 2140 pcmpgtd %xmm6,%xmm14 2141 pxor %xmm13,%xmm6 2142 2143 subq $128,%r14 2144 jnc .Lxts_dec_loop 2145 2146 .Lxts_dec_short: 2147 addq $128,%r14 2148 jz .Lxts_dec_done 2149 pshufd $19,%xmm14,%xmm13 2150 pxor %xmm14,%xmm14 2151 movdqa %xmm6,%xmm15 2152 movdqa %xmm6,0(%rsp) 2153 paddq %xmm6,%xmm6 2154 pand %xmm12,%xmm13 2155 pcmpgtd %xmm6,%xmm14 2156 pxor %xmm13,%xmm6 2157 pshufd $19,%xmm14,%xmm13 2158 pxor %xmm14,%xmm14 2159 movdqa %xmm6,%xmm0 2160 movdqa %xmm6,16(%rsp) 2161 paddq %xmm6,%xmm6 2162 pand %xmm12,%xmm13 2163 pcmpgtd %xmm6,%xmm14 2164 pxor %xmm13,%xmm6 2165 movdqu 0(%r12),%xmm7 2166 cmpq $16,%r14 2167 je .Lxts_dec_1 2168 pshufd $19,%xmm14,%xmm13 2169 pxor %xmm14,%xmm14 2170 movdqa %xmm6,%xmm1 2171 movdqa %xmm6,32(%rsp) 2172 paddq %xmm6,%xmm6 2173 pand %xmm12,%xmm13 2174 pcmpgtd %xmm6,%xmm14 2175 pxor %xmm13,%xmm6 2176 movdqu 16(%r12),%xmm8 2177 cmpq $32,%r14 2178 je .Lxts_dec_2 2179 pxor %xmm7,%xmm15 2180 pshufd $19,%xmm14,%xmm13 2181 pxor %xmm14,%xmm14 2182 movdqa %xmm6,%xmm2 2183 movdqa %xmm6,48(%rsp) 2184 paddq %xmm6,%xmm6 2185 pand %xmm12,%xmm13 2186 pcmpgtd %xmm6,%xmm14 2187 pxor %xmm13,%xmm6 2188 movdqu 32(%r12),%xmm9 2189 cmpq $48,%r14 2190 je .Lxts_dec_3 2191 pxor %xmm8,%xmm0 2192 pshufd $19,%xmm14,%xmm13 2193 pxor %xmm14,%xmm14 2194 movdqa %xmm6,%xmm3 2195 movdqa %xmm6,64(%rsp) 2196 paddq %xmm6,%xmm6 2197 pand %xmm12,%xmm13 2198 pcmpgtd %xmm6,%xmm14 2199 pxor %xmm13,%xmm6 2200 movdqu 48(%r12),%xmm10 2201 cmpq $64,%r14 2202 je .Lxts_dec_4 2203 pxor %xmm9,%xmm1 2204 pshufd $19,%xmm14,%xmm13 2205 pxor %xmm14,%xmm14 2206 movdqa %xmm6,%xmm4 2207 movdqa %xmm6,80(%rsp) 2208 paddq %xmm6,%xmm6 2209 pand %xmm12,%xmm13 2210 pcmpgtd %xmm6,%xmm14 2211 pxor %xmm13,%xmm6 2212 movdqu 64(%r12),%xmm11 2213 cmpq $80,%r14 2214 je .Lxts_dec_5 2215 pxor %xmm10,%xmm2 2216 pshufd $19,%xmm14,%xmm13 2217 pxor %xmm14,%xmm14 2218 movdqa %xmm6,%xmm5 2219 movdqa %xmm6,96(%rsp) 2220 paddq %xmm6,%xmm6 2221 pand %xmm12,%xmm13 2222 pcmpgtd %xmm6,%xmm14 2223 pxor %xmm13,%xmm6 2224 movdqu 80(%r12),%xmm12 2225 cmpq $96,%r14 2226 je .Lxts_dec_6 2227 pxor %xmm11,%xmm3 2228 movdqu 96(%r12),%xmm13 2229 pxor %xmm12,%xmm4 2230 movdqa %xmm6,112(%rsp) 2231 leaq 112(%r12),%r12 2232 pxor %xmm13,%xmm5 2233 leaq 128(%rsp),%rax 2234 movl %edx,%r10d 2235 2236 call _bsaes_decrypt8 2237 2238 pxor 0(%rsp),%xmm15 2239 pxor 16(%rsp),%xmm0 2240 movdqu %xmm15,0(%r13) 2241 pxor 32(%rsp),%xmm5 2242 movdqu %xmm0,16(%r13) 2243 pxor 48(%rsp),%xmm3 2244 movdqu %xmm5,32(%r13) 2245 pxor 64(%rsp),%xmm1 2246 movdqu %xmm3,48(%r13) 2247 pxor 80(%rsp),%xmm6 2248 movdqu %xmm1,64(%r13) 2249 pxor 96(%rsp),%xmm2 2250 movdqu %xmm6,80(%r13) 2251 movdqu %xmm2,96(%r13) 2252 leaq 112(%r13),%r13 2253 2254 movdqa 112(%rsp),%xmm6 2255 jmp .Lxts_dec_done 2256 .align 16 2257 .Lxts_dec_6: 2258 pxor %xmm11,%xmm3 2259 leaq 96(%r12),%r12 2260 pxor %xmm12,%xmm4 2261 leaq 128(%rsp),%rax 2262 movl %edx,%r10d 2263 2264 call _bsaes_decrypt8 2265 2266 pxor 0(%rsp),%xmm15 2267 pxor 16(%rsp),%xmm0 2268 movdqu %xmm15,0(%r13) 2269 pxor 32(%rsp),%xmm5 2270 movdqu %xmm0,16(%r13) 2271 pxor 48(%rsp),%xmm3 2272 movdqu %xmm5,32(%r13) 2273 pxor 64(%rsp),%xmm1 2274 movdqu %xmm3,48(%r13) 2275 pxor 80(%rsp),%xmm6 2276 movdqu %xmm1,64(%r13) 2277 movdqu %xmm6,80(%r13) 2278 leaq 96(%r13),%r13 2279 2280 movdqa 96(%rsp),%xmm6 2281 jmp .Lxts_dec_done 2282 .align 16 2283 .Lxts_dec_5: 2284 pxor %xmm10,%xmm2 2285 leaq 80(%r12),%r12 2286 pxor %xmm11,%xmm3 2287 leaq 128(%rsp),%rax 2288 movl %edx,%r10d 2289 2290 call _bsaes_decrypt8 2291 2292 pxor 0(%rsp),%xmm15 2293 pxor 16(%rsp),%xmm0 2294 movdqu %xmm15,0(%r13) 2295 pxor 32(%rsp),%xmm5 2296 movdqu %xmm0,16(%r13) 2297 pxor 48(%rsp),%xmm3 2298 movdqu %xmm5,32(%r13) 2299 pxor 64(%rsp),%xmm1 2300 movdqu %xmm3,48(%r13) 2301 movdqu %xmm1,64(%r13) 2302 leaq 80(%r13),%r13 2303 2304 movdqa 80(%rsp),%xmm6 2305 jmp .Lxts_dec_done 2306 .align 16 2307 .Lxts_dec_4: 2308 pxor %xmm9,%xmm1 2309 leaq 64(%r12),%r12 2310 pxor %xmm10,%xmm2 2311 leaq 128(%rsp),%rax 2312 movl %edx,%r10d 2313 2314 call _bsaes_decrypt8 2315 2316 pxor 0(%rsp),%xmm15 2317 pxor 16(%rsp),%xmm0 2318 movdqu %xmm15,0(%r13) 2319 pxor 32(%rsp),%xmm5 2320 movdqu %xmm0,16(%r13) 2321 pxor 48(%rsp),%xmm3 2322 movdqu %xmm5,32(%r13) 2323 movdqu %xmm3,48(%r13) 2324 leaq 64(%r13),%r13 2325 2326 movdqa 64(%rsp),%xmm6 2327 jmp .Lxts_dec_done 2328 .align 16 2329 .Lxts_dec_3: 2330 pxor %xmm8,%xmm0 2331 leaq 48(%r12),%r12 2332 pxor %xmm9,%xmm1 2333 leaq 128(%rsp),%rax 2334 movl %edx,%r10d 2335 2336 call _bsaes_decrypt8 2337 2338 pxor 0(%rsp),%xmm15 2339 pxor 16(%rsp),%xmm0 2340 movdqu %xmm15,0(%r13) 2341 pxor 32(%rsp),%xmm5 2342 movdqu %xmm0,16(%r13) 2343 movdqu %xmm5,32(%r13) 2344 leaq 48(%r13),%r13 2345 2346 movdqa 48(%rsp),%xmm6 2347 jmp .Lxts_dec_done 2348 .align 16 2349 .Lxts_dec_2: 2350 pxor %xmm7,%xmm15 2351 leaq 32(%r12),%r12 2352 pxor %xmm8,%xmm0 2353 leaq 128(%rsp),%rax 2354 movl %edx,%r10d 2355 2356 call _bsaes_decrypt8 2357 2358 pxor 0(%rsp),%xmm15 2359 pxor 16(%rsp),%xmm0 2360 movdqu %xmm15,0(%r13) 2361 movdqu %xmm0,16(%r13) 2362 leaq 32(%r13),%r13 2363 2364 movdqa 32(%rsp),%xmm6 2365 jmp .Lxts_dec_done 2366 .align 16 2367 .Lxts_dec_1: 2368 pxor %xmm15,%xmm7 2369 leaq 16(%r12),%r12 2370 movdqa %xmm7,32(%rbp) 2371 leaq 32(%rbp),%rdi 2372 leaq 32(%rbp),%rsi 2373 leaq (%r15),%rdx 2374 call asm_AES_decrypt 2375 pxor 32(%rbp),%xmm15 2376 2377 2378 2379 2380 2381 movdqu %xmm15,0(%r13) 2382 leaq 16(%r13),%r13 2383 2384 movdqa 16(%rsp),%xmm6 2385 2386 .Lxts_dec_done: 2387 andl $15,%ebx 2388 jz .Lxts_dec_ret 2389 2390 pxor %xmm14,%xmm14 2391 movdqa .Lxts_magic(%rip),%xmm12 2392 pcmpgtd %xmm6,%xmm14 2393 pshufd $19,%xmm14,%xmm13 2394 movdqa %xmm6,%xmm5 2395 paddq %xmm6,%xmm6 2396 pand %xmm12,%xmm13 2397 movdqu (%r12),%xmm15 2398 pxor %xmm13,%xmm6 2399 2400 leaq 32(%rbp),%rdi 2401 pxor %xmm6,%xmm15 2402 leaq 32(%rbp),%rsi 2403 movdqa %xmm15,32(%rbp) 2404 leaq (%r15),%rdx 2405 call asm_AES_decrypt 2406 pxor 32(%rbp),%xmm6 2407 movq %r13,%rdx 2408 movdqu %xmm6,(%r13) 2409 2410 .Lxts_dec_steal: 2411 movzbl 16(%r12),%eax 2412 movzbl (%rdx),%ecx 2413 leaq 1(%r12),%r12 2414 movb %al,(%rdx) 2415 movb %cl,16(%rdx) 2416 leaq 1(%rdx),%rdx 2417 subl $1,%ebx 2418 jnz .Lxts_dec_steal 2419 2420 movdqu (%r13),%xmm15 2421 leaq 32(%rbp),%rdi 2422 pxor %xmm5,%xmm15 2423 leaq 32(%rbp),%rsi 2424 movdqa %xmm15,32(%rbp) 2425 leaq (%r15),%rdx 2426 call asm_AES_decrypt 2427 pxor 32(%rbp),%xmm5 2428 movdqu %xmm5,(%r13) 2429 2430 .Lxts_dec_ret: 2431 leaq (%rsp),%rax 2432 pxor %xmm0,%xmm0 2433 .Lxts_dec_bzero: 2434 movdqa %xmm0,0(%rax) 2435 movdqa %xmm0,16(%rax) 2436 leaq 32(%rax),%rax 2437 cmpq %rax,%rbp 2438 ja .Lxts_dec_bzero 2439 2440 leaq (%rbp),%rsp 2441 movq 72(%rsp),%r15 2442 movq 80(%rsp),%r14 2443 movq 88(%rsp),%r13 2444 movq 96(%rsp),%r12 2445 movq 104(%rsp),%rbx 2446 movq 112(%rsp),%rax 2447 leaq 120(%rsp),%rsp 2448 movq %rax,%rbp 2449 .Lxts_dec_epilogue: 2450 .byte 0xf3,0xc3 2451 .size bsaes_xts_decrypt,.-bsaes_xts_decrypt 2452 .type _bsaes_const,@object 2453 .align 64 2454 _bsaes_const: 2455 .LM0ISR: 2456 .quad 0x0a0e0206070b0f03, 0x0004080c0d010509 2457 .LISRM0: 2458 .quad 0x01040b0e0205080f, 0x0306090c00070a0d 2459 .LISR: 2460 .quad 0x0504070602010003, 0x0f0e0d0c080b0a09 2461 .LBS0: 2462 .quad 0x5555555555555555, 0x5555555555555555 2463 .LBS1: 2464 .quad 0x3333333333333333, 0x3333333333333333 2465 .LBS2: 2466 .quad 0x0f0f0f0f0f0f0f0f, 0x0f0f0f0f0f0f0f0f 2467 .LSR: 2468 .quad 0x0504070600030201, 0x0f0e0d0c0a09080b 2469 .LSRM0: 2470 .quad 0x0304090e00050a0f, 0x01060b0c0207080d 2471 .LM0SR: 2472 .quad 0x0a0e02060f03070b, 0x0004080c05090d01 2473 .LSWPUP: 2474 .quad 0x0706050403020100, 0x0c0d0e0f0b0a0908 2475 .LSWPUPM0SR: 2476 .quad 0x0a0d02060c03070b, 0x0004080f05090e01 2477 .LADD1: 2478 .quad 0x0000000000000000, 0x0000000100000000 2479 .LADD2: 2480 .quad 0x0000000000000000, 0x0000000200000000 2481 .LADD3: 2482 .quad 0x0000000000000000, 0x0000000300000000 2483 .LADD4: 2484 .quad 0x0000000000000000, 0x0000000400000000 2485 .LADD5: 2486 .quad 0x0000000000000000, 0x0000000500000000 2487 .LADD6: 2488 .quad 0x0000000000000000, 0x0000000600000000 2489 .LADD7: 2490 .quad 0x0000000000000000, 0x0000000700000000 2491 .LADD8: 2492 .quad 0x0000000000000000, 0x0000000800000000 2493 .Lxts_magic: 2494 .long 0x87,0,1,0 2495 .Lmasks: 2496 .quad 0x0101010101010101, 0x0101010101010101 2497 .quad 0x0202020202020202, 0x0202020202020202 2498 .quad 0x0404040404040404, 0x0404040404040404 2499 .quad 0x0808080808080808, 0x0808080808080808 2500 .LM0: 2501 .quad 0x02060a0e03070b0f, 0x0004080c0105090d 2502 .L63: 2503 .quad 0x6363636363636363, 0x6363636363636363 2504 .byte 66,105,116,45,115,108,105,99,101,100,32,65,69,83,32,102,111,114,32,120,56,54,95,54,52,47,83,83,83,69,51,44,32,69,109,105,108,105,97,32,75,195,164,115,112,101,114,44,32,80,101,116,101,114,32,83,99,104,119,97,98,101,44,32,65,110,100,121,32,80,111,108,121,97,107,111,118,0 2505 .align 64 2506 .size _bsaes_const,.-_bsaes_const 2507 #endif 2508
