1 ; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py 2 ; RUN: llc < %s -verify-machineinstrs -mtriple=x86_64-unknown-unknown -mattr=+mmx,+sse2 -fast-isel -O0 | FileCheck %s --check-prefix=ALL --check-prefix=SSE --check-prefix=SSE2 3 ; RUN: llc < %s -verify-machineinstrs -mtriple=x86_64-unknown-unknown -mattr=+mmx,+sse4a -fast-isel -O0 | FileCheck %s --check-prefix=ALL --check-prefix=SSE --check-prefix=SSE4A 4 ; RUN: llc < %s -verify-machineinstrs -mtriple=x86_64-unknown-unknown -mattr=+mmx,+sse4.1 -fast-isel -O0 | FileCheck %s --check-prefix=ALL --check-prefix=SSE --check-prefix=SSE41 5 ; RUN: llc < %s -verify-machineinstrs -mtriple=x86_64-unknown-unknown -mattr=+mmx,+avx -fast-isel -O0 | FileCheck %s --check-prefix=ALL --check-prefix=AVX --check-prefix=AVX1 6 ; RUN: llc < %s -verify-machineinstrs -mtriple=x86_64-unknown-unknown -mattr=+mmx,+avx2 -fast-isel -O0 | FileCheck %s --check-prefix=ALL --check-prefix=AVX --check-prefix=AVX2 7 ; RUN: llc < %s -verify-machineinstrs -mtriple=x86_64-unknown-unknown -mattr=+mmx,+avx512vl -fast-isel -O0 | FileCheck %s --check-prefix=ALL --check-prefix=AVX512 --check-prefix=AVX512VL 8 ; RUN: llc < %s -verify-machineinstrs -mtriple=x86_64-unknown-unknown -mattr=+mmx,+avx512f -fast-isel -O0 | FileCheck %s --check-prefix=ALL --check-prefix=AVX512 --check-prefix=AVX512F 9 ; RUN: llc < %s -verify-machineinstrs -mtriple=x86_64-unknown-unknown -mattr=+mmx,+avx512bw -fast-isel -O0 | FileCheck %s --check-prefix=ALL --check-prefix=AVX512 --check-prefix=AVX512BW 10 11 ; 12 ; Scalar Stores 13 ; 14 15 define void @test_nti32(i32* nocapture %ptr, i32 %X) { 16 ; ALL-LABEL: test_nti32: 17 ; ALL: # %bb.0: # %entry 18 ; ALL-NEXT: movntil %esi, (%rdi) 19 ; ALL-NEXT: retq 20 entry: 21 store i32 %X, i32* %ptr, align 4, !nontemporal !1 22 ret void 23 } 24 25 define void @test_nti64(i64* nocapture %ptr, i64 %X) { 26 ; ALL-LABEL: test_nti64: 27 ; ALL: # %bb.0: # %entry 28 ; ALL-NEXT: movntiq %rsi, (%rdi) 29 ; ALL-NEXT: retq 30 entry: 31 store i64 %X, i64* %ptr, align 8, !nontemporal !1 32 ret void 33 } 34 35 define void @test_ntfloat(float* nocapture %ptr, float %X) { 36 ; SSE2-LABEL: test_ntfloat: 37 ; SSE2: # %bb.0: # %entry 38 ; SSE2-NEXT: movss %xmm0, (%rdi) 39 ; SSE2-NEXT: retq 40 ; 41 ; SSE4A-LABEL: test_ntfloat: 42 ; SSE4A: # %bb.0: # %entry 43 ; SSE4A-NEXT: movntss %xmm0, (%rdi) 44 ; SSE4A-NEXT: retq 45 ; 46 ; SSE41-LABEL: test_ntfloat: 47 ; SSE41: # %bb.0: # %entry 48 ; SSE41-NEXT: movss %xmm0, (%rdi) 49 ; SSE41-NEXT: retq 50 ; 51 ; AVX-LABEL: test_ntfloat: 52 ; AVX: # %bb.0: # %entry 53 ; AVX-NEXT: vmovss %xmm0, (%rdi) 54 ; AVX-NEXT: retq 55 ; 56 ; AVX512-LABEL: test_ntfloat: 57 ; AVX512: # %bb.0: # %entry 58 ; AVX512-NEXT: vmovss %xmm0, (%rdi) 59 ; AVX512-NEXT: retq 60 entry: 61 store float %X, float* %ptr, align 4, !nontemporal !1 62 ret void 63 } 64 65 define void @test_ntdouble(double* nocapture %ptr, double %X) { 66 ; SSE2-LABEL: test_ntdouble: 67 ; SSE2: # %bb.0: # %entry 68 ; SSE2-NEXT: movsd %xmm0, (%rdi) 69 ; SSE2-NEXT: retq 70 ; 71 ; SSE4A-LABEL: test_ntdouble: 72 ; SSE4A: # %bb.0: # %entry 73 ; SSE4A-NEXT: movntsd %xmm0, (%rdi) 74 ; SSE4A-NEXT: retq 75 ; 76 ; SSE41-LABEL: test_ntdouble: 77 ; SSE41: # %bb.0: # %entry 78 ; SSE41-NEXT: movsd %xmm0, (%rdi) 79 ; SSE41-NEXT: retq 80 ; 81 ; AVX-LABEL: test_ntdouble: 82 ; AVX: # %bb.0: # %entry 83 ; AVX-NEXT: vmovsd %xmm0, (%rdi) 84 ; AVX-NEXT: retq 85 ; 86 ; AVX512-LABEL: test_ntdouble: 87 ; AVX512: # %bb.0: # %entry 88 ; AVX512-NEXT: vmovsd %xmm0, (%rdi) 89 ; AVX512-NEXT: retq 90 entry: 91 store double %X, double* %ptr, align 8, !nontemporal !1 92 ret void 93 } 94 95 ; 96 ; MMX Store 97 ; 98 99 define void @test_mmx(x86_mmx* nocapture %a0, x86_mmx* nocapture %a1) { 100 ; ALL-LABEL: test_mmx: 101 ; ALL: # %bb.0: # %entry 102 ; ALL-NEXT: movq (%rdi), %mm0 103 ; ALL-NEXT: psrlq $3, %mm0 104 ; ALL-NEXT: movntq %mm0, (%rsi) 105 ; ALL-NEXT: retq 106 entry: 107 %0 = load x86_mmx, x86_mmx* %a0 108 %1 = call x86_mmx @llvm.x86.mmx.psrli.q(x86_mmx %0, i32 3) 109 store x86_mmx %1, x86_mmx* %a1, align 8, !nontemporal !1 110 ret void 111 } 112 declare x86_mmx @llvm.x86.mmx.psrli.q(x86_mmx, i32) nounwind readnone 113 114 ; 115 ; 128-bit Vector Stores 116 ; 117 118 define void @test_nt4xfloat(<4 x float>* nocapture %ptr, <4 x float> %X) { 119 ; SSE-LABEL: test_nt4xfloat: 120 ; SSE: # %bb.0: # %entry 121 ; SSE-NEXT: movntps %xmm0, (%rdi) 122 ; SSE-NEXT: retq 123 ; 124 ; AVX-LABEL: test_nt4xfloat: 125 ; AVX: # %bb.0: # %entry 126 ; AVX-NEXT: vmovntps %xmm0, (%rdi) 127 ; AVX-NEXT: retq 128 ; 129 ; AVX512-LABEL: test_nt4xfloat: 130 ; AVX512: # %bb.0: # %entry 131 ; AVX512-NEXT: vmovntps %xmm0, (%rdi) 132 ; AVX512-NEXT: retq 133 entry: 134 store <4 x float> %X, <4 x float>* %ptr, align 16, !nontemporal !1 135 ret void 136 } 137 138 define void @test_nt2xdouble(<2 x double>* nocapture %ptr, <2 x double> %X) { 139 ; SSE-LABEL: test_nt2xdouble: 140 ; SSE: # %bb.0: # %entry 141 ; SSE-NEXT: movntpd %xmm0, (%rdi) 142 ; SSE-NEXT: retq 143 ; 144 ; AVX-LABEL: test_nt2xdouble: 145 ; AVX: # %bb.0: # %entry 146 ; AVX-NEXT: vmovntpd %xmm0, (%rdi) 147 ; AVX-NEXT: retq 148 ; 149 ; AVX512-LABEL: test_nt2xdouble: 150 ; AVX512: # %bb.0: # %entry 151 ; AVX512-NEXT: vmovntpd %xmm0, (%rdi) 152 ; AVX512-NEXT: retq 153 entry: 154 store <2 x double> %X, <2 x double>* %ptr, align 16, !nontemporal !1 155 ret void 156 } 157 158 define void @test_nt16xi8(<16 x i8>* nocapture %ptr, <16 x i8> %X) { 159 ; SSE-LABEL: test_nt16xi8: 160 ; SSE: # %bb.0: # %entry 161 ; SSE-NEXT: movntdq %xmm0, (%rdi) 162 ; SSE-NEXT: retq 163 ; 164 ; AVX-LABEL: test_nt16xi8: 165 ; AVX: # %bb.0: # %entry 166 ; AVX-NEXT: vmovntdq %xmm0, (%rdi) 167 ; AVX-NEXT: retq 168 ; 169 ; AVX512-LABEL: test_nt16xi8: 170 ; AVX512: # %bb.0: # %entry 171 ; AVX512-NEXT: vmovntdq %xmm0, (%rdi) 172 ; AVX512-NEXT: retq 173 entry: 174 store <16 x i8> %X, <16 x i8>* %ptr, align 16, !nontemporal !1 175 ret void 176 } 177 178 define void @test_nt8xi16(<8 x i16>* nocapture %ptr, <8 x i16> %X) { 179 ; SSE-LABEL: test_nt8xi16: 180 ; SSE: # %bb.0: # %entry 181 ; SSE-NEXT: movntdq %xmm0, (%rdi) 182 ; SSE-NEXT: retq 183 ; 184 ; AVX-LABEL: test_nt8xi16: 185 ; AVX: # %bb.0: # %entry 186 ; AVX-NEXT: vmovntdq %xmm0, (%rdi) 187 ; AVX-NEXT: retq 188 ; 189 ; AVX512-LABEL: test_nt8xi16: 190 ; AVX512: # %bb.0: # %entry 191 ; AVX512-NEXT: vmovntdq %xmm0, (%rdi) 192 ; AVX512-NEXT: retq 193 entry: 194 store <8 x i16> %X, <8 x i16>* %ptr, align 16, !nontemporal !1 195 ret void 196 } 197 198 define void @test_nt4xi32(<4 x i32>* nocapture %ptr, <4 x i32> %X) { 199 ; SSE-LABEL: test_nt4xi32: 200 ; SSE: # %bb.0: # %entry 201 ; SSE-NEXT: movntdq %xmm0, (%rdi) 202 ; SSE-NEXT: retq 203 ; 204 ; AVX-LABEL: test_nt4xi32: 205 ; AVX: # %bb.0: # %entry 206 ; AVX-NEXT: vmovntdq %xmm0, (%rdi) 207 ; AVX-NEXT: retq 208 ; 209 ; AVX512-LABEL: test_nt4xi32: 210 ; AVX512: # %bb.0: # %entry 211 ; AVX512-NEXT: vmovntdq %xmm0, (%rdi) 212 ; AVX512-NEXT: retq 213 entry: 214 store <4 x i32> %X, <4 x i32>* %ptr, align 16, !nontemporal !1 215 ret void 216 } 217 218 define void @test_nt2xi64(<2 x i64>* nocapture %ptr, <2 x i64> %X) { 219 ; SSE-LABEL: test_nt2xi64: 220 ; SSE: # %bb.0: # %entry 221 ; SSE-NEXT: movntdq %xmm0, (%rdi) 222 ; SSE-NEXT: retq 223 ; 224 ; AVX-LABEL: test_nt2xi64: 225 ; AVX: # %bb.0: # %entry 226 ; AVX-NEXT: vmovntdq %xmm0, (%rdi) 227 ; AVX-NEXT: retq 228 ; 229 ; AVX512-LABEL: test_nt2xi64: 230 ; AVX512: # %bb.0: # %entry 231 ; AVX512-NEXT: vmovntdq %xmm0, (%rdi) 232 ; AVX512-NEXT: retq 233 entry: 234 store <2 x i64> %X, <2 x i64>* %ptr, align 16, !nontemporal !1 235 ret void 236 } 237 238 ; 239 ; 128-bit Vector Loads 240 ; 241 242 define <4 x float> @test_load_nt4xfloat(<4 x float>* nocapture %ptr) { 243 ; SSE2-LABEL: test_load_nt4xfloat: 244 ; SSE2: # %bb.0: # %entry 245 ; SSE2-NEXT: movaps (%rdi), %xmm0 246 ; SSE2-NEXT: retq 247 ; 248 ; SSE4A-LABEL: test_load_nt4xfloat: 249 ; SSE4A: # %bb.0: # %entry 250 ; SSE4A-NEXT: movaps (%rdi), %xmm0 251 ; SSE4A-NEXT: retq 252 ; 253 ; SSE41-LABEL: test_load_nt4xfloat: 254 ; SSE41: # %bb.0: # %entry 255 ; SSE41-NEXT: movntdqa (%rdi), %xmm0 256 ; SSE41-NEXT: retq 257 ; 258 ; AVX-LABEL: test_load_nt4xfloat: 259 ; AVX: # %bb.0: # %entry 260 ; AVX-NEXT: vmovntdqa (%rdi), %xmm0 261 ; AVX-NEXT: retq 262 ; 263 ; AVX512-LABEL: test_load_nt4xfloat: 264 ; AVX512: # %bb.0: # %entry 265 ; AVX512-NEXT: vmovntdqa (%rdi), %xmm0 266 ; AVX512-NEXT: retq 267 entry: 268 %0 = load <4 x float>, <4 x float>* %ptr, align 16, !nontemporal !1 269 ret <4 x float> %0 270 } 271 272 define <2 x double> @test_load_nt2xdouble(<2 x double>* nocapture %ptr) { 273 ; SSE2-LABEL: test_load_nt2xdouble: 274 ; SSE2: # %bb.0: # %entry 275 ; SSE2-NEXT: movapd (%rdi), %xmm0 276 ; SSE2-NEXT: retq 277 ; 278 ; SSE4A-LABEL: test_load_nt2xdouble: 279 ; SSE4A: # %bb.0: # %entry 280 ; SSE4A-NEXT: movapd (%rdi), %xmm0 281 ; SSE4A-NEXT: retq 282 ; 283 ; SSE41-LABEL: test_load_nt2xdouble: 284 ; SSE41: # %bb.0: # %entry 285 ; SSE41-NEXT: movntdqa (%rdi), %xmm0 286 ; SSE41-NEXT: retq 287 ; 288 ; AVX-LABEL: test_load_nt2xdouble: 289 ; AVX: # %bb.0: # %entry 290 ; AVX-NEXT: vmovntdqa (%rdi), %xmm0 291 ; AVX-NEXT: retq 292 ; 293 ; AVX512-LABEL: test_load_nt2xdouble: 294 ; AVX512: # %bb.0: # %entry 295 ; AVX512-NEXT: vmovntdqa (%rdi), %xmm0 296 ; AVX512-NEXT: retq 297 entry: 298 %0 = load <2 x double>, <2 x double>* %ptr, align 16, !nontemporal !1 299 ret <2 x double> %0 300 } 301 302 define <16 x i8> @test_load_nt16xi8(<16 x i8>* nocapture %ptr) { 303 ; SSE-LABEL: test_load_nt16xi8: 304 ; SSE: # %bb.0: # %entry 305 ; SSE-NEXT: movntdqa (%rdi), %xmm0 306 ; SSE-NEXT: retq 307 ; 308 ; AVX-LABEL: test_load_nt16xi8: 309 ; AVX: # %bb.0: # %entry 310 ; AVX-NEXT: vmovntdqa (%rdi), %xmm0 311 ; AVX-NEXT: retq 312 ; 313 ; AVX512-LABEL: test_load_nt16xi8: 314 ; AVX512: # %bb.0: # %entry 315 ; AVX512-NEXT: vmovntdqa (%rdi), %xmm0 316 ; AVX512-NEXT: retq 317 entry: 318 %0 = load <16 x i8>, <16 x i8>* %ptr, align 16, !nontemporal !1 319 ret <16 x i8> %0 320 } 321 322 define <8 x i16> @test_load_nt8xi16(<8 x i16>* nocapture %ptr) { 323 ; SSE-LABEL: test_load_nt8xi16: 324 ; SSE: # %bb.0: # %entry 325 ; SSE-NEXT: movntdqa (%rdi), %xmm0 326 ; SSE-NEXT: retq 327 ; 328 ; AVX-LABEL: test_load_nt8xi16: 329 ; AVX: # %bb.0: # %entry 330 ; AVX-NEXT: vmovntdqa (%rdi), %xmm0 331 ; AVX-NEXT: retq 332 ; 333 ; AVX512-LABEL: test_load_nt8xi16: 334 ; AVX512: # %bb.0: # %entry 335 ; AVX512-NEXT: vmovntdqa (%rdi), %xmm0 336 ; AVX512-NEXT: retq 337 entry: 338 %0 = load <8 x i16>, <8 x i16>* %ptr, align 16, !nontemporal !1 339 ret <8 x i16> %0 340 } 341 342 define <4 x i32> @test_load_nt4xi32(<4 x i32>* nocapture %ptr) { 343 ; SSE-LABEL: test_load_nt4xi32: 344 ; SSE: # %bb.0: # %entry 345 ; SSE-NEXT: movntdqa (%rdi), %xmm0 346 ; SSE-NEXT: retq 347 ; 348 ; AVX-LABEL: test_load_nt4xi32: 349 ; AVX: # %bb.0: # %entry 350 ; AVX-NEXT: vmovntdqa (%rdi), %xmm0 351 ; AVX-NEXT: retq 352 ; 353 ; AVX512-LABEL: test_load_nt4xi32: 354 ; AVX512: # %bb.0: # %entry 355 ; AVX512-NEXT: vmovntdqa (%rdi), %xmm0 356 ; AVX512-NEXT: retq 357 entry: 358 %0 = load <4 x i32>, <4 x i32>* %ptr, align 16, !nontemporal !1 359 ret <4 x i32> %0 360 } 361 362 define <2 x i64> @test_load_nt2xi64(<2 x i64>* nocapture %ptr) { 363 ; SSE-LABEL: test_load_nt2xi64: 364 ; SSE: # %bb.0: # %entry 365 ; SSE-NEXT: movntdqa (%rdi), %xmm0 366 ; SSE-NEXT: retq 367 ; 368 ; AVX-LABEL: test_load_nt2xi64: 369 ; AVX: # %bb.0: # %entry 370 ; AVX-NEXT: vmovntdqa (%rdi), %xmm0 371 ; AVX-NEXT: retq 372 ; 373 ; AVX512-LABEL: test_load_nt2xi64: 374 ; AVX512: # %bb.0: # %entry 375 ; AVX512-NEXT: vmovntdqa (%rdi), %xmm0 376 ; AVX512-NEXT: retq 377 entry: 378 %0 = load <2 x i64>, <2 x i64>* %ptr, align 16, !nontemporal !1 379 ret <2 x i64> %0 380 } 381 382 ; 383 ; 256-bit Vector Stores 384 ; 385 386 define void @test_nt8xfloat(<8 x float>* nocapture %ptr, <8 x float> %X) { 387 ; SSE-LABEL: test_nt8xfloat: 388 ; SSE: # %bb.0: # %entry 389 ; SSE-NEXT: movntps %xmm0, (%rdi) 390 ; SSE-NEXT: movntps %xmm1, 16(%rdi) 391 ; SSE-NEXT: retq 392 ; 393 ; AVX-LABEL: test_nt8xfloat: 394 ; AVX: # %bb.0: # %entry 395 ; AVX-NEXT: vmovntps %ymm0, (%rdi) 396 ; AVX-NEXT: vzeroupper 397 ; AVX-NEXT: retq 398 ; 399 ; AVX512-LABEL: test_nt8xfloat: 400 ; AVX512: # %bb.0: # %entry 401 ; AVX512-NEXT: vmovntps %ymm0, (%rdi) 402 ; AVX512-NEXT: vzeroupper 403 ; AVX512-NEXT: retq 404 entry: 405 store <8 x float> %X, <8 x float>* %ptr, align 32, !nontemporal !1 406 ret void 407 } 408 409 define void @test_nt4xdouble(<4 x double>* nocapture %ptr, <4 x double> %X) { 410 ; SSE-LABEL: test_nt4xdouble: 411 ; SSE: # %bb.0: # %entry 412 ; SSE-NEXT: movntpd %xmm0, (%rdi) 413 ; SSE-NEXT: movntpd %xmm1, 16(%rdi) 414 ; SSE-NEXT: retq 415 ; 416 ; AVX-LABEL: test_nt4xdouble: 417 ; AVX: # %bb.0: # %entry 418 ; AVX-NEXT: vmovntpd %ymm0, (%rdi) 419 ; AVX-NEXT: vzeroupper 420 ; AVX-NEXT: retq 421 ; 422 ; AVX512-LABEL: test_nt4xdouble: 423 ; AVX512: # %bb.0: # %entry 424 ; AVX512-NEXT: vmovntpd %ymm0, (%rdi) 425 ; AVX512-NEXT: vzeroupper 426 ; AVX512-NEXT: retq 427 entry: 428 store <4 x double> %X, <4 x double>* %ptr, align 32, !nontemporal !1 429 ret void 430 } 431 432 define void @test_nt32xi8(<32 x i8>* nocapture %ptr, <32 x i8> %X) { 433 ; SSE-LABEL: test_nt32xi8: 434 ; SSE: # %bb.0: # %entry 435 ; SSE-NEXT: movntdq %xmm0, (%rdi) 436 ; SSE-NEXT: movntdq %xmm1, 16(%rdi) 437 ; SSE-NEXT: retq 438 ; 439 ; AVX-LABEL: test_nt32xi8: 440 ; AVX: # %bb.0: # %entry 441 ; AVX-NEXT: vmovntdq %ymm0, (%rdi) 442 ; AVX-NEXT: vzeroupper 443 ; AVX-NEXT: retq 444 ; 445 ; AVX512-LABEL: test_nt32xi8: 446 ; AVX512: # %bb.0: # %entry 447 ; AVX512-NEXT: vmovntdq %ymm0, (%rdi) 448 ; AVX512-NEXT: vzeroupper 449 ; AVX512-NEXT: retq 450 entry: 451 store <32 x i8> %X, <32 x i8>* %ptr, align 32, !nontemporal !1 452 ret void 453 } 454 455 define void @test_nt16xi16(<16 x i16>* nocapture %ptr, <16 x i16> %X) { 456 ; SSE-LABEL: test_nt16xi16: 457 ; SSE: # %bb.0: # %entry 458 ; SSE-NEXT: movntdq %xmm0, (%rdi) 459 ; SSE-NEXT: movntdq %xmm1, 16(%rdi) 460 ; SSE-NEXT: retq 461 ; 462 ; AVX-LABEL: test_nt16xi16: 463 ; AVX: # %bb.0: # %entry 464 ; AVX-NEXT: vmovntdq %ymm0, (%rdi) 465 ; AVX-NEXT: vzeroupper 466 ; AVX-NEXT: retq 467 ; 468 ; AVX512-LABEL: test_nt16xi16: 469 ; AVX512: # %bb.0: # %entry 470 ; AVX512-NEXT: vmovntdq %ymm0, (%rdi) 471 ; AVX512-NEXT: vzeroupper 472 ; AVX512-NEXT: retq 473 entry: 474 store <16 x i16> %X, <16 x i16>* %ptr, align 32, !nontemporal !1 475 ret void 476 } 477 478 define void @test_nt8xi32(<8 x i32>* nocapture %ptr, <8 x i32> %X) { 479 ; SSE-LABEL: test_nt8xi32: 480 ; SSE: # %bb.0: # %entry 481 ; SSE-NEXT: movntdq %xmm0, (%rdi) 482 ; SSE-NEXT: movntdq %xmm1, 16(%rdi) 483 ; SSE-NEXT: retq 484 ; 485 ; AVX-LABEL: test_nt8xi32: 486 ; AVX: # %bb.0: # %entry 487 ; AVX-NEXT: vmovntdq %ymm0, (%rdi) 488 ; AVX-NEXT: vzeroupper 489 ; AVX-NEXT: retq 490 ; 491 ; AVX512-LABEL: test_nt8xi32: 492 ; AVX512: # %bb.0: # %entry 493 ; AVX512-NEXT: vmovntdq %ymm0, (%rdi) 494 ; AVX512-NEXT: vzeroupper 495 ; AVX512-NEXT: retq 496 entry: 497 store <8 x i32> %X, <8 x i32>* %ptr, align 32, !nontemporal !1 498 ret void 499 } 500 501 define void @test_nt4xi64(<4 x i64>* nocapture %ptr, <4 x i64> %X) { 502 ; SSE-LABEL: test_nt4xi64: 503 ; SSE: # %bb.0: # %entry 504 ; SSE-NEXT: movntdq %xmm0, (%rdi) 505 ; SSE-NEXT: movntdq %xmm1, 16(%rdi) 506 ; SSE-NEXT: retq 507 ; 508 ; AVX-LABEL: test_nt4xi64: 509 ; AVX: # %bb.0: # %entry 510 ; AVX-NEXT: vmovntdq %ymm0, (%rdi) 511 ; AVX-NEXT: vzeroupper 512 ; AVX-NEXT: retq 513 ; 514 ; AVX512-LABEL: test_nt4xi64: 515 ; AVX512: # %bb.0: # %entry 516 ; AVX512-NEXT: vmovntdq %ymm0, (%rdi) 517 ; AVX512-NEXT: vzeroupper 518 ; AVX512-NEXT: retq 519 entry: 520 store <4 x i64> %X, <4 x i64>* %ptr, align 32, !nontemporal !1 521 ret void 522 } 523 524 ; 525 ; 256-bit Vector Loads 526 ; 527 528 define <8 x float> @test_load_nt8xfloat(<8 x float>* nocapture %ptr) { 529 ; SSE2-LABEL: test_load_nt8xfloat: 530 ; SSE2: # %bb.0: # %entry 531 ; SSE2-NEXT: movaps (%rdi), %xmm0 532 ; SSE2-NEXT: movaps 16(%rdi), %xmm1 533 ; SSE2-NEXT: retq 534 ; 535 ; SSE4A-LABEL: test_load_nt8xfloat: 536 ; SSE4A: # %bb.0: # %entry 537 ; SSE4A-NEXT: movaps (%rdi), %xmm0 538 ; SSE4A-NEXT: movaps 16(%rdi), %xmm1 539 ; SSE4A-NEXT: retq 540 ; 541 ; SSE41-LABEL: test_load_nt8xfloat: 542 ; SSE41: # %bb.0: # %entry 543 ; SSE41-NEXT: movntdqa (%rdi), %xmm0 544 ; SSE41-NEXT: movntdqa 16(%rdi), %xmm1 545 ; SSE41-NEXT: retq 546 ; 547 ; AVX1-LABEL: test_load_nt8xfloat: 548 ; AVX1: # %bb.0: # %entry 549 ; AVX1-NEXT: vmovntdqa (%rdi), %xmm0 550 ; AVX1-NEXT: # implicit-def: $ymm1 551 ; AVX1-NEXT: vmovaps %xmm0, %xmm1 552 ; AVX1-NEXT: vmovntdqa 16(%rdi), %xmm0 553 ; AVX1-NEXT: vinsertf128 $1, %xmm0, %ymm1, %ymm0 554 ; AVX1-NEXT: retq 555 ; 556 ; AVX2-LABEL: test_load_nt8xfloat: 557 ; AVX2: # %bb.0: # %entry 558 ; AVX2-NEXT: vmovntdqa (%rdi), %ymm0 559 ; AVX2-NEXT: retq 560 ; 561 ; AVX512-LABEL: test_load_nt8xfloat: 562 ; AVX512: # %bb.0: # %entry 563 ; AVX512-NEXT: vmovntdqa (%rdi), %ymm0 564 ; AVX512-NEXT: retq 565 entry: 566 %0 = load <8 x float>, <8 x float>* %ptr, align 32, !nontemporal !1 567 ret <8 x float> %0 568 } 569 570 define <4 x double> @test_load_nt4xdouble(<4 x double>* nocapture %ptr) { 571 ; SSE2-LABEL: test_load_nt4xdouble: 572 ; SSE2: # %bb.0: # %entry 573 ; SSE2-NEXT: movapd (%rdi), %xmm0 574 ; SSE2-NEXT: movapd 16(%rdi), %xmm1 575 ; SSE2-NEXT: retq 576 ; 577 ; SSE4A-LABEL: test_load_nt4xdouble: 578 ; SSE4A: # %bb.0: # %entry 579 ; SSE4A-NEXT: movapd (%rdi), %xmm0 580 ; SSE4A-NEXT: movapd 16(%rdi), %xmm1 581 ; SSE4A-NEXT: retq 582 ; 583 ; SSE41-LABEL: test_load_nt4xdouble: 584 ; SSE41: # %bb.0: # %entry 585 ; SSE41-NEXT: movntdqa (%rdi), %xmm0 586 ; SSE41-NEXT: movntdqa 16(%rdi), %xmm1 587 ; SSE41-NEXT: retq 588 ; 589 ; AVX1-LABEL: test_load_nt4xdouble: 590 ; AVX1: # %bb.0: # %entry 591 ; AVX1-NEXT: vmovntdqa (%rdi), %xmm0 592 ; AVX1-NEXT: # implicit-def: $ymm1 593 ; AVX1-NEXT: vmovaps %xmm0, %xmm1 594 ; AVX1-NEXT: vmovntdqa 16(%rdi), %xmm0 595 ; AVX1-NEXT: vinsertf128 $1, %xmm0, %ymm1, %ymm0 596 ; AVX1-NEXT: retq 597 ; 598 ; AVX2-LABEL: test_load_nt4xdouble: 599 ; AVX2: # %bb.0: # %entry 600 ; AVX2-NEXT: vmovntdqa (%rdi), %ymm0 601 ; AVX2-NEXT: retq 602 ; 603 ; AVX512-LABEL: test_load_nt4xdouble: 604 ; AVX512: # %bb.0: # %entry 605 ; AVX512-NEXT: vmovntdqa (%rdi), %ymm0 606 ; AVX512-NEXT: retq 607 entry: 608 %0 = load <4 x double>, <4 x double>* %ptr, align 32, !nontemporal !1 609 ret <4 x double> %0 610 } 611 612 define <32 x i8> @test_load_nt32xi8(<32 x i8>* nocapture %ptr) { 613 ; SSE2-LABEL: test_load_nt32xi8: 614 ; SSE2: # %bb.0: # %entry 615 ; SSE2-NEXT: movaps (%rdi), %xmm0 616 ; SSE2-NEXT: movaps 16(%rdi), %xmm1 617 ; SSE2-NEXT: retq 618 ; 619 ; SSE4A-LABEL: test_load_nt32xi8: 620 ; SSE4A: # %bb.0: # %entry 621 ; SSE4A-NEXT: movaps (%rdi), %xmm0 622 ; SSE4A-NEXT: movaps 16(%rdi), %xmm1 623 ; SSE4A-NEXT: retq 624 ; 625 ; SSE41-LABEL: test_load_nt32xi8: 626 ; SSE41: # %bb.0: # %entry 627 ; SSE41-NEXT: movntdqa (%rdi), %xmm0 628 ; SSE41-NEXT: movntdqa 16(%rdi), %xmm1 629 ; SSE41-NEXT: retq 630 ; 631 ; AVX1-LABEL: test_load_nt32xi8: 632 ; AVX1: # %bb.0: # %entry 633 ; AVX1-NEXT: vmovntdqa (%rdi), %xmm0 634 ; AVX1-NEXT: # implicit-def: $ymm1 635 ; AVX1-NEXT: vmovaps %xmm0, %xmm1 636 ; AVX1-NEXT: vmovntdqa 16(%rdi), %xmm0 637 ; AVX1-NEXT: vinsertf128 $1, %xmm0, %ymm1, %ymm0 638 ; AVX1-NEXT: retq 639 ; 640 ; AVX2-LABEL: test_load_nt32xi8: 641 ; AVX2: # %bb.0: # %entry 642 ; AVX2-NEXT: vmovntdqa (%rdi), %ymm0 643 ; AVX2-NEXT: retq 644 ; 645 ; AVX512-LABEL: test_load_nt32xi8: 646 ; AVX512: # %bb.0: # %entry 647 ; AVX512-NEXT: vmovntdqa (%rdi), %ymm0 648 ; AVX512-NEXT: retq 649 entry: 650 %0 = load <32 x i8>, <32 x i8>* %ptr, align 32, !nontemporal !1 651 ret <32 x i8> %0 652 } 653 654 define <16 x i16> @test_load_nt16xi16(<16 x i16>* nocapture %ptr) { 655 ; SSE2-LABEL: test_load_nt16xi16: 656 ; SSE2: # %bb.0: # %entry 657 ; SSE2-NEXT: movaps (%rdi), %xmm0 658 ; SSE2-NEXT: movaps 16(%rdi), %xmm1 659 ; SSE2-NEXT: retq 660 ; 661 ; SSE4A-LABEL: test_load_nt16xi16: 662 ; SSE4A: # %bb.0: # %entry 663 ; SSE4A-NEXT: movaps (%rdi), %xmm0 664 ; SSE4A-NEXT: movaps 16(%rdi), %xmm1 665 ; SSE4A-NEXT: retq 666 ; 667 ; SSE41-LABEL: test_load_nt16xi16: 668 ; SSE41: # %bb.0: # %entry 669 ; SSE41-NEXT: movntdqa (%rdi), %xmm0 670 ; SSE41-NEXT: movntdqa 16(%rdi), %xmm1 671 ; SSE41-NEXT: retq 672 ; 673 ; AVX1-LABEL: test_load_nt16xi16: 674 ; AVX1: # %bb.0: # %entry 675 ; AVX1-NEXT: vmovntdqa (%rdi), %xmm0 676 ; AVX1-NEXT: # implicit-def: $ymm1 677 ; AVX1-NEXT: vmovaps %xmm0, %xmm1 678 ; AVX1-NEXT: vmovntdqa 16(%rdi), %xmm0 679 ; AVX1-NEXT: vinsertf128 $1, %xmm0, %ymm1, %ymm0 680 ; AVX1-NEXT: retq 681 ; 682 ; AVX2-LABEL: test_load_nt16xi16: 683 ; AVX2: # %bb.0: # %entry 684 ; AVX2-NEXT: vmovntdqa (%rdi), %ymm0 685 ; AVX2-NEXT: retq 686 ; 687 ; AVX512-LABEL: test_load_nt16xi16: 688 ; AVX512: # %bb.0: # %entry 689 ; AVX512-NEXT: vmovntdqa (%rdi), %ymm0 690 ; AVX512-NEXT: retq 691 entry: 692 %0 = load <16 x i16>, <16 x i16>* %ptr, align 32, !nontemporal !1 693 ret <16 x i16> %0 694 } 695 696 define <8 x i32> @test_load_nt8xi32(<8 x i32>* nocapture %ptr) { 697 ; SSE2-LABEL: test_load_nt8xi32: 698 ; SSE2: # %bb.0: # %entry 699 ; SSE2-NEXT: movaps (%rdi), %xmm0 700 ; SSE2-NEXT: movaps 16(%rdi), %xmm1 701 ; SSE2-NEXT: retq 702 ; 703 ; SSE4A-LABEL: test_load_nt8xi32: 704 ; SSE4A: # %bb.0: # %entry 705 ; SSE4A-NEXT: movaps (%rdi), %xmm0 706 ; SSE4A-NEXT: movaps 16(%rdi), %xmm1 707 ; SSE4A-NEXT: retq 708 ; 709 ; SSE41-LABEL: test_load_nt8xi32: 710 ; SSE41: # %bb.0: # %entry 711 ; SSE41-NEXT: movntdqa (%rdi), %xmm0 712 ; SSE41-NEXT: movntdqa 16(%rdi), %xmm1 713 ; SSE41-NEXT: retq 714 ; 715 ; AVX1-LABEL: test_load_nt8xi32: 716 ; AVX1: # %bb.0: # %entry 717 ; AVX1-NEXT: vmovntdqa (%rdi), %xmm0 718 ; AVX1-NEXT: # implicit-def: $ymm1 719 ; AVX1-NEXT: vmovaps %xmm0, %xmm1 720 ; AVX1-NEXT: vmovntdqa 16(%rdi), %xmm0 721 ; AVX1-NEXT: vinsertf128 $1, %xmm0, %ymm1, %ymm0 722 ; AVX1-NEXT: retq 723 ; 724 ; AVX2-LABEL: test_load_nt8xi32: 725 ; AVX2: # %bb.0: # %entry 726 ; AVX2-NEXT: vmovntdqa (%rdi), %ymm0 727 ; AVX2-NEXT: retq 728 ; 729 ; AVX512-LABEL: test_load_nt8xi32: 730 ; AVX512: # %bb.0: # %entry 731 ; AVX512-NEXT: vmovntdqa (%rdi), %ymm0 732 ; AVX512-NEXT: retq 733 entry: 734 %0 = load <8 x i32>, <8 x i32>* %ptr, align 32, !nontemporal !1 735 ret <8 x i32> %0 736 } 737 738 define <4 x i64> @test_load_nt4xi64(<4 x i64>* nocapture %ptr) { 739 ; SSE2-LABEL: test_load_nt4xi64: 740 ; SSE2: # %bb.0: # %entry 741 ; SSE2-NEXT: movaps (%rdi), %xmm0 742 ; SSE2-NEXT: movaps 16(%rdi), %xmm1 743 ; SSE2-NEXT: retq 744 ; 745 ; SSE4A-LABEL: test_load_nt4xi64: 746 ; SSE4A: # %bb.0: # %entry 747 ; SSE4A-NEXT: movaps (%rdi), %xmm0 748 ; SSE4A-NEXT: movaps 16(%rdi), %xmm1 749 ; SSE4A-NEXT: retq 750 ; 751 ; SSE41-LABEL: test_load_nt4xi64: 752 ; SSE41: # %bb.0: # %entry 753 ; SSE41-NEXT: movntdqa (%rdi), %xmm0 754 ; SSE41-NEXT: movntdqa 16(%rdi), %xmm1 755 ; SSE41-NEXT: retq 756 ; 757 ; AVX1-LABEL: test_load_nt4xi64: 758 ; AVX1: # %bb.0: # %entry 759 ; AVX1-NEXT: vmovntdqa (%rdi), %xmm0 760 ; AVX1-NEXT: # implicit-def: $ymm1 761 ; AVX1-NEXT: vmovaps %xmm0, %xmm1 762 ; AVX1-NEXT: vmovntdqa 16(%rdi), %xmm0 763 ; AVX1-NEXT: vinsertf128 $1, %xmm0, %ymm1, %ymm0 764 ; AVX1-NEXT: retq 765 ; 766 ; AVX2-LABEL: test_load_nt4xi64: 767 ; AVX2: # %bb.0: # %entry 768 ; AVX2-NEXT: vmovntdqa (%rdi), %ymm0 769 ; AVX2-NEXT: retq 770 ; 771 ; AVX512-LABEL: test_load_nt4xi64: 772 ; AVX512: # %bb.0: # %entry 773 ; AVX512-NEXT: vmovntdqa (%rdi), %ymm0 774 ; AVX512-NEXT: retq 775 entry: 776 %0 = load <4 x i64>, <4 x i64>* %ptr, align 32, !nontemporal !1 777 ret <4 x i64> %0 778 } 779 780 ; 781 ; 512-bit Vector Stores 782 ; 783 784 define void @test_nt16xfloat(<16 x float>* nocapture %ptr, <16 x float> %X) { 785 ; SSE-LABEL: test_nt16xfloat: 786 ; SSE: # %bb.0: # %entry 787 ; SSE-NEXT: movntps %xmm0, (%rdi) 788 ; SSE-NEXT: movntps %xmm1, 16(%rdi) 789 ; SSE-NEXT: movntps %xmm2, 32(%rdi) 790 ; SSE-NEXT: movntps %xmm3, 48(%rdi) 791 ; SSE-NEXT: retq 792 ; 793 ; AVX-LABEL: test_nt16xfloat: 794 ; AVX: # %bb.0: # %entry 795 ; AVX-NEXT: vmovntps %ymm0, (%rdi) 796 ; AVX-NEXT: vmovntps %ymm1, 32(%rdi) 797 ; AVX-NEXT: vzeroupper 798 ; AVX-NEXT: retq 799 ; 800 ; AVX512-LABEL: test_nt16xfloat: 801 ; AVX512: # %bb.0: # %entry 802 ; AVX512-NEXT: vmovntps %zmm0, (%rdi) 803 ; AVX512-NEXT: vzeroupper 804 ; AVX512-NEXT: retq 805 entry: 806 store <16 x float> %X, <16 x float>* %ptr, align 64, !nontemporal !1 807 ret void 808 } 809 810 define void @test_nt8xdouble(<8 x double>* nocapture %ptr, <8 x double> %X) { 811 ; SSE-LABEL: test_nt8xdouble: 812 ; SSE: # %bb.0: # %entry 813 ; SSE-NEXT: movntpd %xmm0, (%rdi) 814 ; SSE-NEXT: movntpd %xmm1, 16(%rdi) 815 ; SSE-NEXT: movntpd %xmm2, 32(%rdi) 816 ; SSE-NEXT: movntpd %xmm3, 48(%rdi) 817 ; SSE-NEXT: retq 818 ; 819 ; AVX-LABEL: test_nt8xdouble: 820 ; AVX: # %bb.0: # %entry 821 ; AVX-NEXT: vmovntpd %ymm0, (%rdi) 822 ; AVX-NEXT: vmovntpd %ymm1, 32(%rdi) 823 ; AVX-NEXT: vzeroupper 824 ; AVX-NEXT: retq 825 ; 826 ; AVX512-LABEL: test_nt8xdouble: 827 ; AVX512: # %bb.0: # %entry 828 ; AVX512-NEXT: vmovntpd %zmm0, (%rdi) 829 ; AVX512-NEXT: vzeroupper 830 ; AVX512-NEXT: retq 831 entry: 832 store <8 x double> %X, <8 x double>* %ptr, align 64, !nontemporal !1 833 ret void 834 } 835 836 define void @test_nt64xi8(<64 x i8>* nocapture %ptr, <64 x i8> %X) { 837 ; SSE-LABEL: test_nt64xi8: 838 ; SSE: # %bb.0: # %entry 839 ; SSE-NEXT: movntdq %xmm0, (%rdi) 840 ; SSE-NEXT: movntdq %xmm1, 16(%rdi) 841 ; SSE-NEXT: movntdq %xmm2, 32(%rdi) 842 ; SSE-NEXT: movntdq %xmm3, 48(%rdi) 843 ; SSE-NEXT: retq 844 ; 845 ; AVX-LABEL: test_nt64xi8: 846 ; AVX: # %bb.0: # %entry 847 ; AVX-NEXT: vmovntdq %ymm0, (%rdi) 848 ; AVX-NEXT: vmovntdq %ymm1, 32(%rdi) 849 ; AVX-NEXT: vzeroupper 850 ; AVX-NEXT: retq 851 ; 852 ; AVX512VL-LABEL: test_nt64xi8: 853 ; AVX512VL: # %bb.0: # %entry 854 ; AVX512VL-NEXT: vmovntdq %ymm0, (%rdi) 855 ; AVX512VL-NEXT: vmovntdq %ymm1, 32(%rdi) 856 ; AVX512VL-NEXT: vzeroupper 857 ; AVX512VL-NEXT: retq 858 ; 859 ; AVX512F-LABEL: test_nt64xi8: 860 ; AVX512F: # %bb.0: # %entry 861 ; AVX512F-NEXT: vmovntdq %ymm0, (%rdi) 862 ; AVX512F-NEXT: vmovntdq %ymm1, 32(%rdi) 863 ; AVX512F-NEXT: vzeroupper 864 ; AVX512F-NEXT: retq 865 ; 866 ; AVX512BW-LABEL: test_nt64xi8: 867 ; AVX512BW: # %bb.0: # %entry 868 ; AVX512BW-NEXT: vmovntdq %zmm0, (%rdi) 869 ; AVX512BW-NEXT: vzeroupper 870 ; AVX512BW-NEXT: retq 871 entry: 872 store <64 x i8> %X, <64 x i8>* %ptr, align 64, !nontemporal !1 873 ret void 874 } 875 876 define void @test_nt32xi16(<32 x i16>* nocapture %ptr, <32 x i16> %X) { 877 ; SSE-LABEL: test_nt32xi16: 878 ; SSE: # %bb.0: # %entry 879 ; SSE-NEXT: movntdq %xmm0, (%rdi) 880 ; SSE-NEXT: movntdq %xmm1, 16(%rdi) 881 ; SSE-NEXT: movntdq %xmm2, 32(%rdi) 882 ; SSE-NEXT: movntdq %xmm3, 48(%rdi) 883 ; SSE-NEXT: retq 884 ; 885 ; AVX-LABEL: test_nt32xi16: 886 ; AVX: # %bb.0: # %entry 887 ; AVX-NEXT: vmovntdq %ymm0, (%rdi) 888 ; AVX-NEXT: vmovntdq %ymm1, 32(%rdi) 889 ; AVX-NEXT: vzeroupper 890 ; AVX-NEXT: retq 891 ; 892 ; AVX512VL-LABEL: test_nt32xi16: 893 ; AVX512VL: # %bb.0: # %entry 894 ; AVX512VL-NEXT: vmovntdq %ymm0, (%rdi) 895 ; AVX512VL-NEXT: vmovntdq %ymm1, 32(%rdi) 896 ; AVX512VL-NEXT: vzeroupper 897 ; AVX512VL-NEXT: retq 898 ; 899 ; AVX512F-LABEL: test_nt32xi16: 900 ; AVX512F: # %bb.0: # %entry 901 ; AVX512F-NEXT: vmovntdq %ymm0, (%rdi) 902 ; AVX512F-NEXT: vmovntdq %ymm1, 32(%rdi) 903 ; AVX512F-NEXT: vzeroupper 904 ; AVX512F-NEXT: retq 905 ; 906 ; AVX512BW-LABEL: test_nt32xi16: 907 ; AVX512BW: # %bb.0: # %entry 908 ; AVX512BW-NEXT: vmovntdq %zmm0, (%rdi) 909 ; AVX512BW-NEXT: vzeroupper 910 ; AVX512BW-NEXT: retq 911 entry: 912 store <32 x i16> %X, <32 x i16>* %ptr, align 64, !nontemporal !1 913 ret void 914 } 915 916 define void @test_nt16xi32(<16 x i32>* nocapture %ptr, <16 x i32> %X) { 917 ; SSE-LABEL: test_nt16xi32: 918 ; SSE: # %bb.0: # %entry 919 ; SSE-NEXT: movntdq %xmm0, (%rdi) 920 ; SSE-NEXT: movntdq %xmm1, 16(%rdi) 921 ; SSE-NEXT: movntdq %xmm2, 32(%rdi) 922 ; SSE-NEXT: movntdq %xmm3, 48(%rdi) 923 ; SSE-NEXT: retq 924 ; 925 ; AVX-LABEL: test_nt16xi32: 926 ; AVX: # %bb.0: # %entry 927 ; AVX-NEXT: vmovntdq %ymm0, (%rdi) 928 ; AVX-NEXT: vmovntdq %ymm1, 32(%rdi) 929 ; AVX-NEXT: vzeroupper 930 ; AVX-NEXT: retq 931 ; 932 ; AVX512-LABEL: test_nt16xi32: 933 ; AVX512: # %bb.0: # %entry 934 ; AVX512-NEXT: vmovntdq %zmm0, (%rdi) 935 ; AVX512-NEXT: vzeroupper 936 ; AVX512-NEXT: retq 937 entry: 938 store <16 x i32> %X, <16 x i32>* %ptr, align 64, !nontemporal !1 939 ret void 940 } 941 942 define void @test_nt8xi64(<8 x i64>* nocapture %ptr, <8 x i64> %X) { 943 ; SSE-LABEL: test_nt8xi64: 944 ; SSE: # %bb.0: # %entry 945 ; SSE-NEXT: movntdq %xmm0, (%rdi) 946 ; SSE-NEXT: movntdq %xmm1, 16(%rdi) 947 ; SSE-NEXT: movntdq %xmm2, 32(%rdi) 948 ; SSE-NEXT: movntdq %xmm3, 48(%rdi) 949 ; SSE-NEXT: retq 950 ; 951 ; AVX-LABEL: test_nt8xi64: 952 ; AVX: # %bb.0: # %entry 953 ; AVX-NEXT: vmovntdq %ymm0, (%rdi) 954 ; AVX-NEXT: vmovntdq %ymm1, 32(%rdi) 955 ; AVX-NEXT: vzeroupper 956 ; AVX-NEXT: retq 957 ; 958 ; AVX512-LABEL: test_nt8xi64: 959 ; AVX512: # %bb.0: # %entry 960 ; AVX512-NEXT: vmovntdq %zmm0, (%rdi) 961 ; AVX512-NEXT: vzeroupper 962 ; AVX512-NEXT: retq 963 entry: 964 store <8 x i64> %X, <8 x i64>* %ptr, align 64, !nontemporal !1 965 ret void 966 } 967 968 ; 969 ; 512-bit Vector Loads 970 ; 971 972 define <16 x float> @test_load_nt16xfloat(<16 x float>* nocapture %ptr) { 973 ; SSE2-LABEL: test_load_nt16xfloat: 974 ; SSE2: # %bb.0: # %entry 975 ; SSE2-NEXT: movaps (%rdi), %xmm0 976 ; SSE2-NEXT: movaps 16(%rdi), %xmm1 977 ; SSE2-NEXT: movaps 32(%rdi), %xmm2 978 ; SSE2-NEXT: movaps 48(%rdi), %xmm3 979 ; SSE2-NEXT: retq 980 ; 981 ; SSE4A-LABEL: test_load_nt16xfloat: 982 ; SSE4A: # %bb.0: # %entry 983 ; SSE4A-NEXT: movaps (%rdi), %xmm0 984 ; SSE4A-NEXT: movaps 16(%rdi), %xmm1 985 ; SSE4A-NEXT: movaps 32(%rdi), %xmm2 986 ; SSE4A-NEXT: movaps 48(%rdi), %xmm3 987 ; SSE4A-NEXT: retq 988 ; 989 ; SSE41-LABEL: test_load_nt16xfloat: 990 ; SSE41: # %bb.0: # %entry 991 ; SSE41-NEXT: movntdqa (%rdi), %xmm0 992 ; SSE41-NEXT: movntdqa 16(%rdi), %xmm1 993 ; SSE41-NEXT: movntdqa 32(%rdi), %xmm2 994 ; SSE41-NEXT: movntdqa 48(%rdi), %xmm3 995 ; SSE41-NEXT: retq 996 ; 997 ; AVX1-LABEL: test_load_nt16xfloat: 998 ; AVX1: # %bb.0: # %entry 999 ; AVX1-NEXT: vmovntdqa (%rdi), %xmm0 1000 ; AVX1-NEXT: # implicit-def: $ymm1 1001 ; AVX1-NEXT: vmovaps %xmm0, %xmm1 1002 ; AVX1-NEXT: vmovntdqa 16(%rdi), %xmm0 1003 ; AVX1-NEXT: vinsertf128 $1, %xmm0, %ymm1, %ymm0 1004 ; AVX1-NEXT: vmovntdqa 32(%rdi), %xmm2 1005 ; AVX1-NEXT: # implicit-def: $ymm1 1006 ; AVX1-NEXT: vmovaps %xmm2, %xmm1 1007 ; AVX1-NEXT: vmovntdqa 48(%rdi), %xmm2 1008 ; AVX1-NEXT: vinsertf128 $1, %xmm2, %ymm1, %ymm1 1009 ; AVX1-NEXT: retq 1010 ; 1011 ; AVX2-LABEL: test_load_nt16xfloat: 1012 ; AVX2: # %bb.0: # %entry 1013 ; AVX2-NEXT: vmovntdqa (%rdi), %ymm0 1014 ; AVX2-NEXT: vmovntdqa 32(%rdi), %ymm1 1015 ; AVX2-NEXT: retq 1016 ; 1017 ; AVX512-LABEL: test_load_nt16xfloat: 1018 ; AVX512: # %bb.0: # %entry 1019 ; AVX512-NEXT: vmovntdqa (%rdi), %zmm0 1020 ; AVX512-NEXT: retq 1021 entry: 1022 %0 = load <16 x float>, <16 x float>* %ptr, align 64, !nontemporal !1 1023 ret <16 x float> %0 1024 } 1025 1026 define <8 x double> @test_load_nt8xdouble(<8 x double>* nocapture %ptr) { 1027 ; SSE2-LABEL: test_load_nt8xdouble: 1028 ; SSE2: # %bb.0: # %entry 1029 ; SSE2-NEXT: movapd (%rdi), %xmm0 1030 ; SSE2-NEXT: movapd 16(%rdi), %xmm1 1031 ; SSE2-NEXT: movapd 32(%rdi), %xmm2 1032 ; SSE2-NEXT: movapd 48(%rdi), %xmm3 1033 ; SSE2-NEXT: retq 1034 ; 1035 ; SSE4A-LABEL: test_load_nt8xdouble: 1036 ; SSE4A: # %bb.0: # %entry 1037 ; SSE4A-NEXT: movapd (%rdi), %xmm0 1038 ; SSE4A-NEXT: movapd 16(%rdi), %xmm1 1039 ; SSE4A-NEXT: movapd 32(%rdi), %xmm2 1040 ; SSE4A-NEXT: movapd 48(%rdi), %xmm3 1041 ; SSE4A-NEXT: retq 1042 ; 1043 ; SSE41-LABEL: test_load_nt8xdouble: 1044 ; SSE41: # %bb.0: # %entry 1045 ; SSE41-NEXT: movntdqa (%rdi), %xmm0 1046 ; SSE41-NEXT: movntdqa 16(%rdi), %xmm1 1047 ; SSE41-NEXT: movntdqa 32(%rdi), %xmm2 1048 ; SSE41-NEXT: movntdqa 48(%rdi), %xmm3 1049 ; SSE41-NEXT: retq 1050 ; 1051 ; AVX1-LABEL: test_load_nt8xdouble: 1052 ; AVX1: # %bb.0: # %entry 1053 ; AVX1-NEXT: vmovntdqa (%rdi), %xmm0 1054 ; AVX1-NEXT: # implicit-def: $ymm1 1055 ; AVX1-NEXT: vmovaps %xmm0, %xmm1 1056 ; AVX1-NEXT: vmovntdqa 16(%rdi), %xmm0 1057 ; AVX1-NEXT: vinsertf128 $1, %xmm0, %ymm1, %ymm0 1058 ; AVX1-NEXT: vmovntdqa 32(%rdi), %xmm2 1059 ; AVX1-NEXT: # implicit-def: $ymm1 1060 ; AVX1-NEXT: vmovaps %xmm2, %xmm1 1061 ; AVX1-NEXT: vmovntdqa 48(%rdi), %xmm2 1062 ; AVX1-NEXT: vinsertf128 $1, %xmm2, %ymm1, %ymm1 1063 ; AVX1-NEXT: retq 1064 ; 1065 ; AVX2-LABEL: test_load_nt8xdouble: 1066 ; AVX2: # %bb.0: # %entry 1067 ; AVX2-NEXT: vmovntdqa (%rdi), %ymm0 1068 ; AVX2-NEXT: vmovntdqa 32(%rdi), %ymm1 1069 ; AVX2-NEXT: retq 1070 ; 1071 ; AVX512-LABEL: test_load_nt8xdouble: 1072 ; AVX512: # %bb.0: # %entry 1073 ; AVX512-NEXT: vmovntdqa (%rdi), %zmm0 1074 ; AVX512-NEXT: retq 1075 entry: 1076 %0 = load <8 x double>, <8 x double>* %ptr, align 64, !nontemporal !1 1077 ret <8 x double> %0 1078 } 1079 1080 define <64 x i8> @test_load_nt64xi8(<64 x i8>* nocapture %ptr) { 1081 ; SSE2-LABEL: test_load_nt64xi8: 1082 ; SSE2: # %bb.0: # %entry 1083 ; SSE2-NEXT: movaps (%rdi), %xmm0 1084 ; SSE2-NEXT: movaps 16(%rdi), %xmm1 1085 ; SSE2-NEXT: movaps 32(%rdi), %xmm2 1086 ; SSE2-NEXT: movaps 48(%rdi), %xmm3 1087 ; SSE2-NEXT: retq 1088 ; 1089 ; SSE4A-LABEL: test_load_nt64xi8: 1090 ; SSE4A: # %bb.0: # %entry 1091 ; SSE4A-NEXT: movaps (%rdi), %xmm0 1092 ; SSE4A-NEXT: movaps 16(%rdi), %xmm1 1093 ; SSE4A-NEXT: movaps 32(%rdi), %xmm2 1094 ; SSE4A-NEXT: movaps 48(%rdi), %xmm3 1095 ; SSE4A-NEXT: retq 1096 ; 1097 ; SSE41-LABEL: test_load_nt64xi8: 1098 ; SSE41: # %bb.0: # %entry 1099 ; SSE41-NEXT: movntdqa (%rdi), %xmm0 1100 ; SSE41-NEXT: movntdqa 16(%rdi), %xmm1 1101 ; SSE41-NEXT: movntdqa 32(%rdi), %xmm2 1102 ; SSE41-NEXT: movntdqa 48(%rdi), %xmm3 1103 ; SSE41-NEXT: retq 1104 ; 1105 ; AVX1-LABEL: test_load_nt64xi8: 1106 ; AVX1: # %bb.0: # %entry 1107 ; AVX1-NEXT: vmovntdqa (%rdi), %xmm0 1108 ; AVX1-NEXT: # implicit-def: $ymm1 1109 ; AVX1-NEXT: vmovaps %xmm0, %xmm1 1110 ; AVX1-NEXT: vmovntdqa 16(%rdi), %xmm0 1111 ; AVX1-NEXT: vinsertf128 $1, %xmm0, %ymm1, %ymm0 1112 ; AVX1-NEXT: vmovntdqa 32(%rdi), %xmm2 1113 ; AVX1-NEXT: # implicit-def: $ymm1 1114 ; AVX1-NEXT: vmovaps %xmm2, %xmm1 1115 ; AVX1-NEXT: vmovntdqa 48(%rdi), %xmm2 1116 ; AVX1-NEXT: vinsertf128 $1, %xmm2, %ymm1, %ymm1 1117 ; AVX1-NEXT: retq 1118 ; 1119 ; AVX2-LABEL: test_load_nt64xi8: 1120 ; AVX2: # %bb.0: # %entry 1121 ; AVX2-NEXT: vmovntdqa (%rdi), %ymm0 1122 ; AVX2-NEXT: vmovntdqa 32(%rdi), %ymm1 1123 ; AVX2-NEXT: retq 1124 ; 1125 ; AVX512VL-LABEL: test_load_nt64xi8: 1126 ; AVX512VL: # %bb.0: # %entry 1127 ; AVX512VL-NEXT: vmovntdqa (%rdi), %ymm0 1128 ; AVX512VL-NEXT: vmovntdqa 32(%rdi), %ymm1 1129 ; AVX512VL-NEXT: retq 1130 ; 1131 ; AVX512F-LABEL: test_load_nt64xi8: 1132 ; AVX512F: # %bb.0: # %entry 1133 ; AVX512F-NEXT: vmovntdqa (%rdi), %ymm0 1134 ; AVX512F-NEXT: vmovntdqa 32(%rdi), %ymm1 1135 ; AVX512F-NEXT: retq 1136 ; 1137 ; AVX512BW-LABEL: test_load_nt64xi8: 1138 ; AVX512BW: # %bb.0: # %entry 1139 ; AVX512BW-NEXT: vmovntdqa (%rdi), %zmm0 1140 ; AVX512BW-NEXT: retq 1141 entry: 1142 %0 = load <64 x i8>, <64 x i8>* %ptr, align 64, !nontemporal !1 1143 ret <64 x i8> %0 1144 } 1145 1146 define <32 x i16> @test_load_nt32xi16(<32 x i16>* nocapture %ptr) { 1147 ; SSE2-LABEL: test_load_nt32xi16: 1148 ; SSE2: # %bb.0: # %entry 1149 ; SSE2-NEXT: movaps (%rdi), %xmm0 1150 ; SSE2-NEXT: movaps 16(%rdi), %xmm1 1151 ; SSE2-NEXT: movaps 32(%rdi), %xmm2 1152 ; SSE2-NEXT: movaps 48(%rdi), %xmm3 1153 ; SSE2-NEXT: retq 1154 ; 1155 ; SSE4A-LABEL: test_load_nt32xi16: 1156 ; SSE4A: # %bb.0: # %entry 1157 ; SSE4A-NEXT: movaps (%rdi), %xmm0 1158 ; SSE4A-NEXT: movaps 16(%rdi), %xmm1 1159 ; SSE4A-NEXT: movaps 32(%rdi), %xmm2 1160 ; SSE4A-NEXT: movaps 48(%rdi), %xmm3 1161 ; SSE4A-NEXT: retq 1162 ; 1163 ; SSE41-LABEL: test_load_nt32xi16: 1164 ; SSE41: # %bb.0: # %entry 1165 ; SSE41-NEXT: movntdqa (%rdi), %xmm0 1166 ; SSE41-NEXT: movntdqa 16(%rdi), %xmm1 1167 ; SSE41-NEXT: movntdqa 32(%rdi), %xmm2 1168 ; SSE41-NEXT: movntdqa 48(%rdi), %xmm3 1169 ; SSE41-NEXT: retq 1170 ; 1171 ; AVX1-LABEL: test_load_nt32xi16: 1172 ; AVX1: # %bb.0: # %entry 1173 ; AVX1-NEXT: vmovntdqa (%rdi), %xmm0 1174 ; AVX1-NEXT: # implicit-def: $ymm1 1175 ; AVX1-NEXT: vmovaps %xmm0, %xmm1 1176 ; AVX1-NEXT: vmovntdqa 16(%rdi), %xmm0 1177 ; AVX1-NEXT: vinsertf128 $1, %xmm0, %ymm1, %ymm0 1178 ; AVX1-NEXT: vmovntdqa 32(%rdi), %xmm2 1179 ; AVX1-NEXT: # implicit-def: $ymm1 1180 ; AVX1-NEXT: vmovaps %xmm2, %xmm1 1181 ; AVX1-NEXT: vmovntdqa 48(%rdi), %xmm2 1182 ; AVX1-NEXT: vinsertf128 $1, %xmm2, %ymm1, %ymm1 1183 ; AVX1-NEXT: retq 1184 ; 1185 ; AVX2-LABEL: test_load_nt32xi16: 1186 ; AVX2: # %bb.0: # %entry 1187 ; AVX2-NEXT: vmovntdqa (%rdi), %ymm0 1188 ; AVX2-NEXT: vmovntdqa 32(%rdi), %ymm1 1189 ; AVX2-NEXT: retq 1190 ; 1191 ; AVX512VL-LABEL: test_load_nt32xi16: 1192 ; AVX512VL: # %bb.0: # %entry 1193 ; AVX512VL-NEXT: vmovntdqa (%rdi), %ymm0 1194 ; AVX512VL-NEXT: vmovntdqa 32(%rdi), %ymm1 1195 ; AVX512VL-NEXT: retq 1196 ; 1197 ; AVX512F-LABEL: test_load_nt32xi16: 1198 ; AVX512F: # %bb.0: # %entry 1199 ; AVX512F-NEXT: vmovntdqa (%rdi), %ymm0 1200 ; AVX512F-NEXT: vmovntdqa 32(%rdi), %ymm1 1201 ; AVX512F-NEXT: retq 1202 ; 1203 ; AVX512BW-LABEL: test_load_nt32xi16: 1204 ; AVX512BW: # %bb.0: # %entry 1205 ; AVX512BW-NEXT: vmovntdqa (%rdi), %zmm0 1206 ; AVX512BW-NEXT: retq 1207 entry: 1208 %0 = load <32 x i16>, <32 x i16>* %ptr, align 64, !nontemporal !1 1209 ret <32 x i16> %0 1210 } 1211 1212 define <16 x i32> @test_load_nt16xi32(<16 x i32>* nocapture %ptr) { 1213 ; SSE2-LABEL: test_load_nt16xi32: 1214 ; SSE2: # %bb.0: # %entry 1215 ; SSE2-NEXT: movaps (%rdi), %xmm0 1216 ; SSE2-NEXT: movaps 16(%rdi), %xmm1 1217 ; SSE2-NEXT: movaps 32(%rdi), %xmm2 1218 ; SSE2-NEXT: movaps 48(%rdi), %xmm3 1219 ; SSE2-NEXT: retq 1220 ; 1221 ; SSE4A-LABEL: test_load_nt16xi32: 1222 ; SSE4A: # %bb.0: # %entry 1223 ; SSE4A-NEXT: movaps (%rdi), %xmm0 1224 ; SSE4A-NEXT: movaps 16(%rdi), %xmm1 1225 ; SSE4A-NEXT: movaps 32(%rdi), %xmm2 1226 ; SSE4A-NEXT: movaps 48(%rdi), %xmm3 1227 ; SSE4A-NEXT: retq 1228 ; 1229 ; SSE41-LABEL: test_load_nt16xi32: 1230 ; SSE41: # %bb.0: # %entry 1231 ; SSE41-NEXT: movntdqa (%rdi), %xmm0 1232 ; SSE41-NEXT: movntdqa 16(%rdi), %xmm1 1233 ; SSE41-NEXT: movntdqa 32(%rdi), %xmm2 1234 ; SSE41-NEXT: movntdqa 48(%rdi), %xmm3 1235 ; SSE41-NEXT: retq 1236 ; 1237 ; AVX1-LABEL: test_load_nt16xi32: 1238 ; AVX1: # %bb.0: # %entry 1239 ; AVX1-NEXT: vmovntdqa (%rdi), %xmm0 1240 ; AVX1-NEXT: # implicit-def: $ymm1 1241 ; AVX1-NEXT: vmovaps %xmm0, %xmm1 1242 ; AVX1-NEXT: vmovntdqa 16(%rdi), %xmm0 1243 ; AVX1-NEXT: vinsertf128 $1, %xmm0, %ymm1, %ymm0 1244 ; AVX1-NEXT: vmovntdqa 32(%rdi), %xmm2 1245 ; AVX1-NEXT: # implicit-def: $ymm1 1246 ; AVX1-NEXT: vmovaps %xmm2, %xmm1 1247 ; AVX1-NEXT: vmovntdqa 48(%rdi), %xmm2 1248 ; AVX1-NEXT: vinsertf128 $1, %xmm2, %ymm1, %ymm1 1249 ; AVX1-NEXT: retq 1250 ; 1251 ; AVX2-LABEL: test_load_nt16xi32: 1252 ; AVX2: # %bb.0: # %entry 1253 ; AVX2-NEXT: vmovntdqa (%rdi), %ymm0 1254 ; AVX2-NEXT: vmovntdqa 32(%rdi), %ymm1 1255 ; AVX2-NEXT: retq 1256 ; 1257 ; AVX512-LABEL: test_load_nt16xi32: 1258 ; AVX512: # %bb.0: # %entry 1259 ; AVX512-NEXT: vmovntdqa (%rdi), %zmm0 1260 ; AVX512-NEXT: retq 1261 entry: 1262 %0 = load <16 x i32>, <16 x i32>* %ptr, align 64, !nontemporal !1 1263 ret <16 x i32> %0 1264 } 1265 1266 define <8 x i64> @test_load_nt8xi64(<8 x i64>* nocapture %ptr) { 1267 ; SSE2-LABEL: test_load_nt8xi64: 1268 ; SSE2: # %bb.0: # %entry 1269 ; SSE2-NEXT: movaps (%rdi), %xmm0 1270 ; SSE2-NEXT: movaps 16(%rdi), %xmm1 1271 ; SSE2-NEXT: movaps 32(%rdi), %xmm2 1272 ; SSE2-NEXT: movaps 48(%rdi), %xmm3 1273 ; SSE2-NEXT: retq 1274 ; 1275 ; SSE4A-LABEL: test_load_nt8xi64: 1276 ; SSE4A: # %bb.0: # %entry 1277 ; SSE4A-NEXT: movaps (%rdi), %xmm0 1278 ; SSE4A-NEXT: movaps 16(%rdi), %xmm1 1279 ; SSE4A-NEXT: movaps 32(%rdi), %xmm2 1280 ; SSE4A-NEXT: movaps 48(%rdi), %xmm3 1281 ; SSE4A-NEXT: retq 1282 ; 1283 ; SSE41-LABEL: test_load_nt8xi64: 1284 ; SSE41: # %bb.0: # %entry 1285 ; SSE41-NEXT: movntdqa (%rdi), %xmm0 1286 ; SSE41-NEXT: movntdqa 16(%rdi), %xmm1 1287 ; SSE41-NEXT: movntdqa 32(%rdi), %xmm2 1288 ; SSE41-NEXT: movntdqa 48(%rdi), %xmm3 1289 ; SSE41-NEXT: retq 1290 ; 1291 ; AVX1-LABEL: test_load_nt8xi64: 1292 ; AVX1: # %bb.0: # %entry 1293 ; AVX1-NEXT: vmovntdqa (%rdi), %xmm0 1294 ; AVX1-NEXT: # implicit-def: $ymm1 1295 ; AVX1-NEXT: vmovaps %xmm0, %xmm1 1296 ; AVX1-NEXT: vmovntdqa 16(%rdi), %xmm0 1297 ; AVX1-NEXT: vinsertf128 $1, %xmm0, %ymm1, %ymm0 1298 ; AVX1-NEXT: vmovntdqa 32(%rdi), %xmm2 1299 ; AVX1-NEXT: # implicit-def: $ymm1 1300 ; AVX1-NEXT: vmovaps %xmm2, %xmm1 1301 ; AVX1-NEXT: vmovntdqa 48(%rdi), %xmm2 1302 ; AVX1-NEXT: vinsertf128 $1, %xmm2, %ymm1, %ymm1 1303 ; AVX1-NEXT: retq 1304 ; 1305 ; AVX2-LABEL: test_load_nt8xi64: 1306 ; AVX2: # %bb.0: # %entry 1307 ; AVX2-NEXT: vmovntdqa (%rdi), %ymm0 1308 ; AVX2-NEXT: vmovntdqa 32(%rdi), %ymm1 1309 ; AVX2-NEXT: retq 1310 ; 1311 ; AVX512-LABEL: test_load_nt8xi64: 1312 ; AVX512: # %bb.0: # %entry 1313 ; AVX512-NEXT: vmovntdqa (%rdi), %zmm0 1314 ; AVX512-NEXT: retq 1315 entry: 1316 %0 = load <8 x i64>, <8 x i64>* %ptr, align 64, !nontemporal !1 1317 ret <8 x i64> %0 1318 } 1319 1320 !1 = !{i32 1} 1321
