1 ; RUN: llc < %s -march=x86-64 -mattr=+sse2,+sse3 | FileCheck %s -check-prefix=CHECK -check-prefix=SSE3 2 ; RUN: llc < %s -march=x86-64 -mattr=+sse2,+sse3,+ssse3 | FileCheck %s -check-prefix=CHECK -check-prefix=SSSE3 3 ; RUN: llc < %s -march=x86-64 -mattr=+avx | FileCheck %s -check-prefix=CHECK -check-prefix=AVX 4 ; RUN: llc < %s -march=x86-64 -mattr=+avx2 | FileCheck %s -check-prefix=CHECK -check-prefix=AVX2 5 6 7 8 define <4 x float> @hadd_ps_test1(<4 x float> %A, <4 x float> %B) { 9 %vecext = extractelement <4 x float> %A, i32 0 10 %vecext1 = extractelement <4 x float> %A, i32 1 11 %add = fadd float %vecext, %vecext1 12 %vecinit = insertelement <4 x float> undef, float %add, i32 0 13 %vecext2 = extractelement <4 x float> %A, i32 2 14 %vecext3 = extractelement <4 x float> %A, i32 3 15 %add4 = fadd float %vecext2, %vecext3 16 %vecinit5 = insertelement <4 x float> %vecinit, float %add4, i32 1 17 %vecext6 = extractelement <4 x float> %B, i32 0 18 %vecext7 = extractelement <4 x float> %B, i32 1 19 %add8 = fadd float %vecext6, %vecext7 20 %vecinit9 = insertelement <4 x float> %vecinit5, float %add8, i32 2 21 %vecext10 = extractelement <4 x float> %B, i32 2 22 %vecext11 = extractelement <4 x float> %B, i32 3 23 %add12 = fadd float %vecext10, %vecext11 24 %vecinit13 = insertelement <4 x float> %vecinit9, float %add12, i32 3 25 ret <4 x float> %vecinit13 26 } 27 ; CHECK-LABEL: hadd_ps_test1 28 ; CHECK: haddps 29 ; CHECK-NEXT: ret 30 31 32 define <4 x float> @hadd_ps_test2(<4 x float> %A, <4 x float> %B) { 33 %vecext = extractelement <4 x float> %A, i32 2 34 %vecext1 = extractelement <4 x float> %A, i32 3 35 %add = fadd float %vecext, %vecext1 36 %vecinit = insertelement <4 x float> undef, float %add, i32 1 37 %vecext2 = extractelement <4 x float> %A, i32 0 38 %vecext3 = extractelement <4 x float> %A, i32 1 39 %add4 = fadd float %vecext2, %vecext3 40 %vecinit5 = insertelement <4 x float> %vecinit, float %add4, i32 0 41 %vecext6 = extractelement <4 x float> %B, i32 2 42 %vecext7 = extractelement <4 x float> %B, i32 3 43 %add8 = fadd float %vecext6, %vecext7 44 %vecinit9 = insertelement <4 x float> %vecinit5, float %add8, i32 3 45 %vecext10 = extractelement <4 x float> %B, i32 0 46 %vecext11 = extractelement <4 x float> %B, i32 1 47 %add12 = fadd float %vecext10, %vecext11 48 %vecinit13 = insertelement <4 x float> %vecinit9, float %add12, i32 2 49 ret <4 x float> %vecinit13 50 } 51 ; CHECK-LABEL: hadd_ps_test2 52 ; CHECK: haddps 53 ; CHECK-NEXT: ret 54 55 56 define <4 x float> @hsub_ps_test1(<4 x float> %A, <4 x float> %B) { 57 %vecext = extractelement <4 x float> %A, i32 0 58 %vecext1 = extractelement <4 x float> %A, i32 1 59 %sub = fsub float %vecext, %vecext1 60 %vecinit = insertelement <4 x float> undef, float %sub, i32 0 61 %vecext2 = extractelement <4 x float> %A, i32 2 62 %vecext3 = extractelement <4 x float> %A, i32 3 63 %sub4 = fsub float %vecext2, %vecext3 64 %vecinit5 = insertelement <4 x float> %vecinit, float %sub4, i32 1 65 %vecext6 = extractelement <4 x float> %B, i32 0 66 %vecext7 = extractelement <4 x float> %B, i32 1 67 %sub8 = fsub float %vecext6, %vecext7 68 %vecinit9 = insertelement <4 x float> %vecinit5, float %sub8, i32 2 69 %vecext10 = extractelement <4 x float> %B, i32 2 70 %vecext11 = extractelement <4 x float> %B, i32 3 71 %sub12 = fsub float %vecext10, %vecext11 72 %vecinit13 = insertelement <4 x float> %vecinit9, float %sub12, i32 3 73 ret <4 x float> %vecinit13 74 } 75 ; CHECK-LABEL: hsub_ps_test1 76 ; CHECK: hsubps 77 ; CHECK-NEXT: ret 78 79 80 define <4 x float> @hsub_ps_test2(<4 x float> %A, <4 x float> %B) { 81 %vecext = extractelement <4 x float> %A, i32 2 82 %vecext1 = extractelement <4 x float> %A, i32 3 83 %sub = fsub float %vecext, %vecext1 84 %vecinit = insertelement <4 x float> undef, float %sub, i32 1 85 %vecext2 = extractelement <4 x float> %A, i32 0 86 %vecext3 = extractelement <4 x float> %A, i32 1 87 %sub4 = fsub float %vecext2, %vecext3 88 %vecinit5 = insertelement <4 x float> %vecinit, float %sub4, i32 0 89 %vecext6 = extractelement <4 x float> %B, i32 2 90 %vecext7 = extractelement <4 x float> %B, i32 3 91 %sub8 = fsub float %vecext6, %vecext7 92 %vecinit9 = insertelement <4 x float> %vecinit5, float %sub8, i32 3 93 %vecext10 = extractelement <4 x float> %B, i32 0 94 %vecext11 = extractelement <4 x float> %B, i32 1 95 %sub12 = fsub float %vecext10, %vecext11 96 %vecinit13 = insertelement <4 x float> %vecinit9, float %sub12, i32 2 97 ret <4 x float> %vecinit13 98 } 99 ; CHECK-LABEL: hsub_ps_test2 100 ; CHECK: hsubps 101 ; CHECK-NEXT: ret 102 103 104 define <4 x i32> @phadd_d_test1(<4 x i32> %A, <4 x i32> %B) { 105 %vecext = extractelement <4 x i32> %A, i32 0 106 %vecext1 = extractelement <4 x i32> %A, i32 1 107 %add = add i32 %vecext, %vecext1 108 %vecinit = insertelement <4 x i32> undef, i32 %add, i32 0 109 %vecext2 = extractelement <4 x i32> %A, i32 2 110 %vecext3 = extractelement <4 x i32> %A, i32 3 111 %add4 = add i32 %vecext2, %vecext3 112 %vecinit5 = insertelement <4 x i32> %vecinit, i32 %add4, i32 1 113 %vecext6 = extractelement <4 x i32> %B, i32 0 114 %vecext7 = extractelement <4 x i32> %B, i32 1 115 %add8 = add i32 %vecext6, %vecext7 116 %vecinit9 = insertelement <4 x i32> %vecinit5, i32 %add8, i32 2 117 %vecext10 = extractelement <4 x i32> %B, i32 2 118 %vecext11 = extractelement <4 x i32> %B, i32 3 119 %add12 = add i32 %vecext10, %vecext11 120 %vecinit13 = insertelement <4 x i32> %vecinit9, i32 %add12, i32 3 121 ret <4 x i32> %vecinit13 122 } 123 ; CHECK-LABEL: phadd_d_test1 124 ; SSE3-NOT: phaddd 125 ; SSSE3: phaddd 126 ; AVX: vphaddd 127 ; AVX2 vphaddd 128 ; CHECK: ret 129 130 131 define <4 x i32> @phadd_d_test2(<4 x i32> %A, <4 x i32> %B) { 132 %vecext = extractelement <4 x i32> %A, i32 2 133 %vecext1 = extractelement <4 x i32> %A, i32 3 134 %add = add i32 %vecext, %vecext1 135 %vecinit = insertelement <4 x i32> undef, i32 %add, i32 1 136 %vecext2 = extractelement <4 x i32> %A, i32 0 137 %vecext3 = extractelement <4 x i32> %A, i32 1 138 %add4 = add i32 %vecext2, %vecext3 139 %vecinit5 = insertelement <4 x i32> %vecinit, i32 %add4, i32 0 140 %vecext6 = extractelement <4 x i32> %B, i32 3 141 %vecext7 = extractelement <4 x i32> %B, i32 2 142 %add8 = add i32 %vecext6, %vecext7 143 %vecinit9 = insertelement <4 x i32> %vecinit5, i32 %add8, i32 3 144 %vecext10 = extractelement <4 x i32> %B, i32 1 145 %vecext11 = extractelement <4 x i32> %B, i32 0 146 %add12 = add i32 %vecext10, %vecext11 147 %vecinit13 = insertelement <4 x i32> %vecinit9, i32 %add12, i32 2 148 ret <4 x i32> %vecinit13 149 } 150 ; CHECK-LABEL: phadd_d_test2 151 ; SSE3-NOT: phaddd 152 ; SSSE3: phaddd 153 ; AVX: vphaddd 154 ; AVX2 vphaddd 155 ; CHECK: ret 156 157 158 define <4 x i32> @phsub_d_test1(<4 x i32> %A, <4 x i32> %B) { 159 %vecext = extractelement <4 x i32> %A, i32 0 160 %vecext1 = extractelement <4 x i32> %A, i32 1 161 %sub = sub i32 %vecext, %vecext1 162 %vecinit = insertelement <4 x i32> undef, i32 %sub, i32 0 163 %vecext2 = extractelement <4 x i32> %A, i32 2 164 %vecext3 = extractelement <4 x i32> %A, i32 3 165 %sub4 = sub i32 %vecext2, %vecext3 166 %vecinit5 = insertelement <4 x i32> %vecinit, i32 %sub4, i32 1 167 %vecext6 = extractelement <4 x i32> %B, i32 0 168 %vecext7 = extractelement <4 x i32> %B, i32 1 169 %sub8 = sub i32 %vecext6, %vecext7 170 %vecinit9 = insertelement <4 x i32> %vecinit5, i32 %sub8, i32 2 171 %vecext10 = extractelement <4 x i32> %B, i32 2 172 %vecext11 = extractelement <4 x i32> %B, i32 3 173 %sub12 = sub i32 %vecext10, %vecext11 174 %vecinit13 = insertelement <4 x i32> %vecinit9, i32 %sub12, i32 3 175 ret <4 x i32> %vecinit13 176 } 177 ; CHECK-LABEL: phsub_d_test1 178 ; SSE3-NOT: phsubd 179 ; SSSE3: phsubd 180 ; AVX: vphsubd 181 ; AVX2 vphsubd 182 ; CHECK: ret 183 184 185 define <4 x i32> @phsub_d_test2(<4 x i32> %A, <4 x i32> %B) { 186 %vecext = extractelement <4 x i32> %A, i32 2 187 %vecext1 = extractelement <4 x i32> %A, i32 3 188 %sub = sub i32 %vecext, %vecext1 189 %vecinit = insertelement <4 x i32> undef, i32 %sub, i32 1 190 %vecext2 = extractelement <4 x i32> %A, i32 0 191 %vecext3 = extractelement <4 x i32> %A, i32 1 192 %sub4 = sub i32 %vecext2, %vecext3 193 %vecinit5 = insertelement <4 x i32> %vecinit, i32 %sub4, i32 0 194 %vecext6 = extractelement <4 x i32> %B, i32 2 195 %vecext7 = extractelement <4 x i32> %B, i32 3 196 %sub8 = sub i32 %vecext6, %vecext7 197 %vecinit9 = insertelement <4 x i32> %vecinit5, i32 %sub8, i32 3 198 %vecext10 = extractelement <4 x i32> %B, i32 0 199 %vecext11 = extractelement <4 x i32> %B, i32 1 200 %sub12 = sub i32 %vecext10, %vecext11 201 %vecinit13 = insertelement <4 x i32> %vecinit9, i32 %sub12, i32 2 202 ret <4 x i32> %vecinit13 203 } 204 ; CHECK-LABEL: phsub_d_test2 205 ; SSE3-NOT: phsubd 206 ; SSSE3: phsubd 207 ; AVX: vphsubd 208 ; AVX2 vphsubd 209 ; CHECK: ret 210 211 212 define <2 x double> @hadd_pd_test1(<2 x double> %A, <2 x double> %B) { 213 %vecext = extractelement <2 x double> %A, i32 0 214 %vecext1 = extractelement <2 x double> %A, i32 1 215 %add = fadd double %vecext, %vecext1 216 %vecinit = insertelement <2 x double> undef, double %add, i32 0 217 %vecext2 = extractelement <2 x double> %B, i32 0 218 %vecext3 = extractelement <2 x double> %B, i32 1 219 %add2 = fadd double %vecext2, %vecext3 220 %vecinit2 = insertelement <2 x double> %vecinit, double %add2, i32 1 221 ret <2 x double> %vecinit2 222 } 223 ; CHECK-LABEL: hadd_pd_test1 224 ; CHECK: haddpd 225 ; CHECK-NEXT: ret 226 227 228 define <2 x double> @hadd_pd_test2(<2 x double> %A, <2 x double> %B) { 229 %vecext = extractelement <2 x double> %A, i32 1 230 %vecext1 = extractelement <2 x double> %A, i32 0 231 %add = fadd double %vecext, %vecext1 232 %vecinit = insertelement <2 x double> undef, double %add, i32 0 233 %vecext2 = extractelement <2 x double> %B, i32 1 234 %vecext3 = extractelement <2 x double> %B, i32 0 235 %add2 = fadd double %vecext2, %vecext3 236 %vecinit2 = insertelement <2 x double> %vecinit, double %add2, i32 1 237 ret <2 x double> %vecinit2 238 } 239 ; CHECK-LABEL: hadd_pd_test2 240 ; CHECK: haddpd 241 ; CHECK-NEXT: ret 242 243 244 define <2 x double> @hsub_pd_test1(<2 x double> %A, <2 x double> %B) { 245 %vecext = extractelement <2 x double> %A, i32 0 246 %vecext1 = extractelement <2 x double> %A, i32 1 247 %sub = fsub double %vecext, %vecext1 248 %vecinit = insertelement <2 x double> undef, double %sub, i32 0 249 %vecext2 = extractelement <2 x double> %B, i32 0 250 %vecext3 = extractelement <2 x double> %B, i32 1 251 %sub2 = fsub double %vecext2, %vecext3 252 %vecinit2 = insertelement <2 x double> %vecinit, double %sub2, i32 1 253 ret <2 x double> %vecinit2 254 } 255 ; CHECK-LABEL: hsub_pd_test1 256 ; CHECK: hsubpd 257 ; CHECK-NEXT: ret 258 259 260 define <2 x double> @hsub_pd_test2(<2 x double> %A, <2 x double> %B) { 261 %vecext = extractelement <2 x double> %B, i32 0 262 %vecext1 = extractelement <2 x double> %B, i32 1 263 %sub = fsub double %vecext, %vecext1 264 %vecinit = insertelement <2 x double> undef, double %sub, i32 1 265 %vecext2 = extractelement <2 x double> %A, i32 0 266 %vecext3 = extractelement <2 x double> %A, i32 1 267 %sub2 = fsub double %vecext2, %vecext3 268 %vecinit2 = insertelement <2 x double> %vecinit, double %sub2, i32 0 269 ret <2 x double> %vecinit2 270 } 271 ; CHECK-LABEL: hsub_pd_test2 272 ; CHECK: hsubpd 273 ; CHECK-NEXT: ret 274 275 276 define <4 x double> @avx_vhadd_pd_test(<4 x double> %A, <4 x double> %B) { 277 %vecext = extractelement <4 x double> %A, i32 0 278 %vecext1 = extractelement <4 x double> %A, i32 1 279 %add = fadd double %vecext, %vecext1 280 %vecinit = insertelement <4 x double> undef, double %add, i32 0 281 %vecext2 = extractelement <4 x double> %A, i32 2 282 %vecext3 = extractelement <4 x double> %A, i32 3 283 %add4 = fadd double %vecext2, %vecext3 284 %vecinit5 = insertelement <4 x double> %vecinit, double %add4, i32 1 285 %vecext6 = extractelement <4 x double> %B, i32 0 286 %vecext7 = extractelement <4 x double> %B, i32 1 287 %add8 = fadd double %vecext6, %vecext7 288 %vecinit9 = insertelement <4 x double> %vecinit5, double %add8, i32 2 289 %vecext10 = extractelement <4 x double> %B, i32 2 290 %vecext11 = extractelement <4 x double> %B, i32 3 291 %add12 = fadd double %vecext10, %vecext11 292 %vecinit13 = insertelement <4 x double> %vecinit9, double %add12, i32 3 293 ret <4 x double> %vecinit13 294 } 295 ; CHECK-LABEL: avx_vhadd_pd_test 296 ; SSE3: haddpd 297 ; SSE3-NEXT: haddpd 298 ; SSSE3: haddpd 299 ; SSSE3: haddpd 300 ; AVX: vhaddpd 301 ; AVX: vhaddpd 302 ; AVX2: vhaddpd 303 ; AVX2: vhaddpd 304 ; CHECK: ret 305 306 307 define <4 x double> @avx_vhsub_pd_test(<4 x double> %A, <4 x double> %B) { 308 %vecext = extractelement <4 x double> %A, i32 0 309 %vecext1 = extractelement <4 x double> %A, i32 1 310 %sub = fsub double %vecext, %vecext1 311 %vecinit = insertelement <4 x double> undef, double %sub, i32 0 312 %vecext2 = extractelement <4 x double> %A, i32 2 313 %vecext3 = extractelement <4 x double> %A, i32 3 314 %sub4 = fsub double %vecext2, %vecext3 315 %vecinit5 = insertelement <4 x double> %vecinit, double %sub4, i32 1 316 %vecext6 = extractelement <4 x double> %B, i32 0 317 %vecext7 = extractelement <4 x double> %B, i32 1 318 %sub8 = fsub double %vecext6, %vecext7 319 %vecinit9 = insertelement <4 x double> %vecinit5, double %sub8, i32 2 320 %vecext10 = extractelement <4 x double> %B, i32 2 321 %vecext11 = extractelement <4 x double> %B, i32 3 322 %sub12 = fsub double %vecext10, %vecext11 323 %vecinit13 = insertelement <4 x double> %vecinit9, double %sub12, i32 3 324 ret <4 x double> %vecinit13 325 } 326 ; CHECK-LABEL: avx_vhsub_pd_test 327 ; SSE3: hsubpd 328 ; SSE3-NEXT: hsubpd 329 ; SSSE3: hsubpd 330 ; SSSE3-NEXT: hsubpd 331 ; AVX: vhsubpd 332 ; AVX: vhsubpd 333 ; AVX2: vhsubpd 334 ; AVX2: vhsubpd 335 ; CHECK: ret 336 337 338 define <8 x i32> @avx2_vphadd_d_test(<8 x i32> %A, <8 x i32> %B) { 339 %vecext = extractelement <8 x i32> %A, i32 0 340 %vecext1 = extractelement <8 x i32> %A, i32 1 341 %add = add i32 %vecext, %vecext1 342 %vecinit = insertelement <8 x i32> undef, i32 %add, i32 0 343 %vecext2 = extractelement <8 x i32> %A, i32 2 344 %vecext3 = extractelement <8 x i32> %A, i32 3 345 %add4 = add i32 %vecext2, %vecext3 346 %vecinit5 = insertelement <8 x i32> %vecinit, i32 %add4, i32 1 347 %vecext6 = extractelement <8 x i32> %A, i32 4 348 %vecext7 = extractelement <8 x i32> %A, i32 5 349 %add8 = add i32 %vecext6, %vecext7 350 %vecinit9 = insertelement <8 x i32> %vecinit5, i32 %add8, i32 2 351 %vecext10 = extractelement <8 x i32> %A, i32 6 352 %vecext11 = extractelement <8 x i32> %A, i32 7 353 %add12 = add i32 %vecext10, %vecext11 354 %vecinit13 = insertelement <8 x i32> %vecinit9, i32 %add12, i32 3 355 %vecext14 = extractelement <8 x i32> %B, i32 0 356 %vecext15 = extractelement <8 x i32> %B, i32 1 357 %add16 = add i32 %vecext14, %vecext15 358 %vecinit17 = insertelement <8 x i32> %vecinit13, i32 %add16, i32 4 359 %vecext18 = extractelement <8 x i32> %B, i32 2 360 %vecext19 = extractelement <8 x i32> %B, i32 3 361 %add20 = add i32 %vecext18, %vecext19 362 %vecinit21 = insertelement <8 x i32> %vecinit17, i32 %add20, i32 5 363 %vecext22 = extractelement <8 x i32> %B, i32 4 364 %vecext23 = extractelement <8 x i32> %B, i32 5 365 %add24 = add i32 %vecext22, %vecext23 366 %vecinit25 = insertelement <8 x i32> %vecinit21, i32 %add24, i32 6 367 %vecext26 = extractelement <8 x i32> %B, i32 6 368 %vecext27 = extractelement <8 x i32> %B, i32 7 369 %add28 = add i32 %vecext26, %vecext27 370 %vecinit29 = insertelement <8 x i32> %vecinit25, i32 %add28, i32 7 371 ret <8 x i32> %vecinit29 372 } 373 ; CHECK-LABEL: avx2_vphadd_d_test 374 ; SSE3-NOT: phaddd 375 ; SSSE3: phaddd 376 ; SSSE3-NEXT: phaddd 377 ; AVX: vphaddd 378 ; AVX: vphaddd 379 ; AVX2: vphaddd 380 ; AVX2: vphaddd 381 ; CHECK: ret 382 383 define <16 x i16> @avx2_vphadd_w_test(<16 x i16> %a, <16 x i16> %b) { 384 %vecext = extractelement <16 x i16> %a, i32 0 385 %vecext1 = extractelement <16 x i16> %a, i32 1 386 %add = add i16 %vecext, %vecext1 387 %vecinit = insertelement <16 x i16> undef, i16 %add, i32 0 388 %vecext4 = extractelement <16 x i16> %a, i32 2 389 %vecext6 = extractelement <16 x i16> %a, i32 3 390 %add8 = add i16 %vecext4, %vecext6 391 %vecinit10 = insertelement <16 x i16> %vecinit, i16 %add8, i32 1 392 %vecext11 = extractelement <16 x i16> %a, i32 4 393 %vecext13 = extractelement <16 x i16> %a, i32 5 394 %add15 = add i16 %vecext11, %vecext13 395 %vecinit17 = insertelement <16 x i16> %vecinit10, i16 %add15, i32 2 396 %vecext18 = extractelement <16 x i16> %a, i32 6 397 %vecext20 = extractelement <16 x i16> %a, i32 7 398 %add22 = add i16 %vecext18, %vecext20 399 %vecinit24 = insertelement <16 x i16> %vecinit17, i16 %add22, i32 3 400 %vecext25 = extractelement <16 x i16> %a, i32 8 401 %vecext27 = extractelement <16 x i16> %a, i32 9 402 %add29 = add i16 %vecext25, %vecext27 403 %vecinit31 = insertelement <16 x i16> %vecinit24, i16 %add29, i32 4 404 %vecext32 = extractelement <16 x i16> %a, i32 10 405 %vecext34 = extractelement <16 x i16> %a, i32 11 406 %add36 = add i16 %vecext32, %vecext34 407 %vecinit38 = insertelement <16 x i16> %vecinit31, i16 %add36, i32 5 408 %vecext39 = extractelement <16 x i16> %a, i32 12 409 %vecext41 = extractelement <16 x i16> %a, i32 13 410 %add43 = add i16 %vecext39, %vecext41 411 %vecinit45 = insertelement <16 x i16> %vecinit38, i16 %add43, i32 6 412 %vecext46 = extractelement <16 x i16> %a, i32 14 413 %vecext48 = extractelement <16 x i16> %a, i32 15 414 %add50 = add i16 %vecext46, %vecext48 415 %vecinit52 = insertelement <16 x i16> %vecinit45, i16 %add50, i32 7 416 %vecext53 = extractelement <16 x i16> %b, i32 0 417 %vecext55 = extractelement <16 x i16> %b, i32 1 418 %add57 = add i16 %vecext53, %vecext55 419 %vecinit59 = insertelement <16 x i16> %vecinit52, i16 %add57, i32 8 420 %vecext60 = extractelement <16 x i16> %b, i32 2 421 %vecext62 = extractelement <16 x i16> %b, i32 3 422 %add64 = add i16 %vecext60, %vecext62 423 %vecinit66 = insertelement <16 x i16> %vecinit59, i16 %add64, i32 9 424 %vecext67 = extractelement <16 x i16> %b, i32 4 425 %vecext69 = extractelement <16 x i16> %b, i32 5 426 %add71 = add i16 %vecext67, %vecext69 427 %vecinit73 = insertelement <16 x i16> %vecinit66, i16 %add71, i32 10 428 %vecext74 = extractelement <16 x i16> %b, i32 6 429 %vecext76 = extractelement <16 x i16> %b, i32 7 430 %add78 = add i16 %vecext74, %vecext76 431 %vecinit80 = insertelement <16 x i16> %vecinit73, i16 %add78, i32 11 432 %vecext81 = extractelement <16 x i16> %b, i32 8 433 %vecext83 = extractelement <16 x i16> %b, i32 9 434 %add85 = add i16 %vecext81, %vecext83 435 %vecinit87 = insertelement <16 x i16> %vecinit80, i16 %add85, i32 12 436 %vecext88 = extractelement <16 x i16> %b, i32 10 437 %vecext90 = extractelement <16 x i16> %b, i32 11 438 %add92 = add i16 %vecext88, %vecext90 439 %vecinit94 = insertelement <16 x i16> %vecinit87, i16 %add92, i32 13 440 %vecext95 = extractelement <16 x i16> %b, i32 12 441 %vecext97 = extractelement <16 x i16> %b, i32 13 442 %add99 = add i16 %vecext95, %vecext97 443 %vecinit101 = insertelement <16 x i16> %vecinit94, i16 %add99, i32 14 444 %vecext102 = extractelement <16 x i16> %b, i32 14 445 %vecext104 = extractelement <16 x i16> %b, i32 15 446 %add106 = add i16 %vecext102, %vecext104 447 %vecinit108 = insertelement <16 x i16> %vecinit101, i16 %add106, i32 15 448 ret <16 x i16> %vecinit108 449 } 450 ; CHECK-LABEL: avx2_vphadd_w_test 451 ; SSE3-NOT: phaddw 452 ; SSSE3: phaddw 453 ; SSSE3-NEXT: phaddw 454 ; AVX: vphaddw 455 ; AVX: vphaddw 456 ; AVX2: vphaddw 457 ; AVX2: vphaddw 458 ; CHECK: ret 459 460 461 ; Verify that we don't select horizontal subs in the following functions. 462 463 define <4 x i32> @not_a_hsub_1(<4 x i32> %A, <4 x i32> %B) { 464 %vecext = extractelement <4 x i32> %A, i32 0 465 %vecext1 = extractelement <4 x i32> %A, i32 1 466 %sub = sub i32 %vecext, %vecext1 467 %vecinit = insertelement <4 x i32> undef, i32 %sub, i32 0 468 %vecext2 = extractelement <4 x i32> %A, i32 2 469 %vecext3 = extractelement <4 x i32> %A, i32 3 470 %sub4 = sub i32 %vecext2, %vecext3 471 %vecinit5 = insertelement <4 x i32> %vecinit, i32 %sub4, i32 1 472 %vecext6 = extractelement <4 x i32> %B, i32 1 473 %vecext7 = extractelement <4 x i32> %B, i32 0 474 %sub8 = sub i32 %vecext6, %vecext7 475 %vecinit9 = insertelement <4 x i32> %vecinit5, i32 %sub8, i32 2 476 %vecext10 = extractelement <4 x i32> %B, i32 3 477 %vecext11 = extractelement <4 x i32> %B, i32 2 478 %sub12 = sub i32 %vecext10, %vecext11 479 %vecinit13 = insertelement <4 x i32> %vecinit9, i32 %sub12, i32 3 480 ret <4 x i32> %vecinit13 481 } 482 ; CHECK-LABEL: not_a_hsub_1 483 ; CHECK-NOT: phsubd 484 ; CHECK: ret 485 486 487 define <4 x float> @not_a_hsub_2(<4 x float> %A, <4 x float> %B) { 488 %vecext = extractelement <4 x float> %A, i32 2 489 %vecext1 = extractelement <4 x float> %A, i32 3 490 %sub = fsub float %vecext, %vecext1 491 %vecinit = insertelement <4 x float> undef, float %sub, i32 1 492 %vecext2 = extractelement <4 x float> %A, i32 0 493 %vecext3 = extractelement <4 x float> %A, i32 1 494 %sub4 = fsub float %vecext2, %vecext3 495 %vecinit5 = insertelement <4 x float> %vecinit, float %sub4, i32 0 496 %vecext6 = extractelement <4 x float> %B, i32 3 497 %vecext7 = extractelement <4 x float> %B, i32 2 498 %sub8 = fsub float %vecext6, %vecext7 499 %vecinit9 = insertelement <4 x float> %vecinit5, float %sub8, i32 3 500 %vecext10 = extractelement <4 x float> %B, i32 0 501 %vecext11 = extractelement <4 x float> %B, i32 1 502 %sub12 = fsub float %vecext10, %vecext11 503 %vecinit13 = insertelement <4 x float> %vecinit9, float %sub12, i32 2 504 ret <4 x float> %vecinit13 505 } 506 ; CHECK-LABEL: not_a_hsub_2 507 ; CHECK-NOT: hsubps 508 ; CHECK: ret 509 510 511 define <2 x double> @not_a_hsub_3(<2 x double> %A, <2 x double> %B) { 512 %vecext = extractelement <2 x double> %B, i32 0 513 %vecext1 = extractelement <2 x double> %B, i32 1 514 %sub = fsub double %vecext, %vecext1 515 %vecinit = insertelement <2 x double> undef, double %sub, i32 1 516 %vecext2 = extractelement <2 x double> %A, i32 1 517 %vecext3 = extractelement <2 x double> %A, i32 0 518 %sub2 = fsub double %vecext2, %vecext3 519 %vecinit2 = insertelement <2 x double> %vecinit, double %sub2, i32 0 520 ret <2 x double> %vecinit2 521 } 522 ; CHECK-LABEL: not_a_hsub_3 523 ; CHECK-NOT: hsubpd 524 ; CHECK: ret 525 526 527 ; Test AVX horizontal add/sub of packed single/double precision 528 ; floating point values from 256-bit vectors. 529 530 define <8 x float> @avx_vhadd_ps(<8 x float> %a, <8 x float> %b) { 531 %vecext = extractelement <8 x float> %a, i32 0 532 %vecext1 = extractelement <8 x float> %a, i32 1 533 %add = fadd float %vecext, %vecext1 534 %vecinit = insertelement <8 x float> undef, float %add, i32 0 535 %vecext2 = extractelement <8 x float> %a, i32 2 536 %vecext3 = extractelement <8 x float> %a, i32 3 537 %add4 = fadd float %vecext2, %vecext3 538 %vecinit5 = insertelement <8 x float> %vecinit, float %add4, i32 1 539 %vecext6 = extractelement <8 x float> %b, i32 0 540 %vecext7 = extractelement <8 x float> %b, i32 1 541 %add8 = fadd float %vecext6, %vecext7 542 %vecinit9 = insertelement <8 x float> %vecinit5, float %add8, i32 2 543 %vecext10 = extractelement <8 x float> %b, i32 2 544 %vecext11 = extractelement <8 x float> %b, i32 3 545 %add12 = fadd float %vecext10, %vecext11 546 %vecinit13 = insertelement <8 x float> %vecinit9, float %add12, i32 3 547 %vecext14 = extractelement <8 x float> %a, i32 4 548 %vecext15 = extractelement <8 x float> %a, i32 5 549 %add16 = fadd float %vecext14, %vecext15 550 %vecinit17 = insertelement <8 x float> %vecinit13, float %add16, i32 4 551 %vecext18 = extractelement <8 x float> %a, i32 6 552 %vecext19 = extractelement <8 x float> %a, i32 7 553 %add20 = fadd float %vecext18, %vecext19 554 %vecinit21 = insertelement <8 x float> %vecinit17, float %add20, i32 5 555 %vecext22 = extractelement <8 x float> %b, i32 4 556 %vecext23 = extractelement <8 x float> %b, i32 5 557 %add24 = fadd float %vecext22, %vecext23 558 %vecinit25 = insertelement <8 x float> %vecinit21, float %add24, i32 6 559 %vecext26 = extractelement <8 x float> %b, i32 6 560 %vecext27 = extractelement <8 x float> %b, i32 7 561 %add28 = fadd float %vecext26, %vecext27 562 %vecinit29 = insertelement <8 x float> %vecinit25, float %add28, i32 7 563 ret <8 x float> %vecinit29 564 } 565 ; CHECK-LABEL: avx_vhadd_ps 566 ; SSE3: haddps 567 ; SSE3-NEXT: haddps 568 ; SSSE3: haddps 569 ; SSSE3-NEXT: haddps 570 ; AVX: vhaddps 571 ; AVX2: vhaddps 572 ; CHECK: ret 573 574 575 define <8 x float> @avx_vhsub_ps(<8 x float> %a, <8 x float> %b) { 576 %vecext = extractelement <8 x float> %a, i32 0 577 %vecext1 = extractelement <8 x float> %a, i32 1 578 %sub = fsub float %vecext, %vecext1 579 %vecinit = insertelement <8 x float> undef, float %sub, i32 0 580 %vecext2 = extractelement <8 x float> %a, i32 2 581 %vecext3 = extractelement <8 x float> %a, i32 3 582 %sub4 = fsub float %vecext2, %vecext3 583 %vecinit5 = insertelement <8 x float> %vecinit, float %sub4, i32 1 584 %vecext6 = extractelement <8 x float> %b, i32 0 585 %vecext7 = extractelement <8 x float> %b, i32 1 586 %sub8 = fsub float %vecext6, %vecext7 587 %vecinit9 = insertelement <8 x float> %vecinit5, float %sub8, i32 2 588 %vecext10 = extractelement <8 x float> %b, i32 2 589 %vecext11 = extractelement <8 x float> %b, i32 3 590 %sub12 = fsub float %vecext10, %vecext11 591 %vecinit13 = insertelement <8 x float> %vecinit9, float %sub12, i32 3 592 %vecext14 = extractelement <8 x float> %a, i32 4 593 %vecext15 = extractelement <8 x float> %a, i32 5 594 %sub16 = fsub float %vecext14, %vecext15 595 %vecinit17 = insertelement <8 x float> %vecinit13, float %sub16, i32 4 596 %vecext18 = extractelement <8 x float> %a, i32 6 597 %vecext19 = extractelement <8 x float> %a, i32 7 598 %sub20 = fsub float %vecext18, %vecext19 599 %vecinit21 = insertelement <8 x float> %vecinit17, float %sub20, i32 5 600 %vecext22 = extractelement <8 x float> %b, i32 4 601 %vecext23 = extractelement <8 x float> %b, i32 5 602 %sub24 = fsub float %vecext22, %vecext23 603 %vecinit25 = insertelement <8 x float> %vecinit21, float %sub24, i32 6 604 %vecext26 = extractelement <8 x float> %b, i32 6 605 %vecext27 = extractelement <8 x float> %b, i32 7 606 %sub28 = fsub float %vecext26, %vecext27 607 %vecinit29 = insertelement <8 x float> %vecinit25, float %sub28, i32 7 608 ret <8 x float> %vecinit29 609 } 610 ; CHECK-LABEL: avx_vhsub_ps 611 ; SSE3: hsubps 612 ; SSE3-NEXT: hsubps 613 ; SSSE3: hsubps 614 ; SSSE3-NEXT: hsubps 615 ; AVX: vhsubps 616 ; AVX2: vhsubps 617 ; CHECK: ret 618 619 620 define <4 x double> @avx_hadd_pd(<4 x double> %a, <4 x double> %b) { 621 %vecext = extractelement <4 x double> %a, i32 0 622 %vecext1 = extractelement <4 x double> %a, i32 1 623 %add = fadd double %vecext, %vecext1 624 %vecinit = insertelement <4 x double> undef, double %add, i32 0 625 %vecext2 = extractelement <4 x double> %b, i32 0 626 %vecext3 = extractelement <4 x double> %b, i32 1 627 %add4 = fadd double %vecext2, %vecext3 628 %vecinit5 = insertelement <4 x double> %vecinit, double %add4, i32 1 629 %vecext6 = extractelement <4 x double> %a, i32 2 630 %vecext7 = extractelement <4 x double> %a, i32 3 631 %add8 = fadd double %vecext6, %vecext7 632 %vecinit9 = insertelement <4 x double> %vecinit5, double %add8, i32 2 633 %vecext10 = extractelement <4 x double> %b, i32 2 634 %vecext11 = extractelement <4 x double> %b, i32 3 635 %add12 = fadd double %vecext10, %vecext11 636 %vecinit13 = insertelement <4 x double> %vecinit9, double %add12, i32 3 637 ret <4 x double> %vecinit13 638 } 639 ; CHECK-LABEL: avx_hadd_pd 640 ; SSE3: haddpd 641 ; SSE3-NEXT: haddpd 642 ; SSSE3: haddpd 643 ; SSSE3-NEXT: haddpd 644 ; AVX: vhaddpd 645 ; AVX2: vhaddpd 646 ; CHECK: ret 647 648 649 define <4 x double> @avx_hsub_pd(<4 x double> %a, <4 x double> %b) { 650 %vecext = extractelement <4 x double> %a, i32 0 651 %vecext1 = extractelement <4 x double> %a, i32 1 652 %sub = fsub double %vecext, %vecext1 653 %vecinit = insertelement <4 x double> undef, double %sub, i32 0 654 %vecext2 = extractelement <4 x double> %b, i32 0 655 %vecext3 = extractelement <4 x double> %b, i32 1 656 %sub4 = fsub double %vecext2, %vecext3 657 %vecinit5 = insertelement <4 x double> %vecinit, double %sub4, i32 1 658 %vecext6 = extractelement <4 x double> %a, i32 2 659 %vecext7 = extractelement <4 x double> %a, i32 3 660 %sub8 = fsub double %vecext6, %vecext7 661 %vecinit9 = insertelement <4 x double> %vecinit5, double %sub8, i32 2 662 %vecext10 = extractelement <4 x double> %b, i32 2 663 %vecext11 = extractelement <4 x double> %b, i32 3 664 %sub12 = fsub double %vecext10, %vecext11 665 %vecinit13 = insertelement <4 x double> %vecinit9, double %sub12, i32 3 666 ret <4 x double> %vecinit13 667 } 668 ; CHECK-LABEL: avx_hsub_pd 669 ; SSE3: hsubpd 670 ; SSE3-NEXT: hsubpd 671 ; SSSE3: hsubpd 672 ; SSSE3-NEXT: hsubpd 673 ; AVX: vhsubpd 674 ; AVX2: vhsubpd 675 ; CHECK: ret 676 677 678 ; Test AVX2 horizontal add of packed integer values from 256-bit vectors. 679 680 define <8 x i32> @avx2_hadd_d(<8 x i32> %a, <8 x i32> %b) { 681 %vecext = extractelement <8 x i32> %a, i32 0 682 %vecext1 = extractelement <8 x i32> %a, i32 1 683 %add = add i32 %vecext, %vecext1 684 %vecinit = insertelement <8 x i32> undef, i32 %add, i32 0 685 %vecext2 = extractelement <8 x i32> %a, i32 2 686 %vecext3 = extractelement <8 x i32> %a, i32 3 687 %add4 = add i32 %vecext2, %vecext3 688 %vecinit5 = insertelement <8 x i32> %vecinit, i32 %add4, i32 1 689 %vecext6 = extractelement <8 x i32> %b, i32 0 690 %vecext7 = extractelement <8 x i32> %b, i32 1 691 %add8 = add i32 %vecext6, %vecext7 692 %vecinit9 = insertelement <8 x i32> %vecinit5, i32 %add8, i32 2 693 %vecext10 = extractelement <8 x i32> %b, i32 2 694 %vecext11 = extractelement <8 x i32> %b, i32 3 695 %add12 = add i32 %vecext10, %vecext11 696 %vecinit13 = insertelement <8 x i32> %vecinit9, i32 %add12, i32 3 697 %vecext14 = extractelement <8 x i32> %a, i32 4 698 %vecext15 = extractelement <8 x i32> %a, i32 5 699 %add16 = add i32 %vecext14, %vecext15 700 %vecinit17 = insertelement <8 x i32> %vecinit13, i32 %add16, i32 4 701 %vecext18 = extractelement <8 x i32> %a, i32 6 702 %vecext19 = extractelement <8 x i32> %a, i32 7 703 %add20 = add i32 %vecext18, %vecext19 704 %vecinit21 = insertelement <8 x i32> %vecinit17, i32 %add20, i32 5 705 %vecext22 = extractelement <8 x i32> %b, i32 4 706 %vecext23 = extractelement <8 x i32> %b, i32 5 707 %add24 = add i32 %vecext22, %vecext23 708 %vecinit25 = insertelement <8 x i32> %vecinit21, i32 %add24, i32 6 709 %vecext26 = extractelement <8 x i32> %b, i32 6 710 %vecext27 = extractelement <8 x i32> %b, i32 7 711 %add28 = add i32 %vecext26, %vecext27 712 %vecinit29 = insertelement <8 x i32> %vecinit25, i32 %add28, i32 7 713 ret <8 x i32> %vecinit29 714 } 715 ; CHECK-LABEL: avx2_hadd_d 716 ; SSE3-NOT: phaddd 717 ; SSSE3: phaddd 718 ; SSSE3-NEXT: phaddd 719 ; AVX: vphaddd 720 ; AVX: vphaddd 721 ; AVX2: vphaddd 722 ; AVX2-NOT: vphaddd 723 ; CHECK: ret 724 725 726 define <16 x i16> @avx2_hadd_w(<16 x i16> %a, <16 x i16> %b) { 727 %vecext = extractelement <16 x i16> %a, i32 0 728 %vecext1 = extractelement <16 x i16> %a, i32 1 729 %add = add i16 %vecext, %vecext1 730 %vecinit = insertelement <16 x i16> undef, i16 %add, i32 0 731 %vecext4 = extractelement <16 x i16> %a, i32 2 732 %vecext6 = extractelement <16 x i16> %a, i32 3 733 %add8 = add i16 %vecext4, %vecext6 734 %vecinit10 = insertelement <16 x i16> %vecinit, i16 %add8, i32 1 735 %vecext11 = extractelement <16 x i16> %a, i32 4 736 %vecext13 = extractelement <16 x i16> %a, i32 5 737 %add15 = add i16 %vecext11, %vecext13 738 %vecinit17 = insertelement <16 x i16> %vecinit10, i16 %add15, i32 2 739 %vecext18 = extractelement <16 x i16> %a, i32 6 740 %vecext20 = extractelement <16 x i16> %a, i32 7 741 %add22 = add i16 %vecext18, %vecext20 742 %vecinit24 = insertelement <16 x i16> %vecinit17, i16 %add22, i32 3 743 %vecext25 = extractelement <16 x i16> %a, i32 8 744 %vecext27 = extractelement <16 x i16> %a, i32 9 745 %add29 = add i16 %vecext25, %vecext27 746 %vecinit31 = insertelement <16 x i16> %vecinit24, i16 %add29, i32 8 747 %vecext32 = extractelement <16 x i16> %a, i32 10 748 %vecext34 = extractelement <16 x i16> %a, i32 11 749 %add36 = add i16 %vecext32, %vecext34 750 %vecinit38 = insertelement <16 x i16> %vecinit31, i16 %add36, i32 9 751 %vecext39 = extractelement <16 x i16> %a, i32 12 752 %vecext41 = extractelement <16 x i16> %a, i32 13 753 %add43 = add i16 %vecext39, %vecext41 754 %vecinit45 = insertelement <16 x i16> %vecinit38, i16 %add43, i32 10 755 %vecext46 = extractelement <16 x i16> %a, i32 14 756 %vecext48 = extractelement <16 x i16> %a, i32 15 757 %add50 = add i16 %vecext46, %vecext48 758 %vecinit52 = insertelement <16 x i16> %vecinit45, i16 %add50, i32 11 759 %vecext53 = extractelement <16 x i16> %b, i32 0 760 %vecext55 = extractelement <16 x i16> %b, i32 1 761 %add57 = add i16 %vecext53, %vecext55 762 %vecinit59 = insertelement <16 x i16> %vecinit52, i16 %add57, i32 4 763 %vecext60 = extractelement <16 x i16> %b, i32 2 764 %vecext62 = extractelement <16 x i16> %b, i32 3 765 %add64 = add i16 %vecext60, %vecext62 766 %vecinit66 = insertelement <16 x i16> %vecinit59, i16 %add64, i32 5 767 %vecext67 = extractelement <16 x i16> %b, i32 4 768 %vecext69 = extractelement <16 x i16> %b, i32 5 769 %add71 = add i16 %vecext67, %vecext69 770 %vecinit73 = insertelement <16 x i16> %vecinit66, i16 %add71, i32 6 771 %vecext74 = extractelement <16 x i16> %b, i32 6 772 %vecext76 = extractelement <16 x i16> %b, i32 7 773 %add78 = add i16 %vecext74, %vecext76 774 %vecinit80 = insertelement <16 x i16> %vecinit73, i16 %add78, i32 7 775 %vecext81 = extractelement <16 x i16> %b, i32 8 776 %vecext83 = extractelement <16 x i16> %b, i32 9 777 %add85 = add i16 %vecext81, %vecext83 778 %vecinit87 = insertelement <16 x i16> %vecinit80, i16 %add85, i32 12 779 %vecext88 = extractelement <16 x i16> %b, i32 10 780 %vecext90 = extractelement <16 x i16> %b, i32 11 781 %add92 = add i16 %vecext88, %vecext90 782 %vecinit94 = insertelement <16 x i16> %vecinit87, i16 %add92, i32 13 783 %vecext95 = extractelement <16 x i16> %b, i32 12 784 %vecext97 = extractelement <16 x i16> %b, i32 13 785 %add99 = add i16 %vecext95, %vecext97 786 %vecinit101 = insertelement <16 x i16> %vecinit94, i16 %add99, i32 14 787 %vecext102 = extractelement <16 x i16> %b, i32 14 788 %vecext104 = extractelement <16 x i16> %b, i32 15 789 %add106 = add i16 %vecext102, %vecext104 790 %vecinit108 = insertelement <16 x i16> %vecinit101, i16 %add106, i32 15 791 ret <16 x i16> %vecinit108 792 } 793 ; CHECK-LABEL: avx2_hadd_w 794 ; SSE3-NOT: phaddw 795 ; SSSE3: phaddw 796 ; SSSE3-NEXT: phaddw 797 ; AVX: vphaddw 798 ; AVX: vphaddw 799 ; AVX2: vphaddw 800 ; AVX2-NOT: vphaddw 801 ; CHECK: ret 802 803
