Home | History | Annotate | Download | only in X86 
      1 ; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py
      2 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx | FileCheck %s --check-prefix=ALL --check-prefix=AVX --check-prefix=AVX1
      3 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+avx2 | FileCheck %s --check-prefix=ALL --check-prefix=AVX --check-prefix=AVX2
      4 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+xop,+avx | FileCheck %s --check-prefix=ALL --check-prefix=XOP --check-prefix=XOPAVX1
      5 ; RUN: llc < %s -mtriple=x86_64-unknown-unknown -mattr=+xop,+avx2 | FileCheck %s --check-prefix=ALL --check-prefix=XOP --check-prefix=XOPAVX2
      6 
      7 ;
      8 ; Variable Rotates
      9 ;
     10 
     11 define <4 x i64> @var_rotate_v4i64(<4 x i64> %a, <4 x i64> %b) nounwind {
     12 ; AVX1-LABEL: var_rotate_v4i64:
     13 ; AVX1:       # BB#0:
     14 ; AVX1-NEXT:    vmovdqa {{.*#+}} xmm2 = [64,64]
     15 ; AVX1-NEXT:    vpsubq %xmm1, %xmm2, %xmm3
     16 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm4
     17 ; AVX1-NEXT:    vpsubq %xmm4, %xmm2, %xmm2
     18 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm5
     19 ; AVX1-NEXT:    vpsllq %xmm4, %xmm5, %xmm6
     20 ; AVX1-NEXT:    vpshufd {{.*#+}} xmm4 = xmm4[2,3,0,1]
     21 ; AVX1-NEXT:    vpsllq %xmm4, %xmm5, %xmm4
     22 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm4 = xmm6[0,1,2,3],xmm4[4,5,6,7]
     23 ; AVX1-NEXT:    vpsllq %xmm1, %xmm0, %xmm6
     24 ; AVX1-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[2,3,0,1]
     25 ; AVX1-NEXT:    vpsllq %xmm1, %xmm0, %xmm1
     26 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm6[0,1,2,3],xmm1[4,5,6,7]
     27 ; AVX1-NEXT:    vinsertf128 $1, %xmm4, %ymm1, %ymm1
     28 ; AVX1-NEXT:    vpsrlq %xmm2, %xmm5, %xmm4
     29 ; AVX1-NEXT:    vpshufd {{.*#+}} xmm2 = xmm2[2,3,0,1]
     30 ; AVX1-NEXT:    vpsrlq %xmm2, %xmm5, %xmm2
     31 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm2 = xmm4[0,1,2,3],xmm2[4,5,6,7]
     32 ; AVX1-NEXT:    vpsrlq %xmm3, %xmm0, %xmm4
     33 ; AVX1-NEXT:    vpshufd {{.*#+}} xmm3 = xmm3[2,3,0,1]
     34 ; AVX1-NEXT:    vpsrlq %xmm3, %xmm0, %xmm0
     35 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm0 = xmm4[0,1,2,3],xmm0[4,5,6,7]
     36 ; AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
     37 ; AVX1-NEXT:    vorps %ymm0, %ymm1, %ymm0
     38 ; AVX1-NEXT:    retq
     39 ;
     40 ; AVX2-LABEL: var_rotate_v4i64:
     41 ; AVX2:       # BB#0:
     42 ; AVX2-NEXT:    vpbroadcastq {{.*}}(%rip), %ymm2
     43 ; AVX2-NEXT:    vpsubq %ymm1, %ymm2, %ymm2
     44 ; AVX2-NEXT:    vpsllvq %ymm1, %ymm0, %ymm1
     45 ; AVX2-NEXT:    vpsrlvq %ymm2, %ymm0, %ymm0
     46 ; AVX2-NEXT:    vpor %ymm0, %ymm1, %ymm0
     47 ; AVX2-NEXT:    retq
     48 ;
     49 ; XOPAVX1-LABEL: var_rotate_v4i64:
     50 ; XOPAVX1:       # BB#0:
     51 ; XOPAVX1-NEXT:    vextractf128 $1, %ymm1, %xmm2
     52 ; XOPAVX1-NEXT:    vextractf128 $1, %ymm0, %xmm3
     53 ; XOPAVX1-NEXT:    vprotq %xmm2, %xmm3, %xmm2
     54 ; XOPAVX1-NEXT:    vprotq %xmm1, %xmm0, %xmm0
     55 ; XOPAVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
     56 ; XOPAVX1-NEXT:    retq
     57 ;
     58 ; XOPAVX2-LABEL: var_rotate_v4i64:
     59 ; XOPAVX2:       # BB#0:
     60 ; XOPAVX2-NEXT:    vextracti128 $1, %ymm1, %xmm2
     61 ; XOPAVX2-NEXT:    vextracti128 $1, %ymm0, %xmm3
     62 ; XOPAVX2-NEXT:    vprotq %xmm2, %xmm3, %xmm2
     63 ; XOPAVX2-NEXT:    vprotq %xmm1, %xmm0, %xmm0
     64 ; XOPAVX2-NEXT:    vinserti128 $1, %xmm2, %ymm0, %ymm0
     65 ; XOPAVX2-NEXT:    retq
     66   %b64 = sub <4 x i64> <i64 64, i64 64, i64 64, i64 64>, %b
     67   %shl = shl <4 x i64> %a, %b
     68   %lshr = lshr <4 x i64> %a, %b64
     69   %or = or <4 x i64> %shl, %lshr
     70   ret <4 x i64> %or
     71 }
     72 
     73 define <8 x i32> @var_rotate_v8i32(<8 x i32> %a, <8 x i32> %b) nounwind {
     74 ; AVX1-LABEL: var_rotate_v8i32:
     75 ; AVX1:       # BB#0:
     76 ; AVX1-NEXT:    vmovdqa {{.*#+}} xmm3 = [32,32,32,32]
     77 ; AVX1-NEXT:    vpsubd %xmm1, %xmm3, %xmm2
     78 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm4
     79 ; AVX1-NEXT:    vpsubd %xmm4, %xmm3, %xmm3
     80 ; AVX1-NEXT:    vpslld $23, %xmm4, %xmm4
     81 ; AVX1-NEXT:    vmovdqa {{.*#+}} xmm5 = [1065353216,1065353216,1065353216,1065353216]
     82 ; AVX1-NEXT:    vpaddd %xmm5, %xmm4, %xmm4
     83 ; AVX1-NEXT:    vcvttps2dq %xmm4, %xmm4
     84 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm6
     85 ; AVX1-NEXT:    vpmulld %xmm6, %xmm4, %xmm4
     86 ; AVX1-NEXT:    vpslld $23, %xmm1, %xmm1
     87 ; AVX1-NEXT:    vpaddd %xmm5, %xmm1, %xmm1
     88 ; AVX1-NEXT:    vcvttps2dq %xmm1, %xmm1
     89 ; AVX1-NEXT:    vpmulld %xmm0, %xmm1, %xmm1
     90 ; AVX1-NEXT:    vinsertf128 $1, %xmm4, %ymm1, %ymm1
     91 ; AVX1-NEXT:    vpsrldq {{.*#+}} xmm4 = xmm3[12,13,14,15],zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero
     92 ; AVX1-NEXT:    vpsrld %xmm4, %xmm6, %xmm4
     93 ; AVX1-NEXT:    vpsrlq $32, %xmm3, %xmm5
     94 ; AVX1-NEXT:    vpsrld %xmm5, %xmm6, %xmm5
     95 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm4 = xmm5[0,1,2,3],xmm4[4,5,6,7]
     96 ; AVX1-NEXT:    vpxor %xmm5, %xmm5, %xmm5
     97 ; AVX1-NEXT:    vpunpckhdq {{.*#+}} xmm7 = xmm3[2],xmm5[2],xmm3[3],xmm5[3]
     98 ; AVX1-NEXT:    vpsrld %xmm7, %xmm6, %xmm7
     99 ; AVX1-NEXT:    vpmovzxdq {{.*#+}} xmm3 = xmm3[0],zero,xmm3[1],zero
    100 ; AVX1-NEXT:    vpsrld %xmm3, %xmm6, %xmm3
    101 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm3 = xmm3[0,1,2,3],xmm7[4,5,6,7]
    102 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm3 = xmm3[0,1],xmm4[2,3],xmm3[4,5],xmm4[6,7]
    103 ; AVX1-NEXT:    vpsrldq {{.*#+}} xmm4 = xmm2[12,13,14,15],zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero
    104 ; AVX1-NEXT:    vpsrld %xmm4, %xmm0, %xmm4
    105 ; AVX1-NEXT:    vpsrlq $32, %xmm2, %xmm6
    106 ; AVX1-NEXT:    vpsrld %xmm6, %xmm0, %xmm6
    107 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm4 = xmm6[0,1,2,3],xmm4[4,5,6,7]
    108 ; AVX1-NEXT:    vpunpckhdq {{.*#+}} xmm5 = xmm2[2],xmm5[2],xmm2[3],xmm5[3]
    109 ; AVX1-NEXT:    vpsrld %xmm5, %xmm0, %xmm5
    110 ; AVX1-NEXT:    vpmovzxdq {{.*#+}} xmm2 = xmm2[0],zero,xmm2[1],zero
    111 ; AVX1-NEXT:    vpsrld %xmm2, %xmm0, %xmm0
    112 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm0 = xmm0[0,1,2,3],xmm5[4,5,6,7]
    113 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm0 = xmm0[0,1],xmm4[2,3],xmm0[4,5],xmm4[6,7]
    114 ; AVX1-NEXT:    vinsertf128 $1, %xmm3, %ymm0, %ymm0
    115 ; AVX1-NEXT:    vorps %ymm0, %ymm1, %ymm0
    116 ; AVX1-NEXT:    retq
    117 ;
    118 ; AVX2-LABEL: var_rotate_v8i32:
    119 ; AVX2:       # BB#0:
    120 ; AVX2-NEXT:    vpbroadcastd {{.*}}(%rip), %ymm2
    121 ; AVX2-NEXT:    vpsubd %ymm1, %ymm2, %ymm2
    122 ; AVX2-NEXT:    vpsllvd %ymm1, %ymm0, %ymm1
    123 ; AVX2-NEXT:    vpsrlvd %ymm2, %ymm0, %ymm0
    124 ; AVX2-NEXT:    vpor %ymm0, %ymm1, %ymm0
    125 ; AVX2-NEXT:    retq
    126 ;
    127 ; XOPAVX1-LABEL: var_rotate_v8i32:
    128 ; XOPAVX1:       # BB#0:
    129 ; XOPAVX1-NEXT:    vextractf128 $1, %ymm1, %xmm2
    130 ; XOPAVX1-NEXT:    vextractf128 $1, %ymm0, %xmm3
    131 ; XOPAVX1-NEXT:    vprotd %xmm2, %xmm3, %xmm2
    132 ; XOPAVX1-NEXT:    vprotd %xmm1, %xmm0, %xmm0
    133 ; XOPAVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
    134 ; XOPAVX1-NEXT:    retq
    135 ;
    136 ; XOPAVX2-LABEL: var_rotate_v8i32:
    137 ; XOPAVX2:       # BB#0:
    138 ; XOPAVX2-NEXT:    vextracti128 $1, %ymm1, %xmm2
    139 ; XOPAVX2-NEXT:    vextracti128 $1, %ymm0, %xmm3
    140 ; XOPAVX2-NEXT:    vprotd %xmm2, %xmm3, %xmm2
    141 ; XOPAVX2-NEXT:    vprotd %xmm1, %xmm0, %xmm0
    142 ; XOPAVX2-NEXT:    vinserti128 $1, %xmm2, %ymm0, %ymm0
    143 ; XOPAVX2-NEXT:    retq
    144   %b32 = sub <8 x i32> <i32 32, i32 32, i32 32, i32 32, i32 32, i32 32, i32 32, i32 32>, %b
    145   %shl = shl <8 x i32> %a, %b
    146   %lshr = lshr <8 x i32> %a, %b32
    147   %or = or <8 x i32> %shl, %lshr
    148   ret <8 x i32> %or
    149 }
    150 
    151 define <16 x i16> @var_rotate_v16i16(<16 x i16> %a, <16 x i16> %b) nounwind {
    152 ; AVX1-LABEL: var_rotate_v16i16:
    153 ; AVX1:       # BB#0:
    154 ; AVX1-NEXT:    vmovdqa {{.*#+}} xmm3 = [16,16,16,16,16,16,16,16]
    155 ; AVX1-NEXT:    vpsubw %xmm1, %xmm3, %xmm2
    156 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm4
    157 ; AVX1-NEXT:    vpsubw %xmm4, %xmm3, %xmm3
    158 ; AVX1-NEXT:    vpsllw $12, %xmm4, %xmm5
    159 ; AVX1-NEXT:    vpsllw $4, %xmm4, %xmm4
    160 ; AVX1-NEXT:    vpor %xmm5, %xmm4, %xmm5
    161 ; AVX1-NEXT:    vpaddw %xmm5, %xmm5, %xmm6
    162 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm4
    163 ; AVX1-NEXT:    vpsllw $8, %xmm4, %xmm7
    164 ; AVX1-NEXT:    vpblendvb %xmm5, %xmm7, %xmm4, %xmm5
    165 ; AVX1-NEXT:    vpsllw $4, %xmm5, %xmm7
    166 ; AVX1-NEXT:    vpblendvb %xmm6, %xmm7, %xmm5, %xmm5
    167 ; AVX1-NEXT:    vpsllw $2, %xmm5, %xmm7
    168 ; AVX1-NEXT:    vpaddw %xmm6, %xmm6, %xmm6
    169 ; AVX1-NEXT:    vpblendvb %xmm6, %xmm7, %xmm5, %xmm5
    170 ; AVX1-NEXT:    vpsllw $1, %xmm5, %xmm7
    171 ; AVX1-NEXT:    vpaddw %xmm6, %xmm6, %xmm6
    172 ; AVX1-NEXT:    vpblendvb %xmm6, %xmm7, %xmm5, %xmm5
    173 ; AVX1-NEXT:    vpsllw $12, %xmm1, %xmm6
    174 ; AVX1-NEXT:    vpsllw $4, %xmm1, %xmm1
    175 ; AVX1-NEXT:    vpor %xmm6, %xmm1, %xmm1
    176 ; AVX1-NEXT:    vpaddw %xmm1, %xmm1, %xmm6
    177 ; AVX1-NEXT:    vpsllw $8, %xmm0, %xmm7
    178 ; AVX1-NEXT:    vpblendvb %xmm1, %xmm7, %xmm0, %xmm1
    179 ; AVX1-NEXT:    vpsllw $4, %xmm1, %xmm7
    180 ; AVX1-NEXT:    vpblendvb %xmm6, %xmm7, %xmm1, %xmm1
    181 ; AVX1-NEXT:    vpsllw $2, %xmm1, %xmm7
    182 ; AVX1-NEXT:    vpaddw %xmm6, %xmm6, %xmm6
    183 ; AVX1-NEXT:    vpblendvb %xmm6, %xmm7, %xmm1, %xmm1
    184 ; AVX1-NEXT:    vpsllw $1, %xmm1, %xmm7
    185 ; AVX1-NEXT:    vpaddw %xmm6, %xmm6, %xmm6
    186 ; AVX1-NEXT:    vpblendvb %xmm6, %xmm7, %xmm1, %xmm1
    187 ; AVX1-NEXT:    vinsertf128 $1, %xmm5, %ymm1, %ymm1
    188 ; AVX1-NEXT:    vpsllw $12, %xmm3, %xmm5
    189 ; AVX1-NEXT:    vpsllw $4, %xmm3, %xmm3
    190 ; AVX1-NEXT:    vpor %xmm5, %xmm3, %xmm3
    191 ; AVX1-NEXT:    vpaddw %xmm3, %xmm3, %xmm5
    192 ; AVX1-NEXT:    vpsrlw $8, %xmm4, %xmm6
    193 ; AVX1-NEXT:    vpblendvb %xmm3, %xmm6, %xmm4, %xmm3
    194 ; AVX1-NEXT:    vpsrlw $4, %xmm3, %xmm4
    195 ; AVX1-NEXT:    vpblendvb %xmm5, %xmm4, %xmm3, %xmm3
    196 ; AVX1-NEXT:    vpsrlw $2, %xmm3, %xmm4
    197 ; AVX1-NEXT:    vpaddw %xmm5, %xmm5, %xmm5
    198 ; AVX1-NEXT:    vpblendvb %xmm5, %xmm4, %xmm3, %xmm3
    199 ; AVX1-NEXT:    vpsrlw $1, %xmm3, %xmm4
    200 ; AVX1-NEXT:    vpaddw %xmm5, %xmm5, %xmm5
    201 ; AVX1-NEXT:    vpblendvb %xmm5, %xmm4, %xmm3, %xmm3
    202 ; AVX1-NEXT:    vpsllw $12, %xmm2, %xmm4
    203 ; AVX1-NEXT:    vpsllw $4, %xmm2, %xmm2
    204 ; AVX1-NEXT:    vpor %xmm4, %xmm2, %xmm2
    205 ; AVX1-NEXT:    vpaddw %xmm2, %xmm2, %xmm4
    206 ; AVX1-NEXT:    vpsrlw $8, %xmm0, %xmm5
    207 ; AVX1-NEXT:    vpblendvb %xmm2, %xmm5, %xmm0, %xmm0
    208 ; AVX1-NEXT:    vpsrlw $4, %xmm0, %xmm2
    209 ; AVX1-NEXT:    vpblendvb %xmm4, %xmm2, %xmm0, %xmm0
    210 ; AVX1-NEXT:    vpsrlw $2, %xmm0, %xmm2
    211 ; AVX1-NEXT:    vpaddw %xmm4, %xmm4, %xmm4
    212 ; AVX1-NEXT:    vpblendvb %xmm4, %xmm2, %xmm0, %xmm0
    213 ; AVX1-NEXT:    vpsrlw $1, %xmm0, %xmm2
    214 ; AVX1-NEXT:    vpaddw %xmm4, %xmm4, %xmm4
    215 ; AVX1-NEXT:    vpblendvb %xmm4, %xmm2, %xmm0, %xmm0
    216 ; AVX1-NEXT:    vinsertf128 $1, %xmm3, %ymm0, %ymm0
    217 ; AVX1-NEXT:    vorps %ymm0, %ymm1, %ymm0
    218 ; AVX1-NEXT:    retq
    219 ;
    220 ; AVX2-LABEL: var_rotate_v16i16:
    221 ; AVX2:       # BB#0:
    222 ; AVX2-NEXT:    vmovdqa {{.*#+}} ymm2 = [16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16]
    223 ; AVX2-NEXT:    vpsubw %ymm1, %ymm2, %ymm2
    224 ; AVX2-NEXT:    vpxor %ymm3, %ymm3, %ymm3
    225 ; AVX2-NEXT:    vpunpckhwd {{.*#+}} ymm4 = ymm1[4],ymm3[4],ymm1[5],ymm3[5],ymm1[6],ymm3[6],ymm1[7],ymm3[7],ymm1[12],ymm3[12],ymm1[13],ymm3[13],ymm1[14],ymm3[14],ymm1[15],ymm3[15]
    226 ; AVX2-NEXT:    vpunpckhwd {{.*#+}} ymm5 = ymm0[4,4,5,5,6,6,7,7,12,12,13,13,14,14,15,15]
    227 ; AVX2-NEXT:    vpsllvd %ymm4, %ymm5, %ymm4
    228 ; AVX2-NEXT:    vpsrld $16, %ymm4, %ymm4
    229 ; AVX2-NEXT:    vpunpcklwd {{.*#+}} ymm1 = ymm1[0],ymm3[0],ymm1[1],ymm3[1],ymm1[2],ymm3[2],ymm1[3],ymm3[3],ymm1[8],ymm3[8],ymm1[9],ymm3[9],ymm1[10],ymm3[10],ymm1[11],ymm3[11]
    230 ; AVX2-NEXT:    vpunpcklwd {{.*#+}} ymm0 = ymm0[0,0,1,1,2,2,3,3,8,8,9,9,10,10,11,11]
    231 ; AVX2-NEXT:    vpsllvd %ymm1, %ymm0, %ymm1
    232 ; AVX2-NEXT:    vpsrld $16, %ymm1, %ymm1
    233 ; AVX2-NEXT:    vpackusdw %ymm4, %ymm1, %ymm1
    234 ; AVX2-NEXT:    vpunpckhwd {{.*#+}} ymm4 = ymm2[4],ymm3[4],ymm2[5],ymm3[5],ymm2[6],ymm3[6],ymm2[7],ymm3[7],ymm2[12],ymm3[12],ymm2[13],ymm3[13],ymm2[14],ymm3[14],ymm2[15],ymm3[15]
    235 ; AVX2-NEXT:    vpsrlvd %ymm4, %ymm5, %ymm4
    236 ; AVX2-NEXT:    vpsrld $16, %ymm4, %ymm4
    237 ; AVX2-NEXT:    vpunpcklwd {{.*#+}} ymm2 = ymm2[0],ymm3[0],ymm2[1],ymm3[1],ymm2[2],ymm3[2],ymm2[3],ymm3[3],ymm2[8],ymm3[8],ymm2[9],ymm3[9],ymm2[10],ymm3[10],ymm2[11],ymm3[11]
    238 ; AVX2-NEXT:    vpsrlvd %ymm2, %ymm0, %ymm0
    239 ; AVX2-NEXT:    vpsrld $16, %ymm0, %ymm0
    240 ; AVX2-NEXT:    vpackusdw %ymm4, %ymm0, %ymm0
    241 ; AVX2-NEXT:    vpor %ymm0, %ymm1, %ymm0
    242 ; AVX2-NEXT:    retq
    243 ;
    244 ; XOPAVX1-LABEL: var_rotate_v16i16:
    245 ; XOPAVX1:       # BB#0:
    246 ; XOPAVX1-NEXT:    vextractf128 $1, %ymm1, %xmm2
    247 ; XOPAVX1-NEXT:    vextractf128 $1, %ymm0, %xmm3
    248 ; XOPAVX1-NEXT:    vprotw %xmm2, %xmm3, %xmm2
    249 ; XOPAVX1-NEXT:    vprotw %xmm1, %xmm0, %xmm0
    250 ; XOPAVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
    251 ; XOPAVX1-NEXT:    retq
    252 ;
    253 ; XOPAVX2-LABEL: var_rotate_v16i16:
    254 ; XOPAVX2:       # BB#0:
    255 ; XOPAVX2-NEXT:    vextracti128 $1, %ymm1, %xmm2
    256 ; XOPAVX2-NEXT:    vextracti128 $1, %ymm0, %xmm3
    257 ; XOPAVX2-NEXT:    vprotw %xmm2, %xmm3, %xmm2
    258 ; XOPAVX2-NEXT:    vprotw %xmm1, %xmm0, %xmm0
    259 ; XOPAVX2-NEXT:    vinserti128 $1, %xmm2, %ymm0, %ymm0
    260 ; XOPAVX2-NEXT:    retq
    261   %b16 = sub <16 x i16> <i16 16, i16 16, i16 16, i16 16, i16 16, i16 16, i16 16, i16 16, i16 16, i16 16, i16 16, i16 16, i16 16, i16 16, i16 16, i16 16>, %b
    262   %shl = shl <16 x i16> %a, %b
    263   %lshr = lshr <16 x i16> %a, %b16
    264   %or = or <16 x i16> %shl, %lshr
    265   ret <16 x i16> %or
    266 }
    267 
    268 define <32 x i8> @var_rotate_v32i8(<32 x i8> %a, <32 x i8> %b) nounwind {
    269 ; AVX1-LABEL: var_rotate_v32i8:
    270 ; AVX1:       # BB#0:
    271 ; AVX1-NEXT:    vmovdqa {{.*#+}} xmm3 = [8,8,8,8,8,8,8,8,8,8,8,8,8,8,8,8]
    272 ; AVX1-NEXT:    vpsubb %xmm1, %xmm3, %xmm8
    273 ; AVX1-NEXT:    vextractf128 $1, %ymm1, %xmm4
    274 ; AVX1-NEXT:    vpsubb %xmm4, %xmm3, %xmm9
    275 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm5
    276 ; AVX1-NEXT:    vpsllw $4, %xmm5, %xmm6
    277 ; AVX1-NEXT:    vmovdqa {{.*#+}} xmm7 = [240,240,240,240,240,240,240,240,240,240,240,240,240,240,240,240]
    278 ; AVX1-NEXT:    vpand %xmm7, %xmm6, %xmm6
    279 ; AVX1-NEXT:    vpsllw $5, %xmm4, %xmm4
    280 ; AVX1-NEXT:    vpblendvb %xmm4, %xmm6, %xmm5, %xmm6
    281 ; AVX1-NEXT:    vpsllw $2, %xmm6, %xmm2
    282 ; AVX1-NEXT:    vmovdqa {{.*#+}} xmm3 = [252,252,252,252,252,252,252,252,252,252,252,252,252,252,252,252]
    283 ; AVX1-NEXT:    vpand %xmm3, %xmm2, %xmm2
    284 ; AVX1-NEXT:    vpaddb %xmm4, %xmm4, %xmm4
    285 ; AVX1-NEXT:    vpblendvb %xmm4, %xmm2, %xmm6, %xmm2
    286 ; AVX1-NEXT:    vpaddb %xmm2, %xmm2, %xmm6
    287 ; AVX1-NEXT:    vpaddb %xmm4, %xmm4, %xmm4
    288 ; AVX1-NEXT:    vpblendvb %xmm4, %xmm6, %xmm2, %xmm2
    289 ; AVX1-NEXT:    vpsllw $4, %xmm0, %xmm4
    290 ; AVX1-NEXT:    vpand %xmm7, %xmm4, %xmm4
    291 ; AVX1-NEXT:    vpsllw $5, %xmm1, %xmm1
    292 ; AVX1-NEXT:    vpblendvb %xmm1, %xmm4, %xmm0, %xmm4
    293 ; AVX1-NEXT:    vpsllw $2, %xmm4, %xmm6
    294 ; AVX1-NEXT:    vpand %xmm3, %xmm6, %xmm3
    295 ; AVX1-NEXT:    vpaddb %xmm1, %xmm1, %xmm1
    296 ; AVX1-NEXT:    vpblendvb %xmm1, %xmm3, %xmm4, %xmm3
    297 ; AVX1-NEXT:    vpaddb %xmm3, %xmm3, %xmm4
    298 ; AVX1-NEXT:    vpaddb %xmm1, %xmm1, %xmm1
    299 ; AVX1-NEXT:    vpblendvb %xmm1, %xmm4, %xmm3, %xmm1
    300 ; AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm1, %ymm1
    301 ; AVX1-NEXT:    vpsrlw $4, %xmm5, %xmm2
    302 ; AVX1-NEXT:    vmovdqa {{.*#+}} xmm3 = [15,15,15,15,15,15,15,15,15,15,15,15,15,15,15,15]
    303 ; AVX1-NEXT:    vpand %xmm3, %xmm2, %xmm2
    304 ; AVX1-NEXT:    vpsllw $5, %xmm9, %xmm4
    305 ; AVX1-NEXT:    vpblendvb %xmm4, %xmm2, %xmm5, %xmm2
    306 ; AVX1-NEXT:    vpsrlw $2, %xmm2, %xmm5
    307 ; AVX1-NEXT:    vmovdqa {{.*#+}} xmm6 = [63,63,63,63,63,63,63,63,63,63,63,63,63,63,63,63]
    308 ; AVX1-NEXT:    vpand %xmm6, %xmm5, %xmm5
    309 ; AVX1-NEXT:    vpaddb %xmm4, %xmm4, %xmm4
    310 ; AVX1-NEXT:    vpblendvb %xmm4, %xmm5, %xmm2, %xmm2
    311 ; AVX1-NEXT:    vpsrlw $1, %xmm2, %xmm5
    312 ; AVX1-NEXT:    vmovdqa {{.*#+}} xmm7 = [127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127]
    313 ; AVX1-NEXT:    vpand %xmm7, %xmm5, %xmm5
    314 ; AVX1-NEXT:    vpaddb %xmm4, %xmm4, %xmm4
    315 ; AVX1-NEXT:    vpblendvb %xmm4, %xmm5, %xmm2, %xmm2
    316 ; AVX1-NEXT:    vpsrlw $4, %xmm0, %xmm4
    317 ; AVX1-NEXT:    vpand %xmm3, %xmm4, %xmm3
    318 ; AVX1-NEXT:    vpsllw $5, %xmm8, %xmm4
    319 ; AVX1-NEXT:    vpblendvb %xmm4, %xmm3, %xmm0, %xmm0
    320 ; AVX1-NEXT:    vpsrlw $2, %xmm0, %xmm3
    321 ; AVX1-NEXT:    vpand %xmm6, %xmm3, %xmm3
    322 ; AVX1-NEXT:    vpaddb %xmm4, %xmm4, %xmm4
    323 ; AVX1-NEXT:    vpblendvb %xmm4, %xmm3, %xmm0, %xmm0
    324 ; AVX1-NEXT:    vpsrlw $1, %xmm0, %xmm3
    325 ; AVX1-NEXT:    vpand %xmm7, %xmm3, %xmm3
    326 ; AVX1-NEXT:    vpaddb %xmm4, %xmm4, %xmm4
    327 ; AVX1-NEXT:    vpblendvb %xmm4, %xmm3, %xmm0, %xmm0
    328 ; AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
    329 ; AVX1-NEXT:    vorps %ymm0, %ymm1, %ymm0
    330 ; AVX1-NEXT:    retq
    331 ;
    332 ; AVX2-LABEL: var_rotate_v32i8:
    333 ; AVX2:       # BB#0:
    334 ; AVX2-NEXT:    vmovdqa {{.*#+}} ymm2 = [8,8,8,8,8,8,8,8,8,8,8,8,8,8,8,8,8,8,8,8,8,8,8,8,8,8,8,8,8,8,8,8]
    335 ; AVX2-NEXT:    vpsubb %ymm1, %ymm2, %ymm2
    336 ; AVX2-NEXT:    vpsllw $5, %ymm1, %ymm1
    337 ; AVX2-NEXT:    vpsllw $4, %ymm0, %ymm3
    338 ; AVX2-NEXT:    vpand {{.*}}(%rip), %ymm3, %ymm3
    339 ; AVX2-NEXT:    vpblendvb %ymm1, %ymm3, %ymm0, %ymm3
    340 ; AVX2-NEXT:    vpsllw $2, %ymm3, %ymm4
    341 ; AVX2-NEXT:    vpand {{.*}}(%rip), %ymm4, %ymm4
    342 ; AVX2-NEXT:    vpaddb %ymm1, %ymm1, %ymm1
    343 ; AVX2-NEXT:    vpblendvb %ymm1, %ymm4, %ymm3, %ymm3
    344 ; AVX2-NEXT:    vpaddb %ymm3, %ymm3, %ymm4
    345 ; AVX2-NEXT:    vpaddb %ymm1, %ymm1, %ymm1
    346 ; AVX2-NEXT:    vpblendvb %ymm1, %ymm4, %ymm3, %ymm1
    347 ; AVX2-NEXT:    vpsllw $5, %ymm2, %ymm2
    348 ; AVX2-NEXT:    vpaddb %ymm2, %ymm2, %ymm3
    349 ; AVX2-NEXT:    vpsrlw $4, %ymm0, %ymm4
    350 ; AVX2-NEXT:    vpand {{.*}}(%rip), %ymm4, %ymm4
    351 ; AVX2-NEXT:    vpblendvb %ymm2, %ymm4, %ymm0, %ymm0
    352 ; AVX2-NEXT:    vpsrlw $2, %ymm0, %ymm2
    353 ; AVX2-NEXT:    vpand {{.*}}(%rip), %ymm2, %ymm2
    354 ; AVX2-NEXT:    vpblendvb %ymm3, %ymm2, %ymm0, %ymm0
    355 ; AVX2-NEXT:    vpsrlw $1, %ymm0, %ymm2
    356 ; AVX2-NEXT:    vpand {{.*}}(%rip), %ymm2, %ymm2
    357 ; AVX2-NEXT:    vpaddb %ymm3, %ymm3, %ymm3
    358 ; AVX2-NEXT:    vpblendvb %ymm3, %ymm2, %ymm0, %ymm0
    359 ; AVX2-NEXT:    vpor %ymm0, %ymm1, %ymm0
    360 ; AVX2-NEXT:    retq
    361 ;
    362 ; XOPAVX1-LABEL: var_rotate_v32i8:
    363 ; XOPAVX1:       # BB#0:
    364 ; XOPAVX1-NEXT:    vextractf128 $1, %ymm1, %xmm2
    365 ; XOPAVX1-NEXT:    vextractf128 $1, %ymm0, %xmm3
    366 ; XOPAVX1-NEXT:    vprotb %xmm2, %xmm3, %xmm2
    367 ; XOPAVX1-NEXT:    vprotb %xmm1, %xmm0, %xmm0
    368 ; XOPAVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
    369 ; XOPAVX1-NEXT:    retq
    370 ;
    371 ; XOPAVX2-LABEL: var_rotate_v32i8:
    372 ; XOPAVX2:       # BB#0:
    373 ; XOPAVX2-NEXT:    vextracti128 $1, %ymm1, %xmm2
    374 ; XOPAVX2-NEXT:    vextracti128 $1, %ymm0, %xmm3
    375 ; XOPAVX2-NEXT:    vprotb %xmm2, %xmm3, %xmm2
    376 ; XOPAVX2-NEXT:    vprotb %xmm1, %xmm0, %xmm0
    377 ; XOPAVX2-NEXT:    vinserti128 $1, %xmm2, %ymm0, %ymm0
    378 ; XOPAVX2-NEXT:    retq
    379   %b8 = sub <32 x i8> <i8 8, i8 8, i8 8, i8 8, i8 8, i8 8, i8 8, i8 8, i8 8, i8 8, i8 8, i8 8, i8 8, i8 8, i8 8, i8 8, i8 8, i8 8, i8 8, i8 8, i8 8, i8 8, i8 8, i8 8, i8 8, i8 8, i8 8, i8 8, i8 8, i8 8, i8 8, i8 8>, %b
    380   %shl = shl <32 x i8> %a, %b
    381   %lshr = lshr <32 x i8> %a, %b8
    382   %or = or <32 x i8> %shl, %lshr
    383   ret <32 x i8> %or
    384 }
    385 
    386 ;
    387 ; Constant Rotates
    388 ;
    389 
    390 define <4 x i64> @constant_rotate_v4i64(<4 x i64> %a) nounwind {
    391 ; AVX1-LABEL: constant_rotate_v4i64:
    392 ; AVX1:       # BB#0:
    393 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm1
    394 ; AVX1-NEXT:    vpsllq $60, %xmm1, %xmm2
    395 ; AVX1-NEXT:    vpsllq $50, %xmm1, %xmm3
    396 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm2 = xmm3[0,1,2,3],xmm2[4,5,6,7]
    397 ; AVX1-NEXT:    vpsllq $14, %xmm0, %xmm3
    398 ; AVX1-NEXT:    vpsllq $4, %xmm0, %xmm4
    399 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm3 = xmm4[0,1,2,3],xmm3[4,5,6,7]
    400 ; AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm3, %ymm2
    401 ; AVX1-NEXT:    vpsrlq $2, %xmm1, %xmm3
    402 ; AVX1-NEXT:    vpsrlq $14, %xmm1, %xmm1
    403 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm1 = xmm1[0,1,2,3],xmm3[4,5,6,7]
    404 ; AVX1-NEXT:    vpsrlq $50, %xmm0, %xmm3
    405 ; AVX1-NEXT:    vpsrlq $60, %xmm0, %xmm0
    406 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm0 = xmm0[0,1,2,3],xmm3[4,5,6,7]
    407 ; AVX1-NEXT:    vinsertf128 $1, %xmm1, %ymm0, %ymm0
    408 ; AVX1-NEXT:    vorps %ymm0, %ymm2, %ymm0
    409 ; AVX1-NEXT:    retq
    410 ;
    411 ; AVX2-LABEL: constant_rotate_v4i64:
    412 ; AVX2:       # BB#0:
    413 ; AVX2-NEXT:    vpsllvq {{.*}}(%rip), %ymm0, %ymm1
    414 ; AVX2-NEXT:    vpsrlvq {{.*}}(%rip), %ymm0, %ymm0
    415 ; AVX2-NEXT:    vpor %ymm0, %ymm1, %ymm0
    416 ; AVX2-NEXT:    retq
    417 ;
    418 ; XOPAVX1-LABEL: constant_rotate_v4i64:
    419 ; XOPAVX1:       # BB#0:
    420 ; XOPAVX1-NEXT:    vpshlq {{.*}}(%rip), %xmm0, %xmm1
    421 ; XOPAVX1-NEXT:    vextractf128 $1, %ymm0, %xmm2
    422 ; XOPAVX1-NEXT:    vpshlq {{.*}}(%rip), %xmm2, %xmm3
    423 ; XOPAVX1-NEXT:    vinsertf128 $1, %xmm3, %ymm1, %ymm1
    424 ; XOPAVX1-NEXT:    vpxor %xmm3, %xmm3, %xmm3
    425 ; XOPAVX1-NEXT:    vpsubq {{.*}}(%rip), %xmm3, %xmm4
    426 ; XOPAVX1-NEXT:    vpshlq %xmm4, %xmm2, %xmm2
    427 ; XOPAVX1-NEXT:    vpsubq {{.*}}(%rip), %xmm3, %xmm3
    428 ; XOPAVX1-NEXT:    vpshlq %xmm3, %xmm0, %xmm0
    429 ; XOPAVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
    430 ; XOPAVX1-NEXT:    vorps %ymm0, %ymm1, %ymm0
    431 ; XOPAVX1-NEXT:    retq
    432 ;
    433 ; XOPAVX2-LABEL: constant_rotate_v4i64:
    434 ; XOPAVX2:       # BB#0:
    435 ; XOPAVX2-NEXT:    vpsllvq {{.*}}(%rip), %ymm0, %ymm1
    436 ; XOPAVX2-NEXT:    vpsrlvq {{.*}}(%rip), %ymm0, %ymm0
    437 ; XOPAVX2-NEXT:    vpor %ymm0, %ymm1, %ymm0
    438 ; XOPAVX2-NEXT:    retq
    439   %shl = shl <4 x i64> %a, <i64 4, i64 14, i64 50, i64 60>
    440   %lshr = lshr <4 x i64> %a, <i64 60, i64 50, i64 14, i64 2>
    441   %or = or <4 x i64> %shl, %lshr
    442   ret <4 x i64> %or
    443 }
    444 
    445 define <8 x i32> @constant_rotate_v8i32(<8 x i32> %a) nounwind {
    446 ; AVX1-LABEL: constant_rotate_v8i32:
    447 ; AVX1:       # BB#0:
    448 ; AVX1-NEXT:    vpmulld {{.*}}(%rip), %xmm0, %xmm1
    449 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm2
    450 ; AVX1-NEXT:    vpmulld {{.*}}(%rip), %xmm2, %xmm3
    451 ; AVX1-NEXT:    vinsertf128 $1, %xmm3, %ymm1, %ymm1
    452 ; AVX1-NEXT:    vpsrld $21, %xmm2, %xmm3
    453 ; AVX1-NEXT:    vpsrld $23, %xmm2, %xmm4
    454 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm3 = xmm4[0,1,2,3],xmm3[4,5,6,7]
    455 ; AVX1-NEXT:    vpsrld $22, %xmm2, %xmm4
    456 ; AVX1-NEXT:    vpsrld $24, %xmm2, %xmm2
    457 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm2 = xmm2[0,1,2,3],xmm4[4,5,6,7]
    458 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm2 = xmm2[0,1],xmm3[2,3],xmm2[4,5],xmm3[6,7]
    459 ; AVX1-NEXT:    vpsrld $25, %xmm0, %xmm3
    460 ; AVX1-NEXT:    vpsrld $27, %xmm0, %xmm4
    461 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm3 = xmm4[0,1,2,3],xmm3[4,5,6,7]
    462 ; AVX1-NEXT:    vpsrld $26, %xmm0, %xmm4
    463 ; AVX1-NEXT:    vpsrld $28, %xmm0, %xmm0
    464 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm0 = xmm0[0,1,2,3],xmm4[4,5,6,7]
    465 ; AVX1-NEXT:    vpblendw {{.*#+}} xmm0 = xmm0[0,1],xmm3[2,3],xmm0[4,5],xmm3[6,7]
    466 ; AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
    467 ; AVX1-NEXT:    vorps %ymm0, %ymm1, %ymm0
    468 ; AVX1-NEXT:    retq
    469 ;
    470 ; AVX2-LABEL: constant_rotate_v8i32:
    471 ; AVX2:       # BB#0:
    472 ; AVX2-NEXT:    vpsllvd {{.*}}(%rip), %ymm0, %ymm1
    473 ; AVX2-NEXT:    vpsrlvd {{.*}}(%rip), %ymm0, %ymm0
    474 ; AVX2-NEXT:    vpor %ymm0, %ymm1, %ymm0
    475 ; AVX2-NEXT:    retq
    476 ;
    477 ; XOPAVX1-LABEL: constant_rotate_v8i32:
    478 ; XOPAVX1:       # BB#0:
    479 ; XOPAVX1-NEXT:    vpshld {{.*}}(%rip), %xmm0, %xmm1
    480 ; XOPAVX1-NEXT:    vextractf128 $1, %ymm0, %xmm2
    481 ; XOPAVX1-NEXT:    vpshld {{.*}}(%rip), %xmm2, %xmm3
    482 ; XOPAVX1-NEXT:    vinsertf128 $1, %xmm3, %ymm1, %ymm1
    483 ; XOPAVX1-NEXT:    vpshld {{.*}}(%rip), %xmm0, %xmm0
    484 ; XOPAVX1-NEXT:    vpshld {{.*}}(%rip), %xmm2, %xmm2
    485 ; XOPAVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
    486 ; XOPAVX1-NEXT:    vorps %ymm0, %ymm1, %ymm0
    487 ; XOPAVX1-NEXT:    retq
    488 ;
    489 ; XOPAVX2-LABEL: constant_rotate_v8i32:
    490 ; XOPAVX2:       # BB#0:
    491 ; XOPAVX2-NEXT:    vpsllvd {{.*}}(%rip), %ymm0, %ymm1
    492 ; XOPAVX2-NEXT:    vpsrlvd {{.*}}(%rip), %ymm0, %ymm0
    493 ; XOPAVX2-NEXT:    vpor %ymm0, %ymm1, %ymm0
    494 ; XOPAVX2-NEXT:    retq
    495   %shl = shl <8 x i32> %a, <i32 4, i32 5, i32 6, i32 7, i32 8, i32 9, i32 10, i32 11>
    496   %lshr = lshr <8 x i32> %a, <i32 28, i32 27, i32 26, i32 25, i32 24, i32 23, i32 22, i32 21>
    497   %or = or <8 x i32> %shl, %lshr
    498   ret <8 x i32> %or
    499 }
    500 
    501 define <16 x i16> @constant_rotate_v8i16(<16 x i16> %a) nounwind {
    502 ; AVX1-LABEL: constant_rotate_v8i16:
    503 ; AVX1:       # BB#0:
    504 ; AVX1-NEXT:    vpmullw {{.*}}(%rip), %xmm0, %xmm1
    505 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm2
    506 ; AVX1-NEXT:    vpmullw {{.*}}(%rip), %xmm2, %xmm3
    507 ; AVX1-NEXT:    vinsertf128 $1, %xmm3, %ymm1, %ymm1
    508 ; AVX1-NEXT:    vpsrlw $8, %xmm2, %xmm3
    509 ; AVX1-NEXT:    vmovdqa {{.*#+}} xmm4 = [32896,28784,24672,20560,16448,12336,8224,4112]
    510 ; AVX1-NEXT:    vpblendvb %xmm4, %xmm3, %xmm2, %xmm2
    511 ; AVX1-NEXT:    vpsrlw $4, %xmm2, %xmm3
    512 ; AVX1-NEXT:    vmovdqa {{.*#+}} xmm4 = [256,57568,49344,41120,32896,24672,16448,8224]
    513 ; AVX1-NEXT:    vpblendvb %xmm4, %xmm3, %xmm2, %xmm2
    514 ; AVX1-NEXT:    vpsrlw $2, %xmm2, %xmm3
    515 ; AVX1-NEXT:    vmovdqa {{.*#+}} xmm4 = [512,49600,33152,16704,256,49344,32896,16448]
    516 ; AVX1-NEXT:    vpblendvb %xmm4, %xmm3, %xmm2, %xmm2
    517 ; AVX1-NEXT:    vpsrlw $1, %xmm2, %xmm3
    518 ; AVX1-NEXT:    vmovdqa {{.*#+}} xmm4 = [1024,33664,768,33408,512,33152,256,32896]
    519 ; AVX1-NEXT:    vpblendvb %xmm4, %xmm3, %xmm2, %xmm2
    520 ; AVX1-NEXT:    vpsrlw $8, %xmm0, %xmm3
    521 ; AVX1-NEXT:    vmovdqa {{.*#+}} xmm4 = [256,61680,57568,53456,49344,45232,41120,37008]
    522 ; AVX1-NEXT:    vpblendvb %xmm4, %xmm3, %xmm0, %xmm0
    523 ; AVX1-NEXT:    vpsrlw $4, %xmm0, %xmm3
    524 ; AVX1-NEXT:    vmovdqa {{.*#+}} xmm4 = [512,57824,49600,41376,33152,24928,16704,8480]
    525 ; AVX1-NEXT:    vpblendvb %xmm4, %xmm3, %xmm0, %xmm0
    526 ; AVX1-NEXT:    vpsrlw $2, %xmm0, %xmm3
    527 ; AVX1-NEXT:    vmovdqa {{.*#+}} xmm4 = [1024,50112,33664,17216,768,49856,33408,16960]
    528 ; AVX1-NEXT:    vpblendvb %xmm4, %xmm3, %xmm0, %xmm0
    529 ; AVX1-NEXT:    vpsrlw $1, %xmm0, %xmm3
    530 ; AVX1-NEXT:    vmovdqa {{.*#+}} xmm4 = [2048,34688,1792,34432,1536,34176,1280,33920]
    531 ; AVX1-NEXT:    vpblendvb %xmm4, %xmm3, %xmm0, %xmm0
    532 ; AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
    533 ; AVX1-NEXT:    vorps %ymm0, %ymm1, %ymm0
    534 ; AVX1-NEXT:    retq
    535 ;
    536 ; AVX2-LABEL: constant_rotate_v8i16:
    537 ; AVX2:       # BB#0:
    538 ; AVX2-NEXT:    vpmullw {{.*}}(%rip), %ymm0, %ymm1
    539 ; AVX2-NEXT:    vpxor %ymm2, %ymm2, %ymm2
    540 ; AVX2-NEXT:    vmovdqa {{.*#+}} ymm3 = [16,15,14,13,12,11,10,9,8,7,6,5,4,3,2,1]
    541 ; AVX2-NEXT:    vpunpckhwd {{.*#+}} ymm4 = ymm3[4],ymm2[4],ymm3[5],ymm2[5],ymm3[6],ymm2[6],ymm3[7],ymm2[7],ymm3[12],ymm2[12],ymm3[13],ymm2[13],ymm3[14],ymm2[14],ymm3[15],ymm2[15]
    542 ; AVX2-NEXT:    vpunpckhwd {{.*#+}} ymm5 = ymm0[4,4,5,5,6,6,7,7,12,12,13,13,14,14,15,15]
    543 ; AVX2-NEXT:    vpsrlvd %ymm4, %ymm5, %ymm4
    544 ; AVX2-NEXT:    vpsrld $16, %ymm4, %ymm4
    545 ; AVX2-NEXT:    vpunpcklwd {{.*#+}} ymm2 = ymm3[0],ymm2[0],ymm3[1],ymm2[1],ymm3[2],ymm2[2],ymm3[3],ymm2[3],ymm3[8],ymm2[8],ymm3[9],ymm2[9],ymm3[10],ymm2[10],ymm3[11],ymm2[11]
    546 ; AVX2-NEXT:    vpunpcklwd {{.*#+}} ymm0 = ymm0[0,0,1,1,2,2,3,3,8,8,9,9,10,10,11,11]
    547 ; AVX2-NEXT:    vpsrlvd %ymm2, %ymm0, %ymm0
    548 ; AVX2-NEXT:    vpsrld $16, %ymm0, %ymm0
    549 ; AVX2-NEXT:    vpackusdw %ymm4, %ymm0, %ymm0
    550 ; AVX2-NEXT:    vpor %ymm0, %ymm1, %ymm0
    551 ; AVX2-NEXT:    retq
    552 ;
    553 ; XOPAVX1-LABEL: constant_rotate_v8i16:
    554 ; XOPAVX1:       # BB#0:
    555 ; XOPAVX1-NEXT:    vpshlw {{.*}}(%rip), %xmm0, %xmm1
    556 ; XOPAVX1-NEXT:    vextractf128 $1, %ymm0, %xmm2
    557 ; XOPAVX1-NEXT:    vpshlw {{.*}}(%rip), %xmm2, %xmm3
    558 ; XOPAVX1-NEXT:    vinsertf128 $1, %xmm3, %ymm1, %ymm1
    559 ; XOPAVX1-NEXT:    vpxor %xmm3, %xmm3, %xmm3
    560 ; XOPAVX1-NEXT:    vpsubw {{.*}}(%rip), %xmm3, %xmm4
    561 ; XOPAVX1-NEXT:    vpshlw %xmm4, %xmm2, %xmm2
    562 ; XOPAVX1-NEXT:    vpsubw {{.*}}(%rip), %xmm3, %xmm3
    563 ; XOPAVX1-NEXT:    vpshlw %xmm3, %xmm0, %xmm0
    564 ; XOPAVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
    565 ; XOPAVX1-NEXT:    vorps %ymm0, %ymm1, %ymm0
    566 ; XOPAVX1-NEXT:    retq
    567 ;
    568 ; XOPAVX2-LABEL: constant_rotate_v8i16:
    569 ; XOPAVX2:       # BB#0:
    570 ; XOPAVX2-NEXT:    vpmullw {{.*}}(%rip), %ymm0, %ymm1
    571 ; XOPAVX2-NEXT:    vpxor %xmm2, %xmm2, %xmm2
    572 ; XOPAVX2-NEXT:    vpsubw {{.*}}(%rip), %xmm2, %xmm3
    573 ; XOPAVX2-NEXT:    vextracti128 $1, %ymm0, %xmm4
    574 ; XOPAVX2-NEXT:    vpshlw %xmm3, %xmm4, %xmm3
    575 ; XOPAVX2-NEXT:    vpsubw {{.*}}(%rip), %xmm2, %xmm2
    576 ; XOPAVX2-NEXT:    vpshlw %xmm2, %xmm0, %xmm0
    577 ; XOPAVX2-NEXT:    vinserti128 $1, %xmm3, %ymm0, %ymm0
    578 ; XOPAVX2-NEXT:    vpor %ymm0, %ymm1, %ymm0
    579 ; XOPAVX2-NEXT:    retq
    580   %shl = shl <16 x i16> %a, <i16 0, i16 1, i16 2, i16 3, i16 4, i16 5, i16 6, i16 7, i16 8, i16 9, i16 10, i16 11, i16 12, i16 13, i16 14, i16 15>
    581   %lshr = lshr <16 x i16> %a, <i16 16, i16 15, i16 14, i16 13, i16 12, i16 11, i16 10, i16 9, i16 8, i16 7, i16 6, i16 5, i16 4, i16 3, i16 2, i16 1>
    582   %or = or <16 x i16> %shl, %lshr
    583   ret <16 x i16> %or
    584 }
    585 
    586 define <32 x i8> @constant_rotate_v32i8(<32 x i8> %a) nounwind {
    587 ; AVX1-LABEL: constant_rotate_v32i8:
    588 ; AVX1:       # BB#0:
    589 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm1
    590 ; AVX1-NEXT:    vpsllw $4, %xmm1, %xmm2
    591 ; AVX1-NEXT:    vmovdqa {{.*#+}} xmm8 = [240,240,240,240,240,240,240,240,240,240,240,240,240,240,240,240]
    592 ; AVX1-NEXT:    vpand %xmm8, %xmm2, %xmm2
    593 ; AVX1-NEXT:    vmovdqa {{.*#+}} xmm4 = [0,1,2,3,4,5,6,7,8,7,6,5,4,3,2,1]
    594 ; AVX1-NEXT:    vpsllw $5, %xmm4, %xmm4
    595 ; AVX1-NEXT:    vpblendvb %xmm4, %xmm2, %xmm1, %xmm2
    596 ; AVX1-NEXT:    vpsllw $2, %xmm2, %xmm5
    597 ; AVX1-NEXT:    vmovdqa {{.*#+}} xmm6 = [252,252,252,252,252,252,252,252,252,252,252,252,252,252,252,252]
    598 ; AVX1-NEXT:    vpand %xmm6, %xmm5, %xmm5
    599 ; AVX1-NEXT:    vpaddb %xmm4, %xmm4, %xmm7
    600 ; AVX1-NEXT:    vpblendvb %xmm7, %xmm5, %xmm2, %xmm2
    601 ; AVX1-NEXT:    vpaddb %xmm2, %xmm2, %xmm5
    602 ; AVX1-NEXT:    vpaddb %xmm7, %xmm7, %xmm3
    603 ; AVX1-NEXT:    vpblendvb %xmm3, %xmm5, %xmm2, %xmm2
    604 ; AVX1-NEXT:    vpsllw $4, %xmm0, %xmm5
    605 ; AVX1-NEXT:    vpand %xmm8, %xmm5, %xmm5
    606 ; AVX1-NEXT:    vpblendvb %xmm4, %xmm5, %xmm0, %xmm4
    607 ; AVX1-NEXT:    vpsllw $2, %xmm4, %xmm5
    608 ; AVX1-NEXT:    vpand %xmm6, %xmm5, %xmm5
    609 ; AVX1-NEXT:    vpblendvb %xmm7, %xmm5, %xmm4, %xmm4
    610 ; AVX1-NEXT:    vpaddb %xmm4, %xmm4, %xmm5
    611 ; AVX1-NEXT:    vpblendvb %xmm3, %xmm5, %xmm4, %xmm3
    612 ; AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm3, %ymm9
    613 ; AVX1-NEXT:    vpsrlw $4, %xmm1, %xmm3
    614 ; AVX1-NEXT:    vmovdqa {{.*#+}} xmm8 = [15,15,15,15,15,15,15,15,15,15,15,15,15,15,15,15]
    615 ; AVX1-NEXT:    vpand %xmm8, %xmm3, %xmm3
    616 ; AVX1-NEXT:    vmovdqa {{.*#+}} xmm5 = [8,7,6,5,4,3,2,1,0,1,2,3,4,5,6,7]
    617 ; AVX1-NEXT:    vpsllw $5, %xmm5, %xmm5
    618 ; AVX1-NEXT:    vpblendvb %xmm5, %xmm3, %xmm1, %xmm1
    619 ; AVX1-NEXT:    vpsrlw $2, %xmm1, %xmm3
    620 ; AVX1-NEXT:    vmovdqa {{.*#+}} xmm6 = [63,63,63,63,63,63,63,63,63,63,63,63,63,63,63,63]
    621 ; AVX1-NEXT:    vpand %xmm6, %xmm3, %xmm3
    622 ; AVX1-NEXT:    vpaddb %xmm5, %xmm5, %xmm7
    623 ; AVX1-NEXT:    vpblendvb %xmm7, %xmm3, %xmm1, %xmm1
    624 ; AVX1-NEXT:    vpsrlw $1, %xmm1, %xmm3
    625 ; AVX1-NEXT:    vmovdqa {{.*#+}} xmm4 = [127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127]
    626 ; AVX1-NEXT:    vpand %xmm4, %xmm3, %xmm3
    627 ; AVX1-NEXT:    vpaddb %xmm7, %xmm7, %xmm2
    628 ; AVX1-NEXT:    vpblendvb %xmm2, %xmm3, %xmm1, %xmm1
    629 ; AVX1-NEXT:    vpsrlw $4, %xmm0, %xmm3
    630 ; AVX1-NEXT:    vpand %xmm8, %xmm3, %xmm3
    631 ; AVX1-NEXT:    vpblendvb %xmm5, %xmm3, %xmm0, %xmm0
    632 ; AVX1-NEXT:    vpsrlw $2, %xmm0, %xmm3
    633 ; AVX1-NEXT:    vpand %xmm6, %xmm3, %xmm3
    634 ; AVX1-NEXT:    vpblendvb %xmm7, %xmm3, %xmm0, %xmm0
    635 ; AVX1-NEXT:    vpsrlw $1, %xmm0, %xmm3
    636 ; AVX1-NEXT:    vpand %xmm4, %xmm3, %xmm3
    637 ; AVX1-NEXT:    vpblendvb %xmm2, %xmm3, %xmm0, %xmm0
    638 ; AVX1-NEXT:    vinsertf128 $1, %xmm1, %ymm0, %ymm0
    639 ; AVX1-NEXT:    vorps %ymm0, %ymm9, %ymm0
    640 ; AVX1-NEXT:    retq
    641 ;
    642 ; AVX2-LABEL: constant_rotate_v32i8:
    643 ; AVX2:       # BB#0:
    644 ; AVX2-NEXT:    vmovdqa {{.*#+}} ymm1 = [0,1,2,3,4,5,6,7,8,7,6,5,4,3,2,1,0,1,2,3,4,5,6,7,8,7,6,5,4,3,2,1]
    645 ; AVX2-NEXT:    vpsllw $5, %ymm1, %ymm1
    646 ; AVX2-NEXT:    vpsllw $4, %ymm0, %ymm2
    647 ; AVX2-NEXT:    vpand {{.*}}(%rip), %ymm2, %ymm2
    648 ; AVX2-NEXT:    vpblendvb %ymm1, %ymm2, %ymm0, %ymm2
    649 ; AVX2-NEXT:    vpsllw $2, %ymm2, %ymm3
    650 ; AVX2-NEXT:    vpand {{.*}}(%rip), %ymm3, %ymm3
    651 ; AVX2-NEXT:    vpaddb %ymm1, %ymm1, %ymm1
    652 ; AVX2-NEXT:    vpblendvb %ymm1, %ymm3, %ymm2, %ymm2
    653 ; AVX2-NEXT:    vpaddb %ymm2, %ymm2, %ymm3
    654 ; AVX2-NEXT:    vpaddb %ymm1, %ymm1, %ymm1
    655 ; AVX2-NEXT:    vpblendvb %ymm1, %ymm3, %ymm2, %ymm1
    656 ; AVX2-NEXT:    vmovdqa {{.*#+}} ymm2 = [8,7,6,5,4,3,2,1,0,1,2,3,4,5,6,7,8,7,6,5,4,3,2,1,0,1,2,3,4,5,6,7]
    657 ; AVX2-NEXT:    vpsllw $5, %ymm2, %ymm2
    658 ; AVX2-NEXT:    vpsrlw $4, %ymm0, %ymm3
    659 ; AVX2-NEXT:    vpand {{.*}}(%rip), %ymm3, %ymm3
    660 ; AVX2-NEXT:    vpblendvb %ymm2, %ymm3, %ymm0, %ymm0
    661 ; AVX2-NEXT:    vpsrlw $2, %ymm0, %ymm3
    662 ; AVX2-NEXT:    vpand {{.*}}(%rip), %ymm3, %ymm3
    663 ; AVX2-NEXT:    vpaddb %ymm2, %ymm2, %ymm2
    664 ; AVX2-NEXT:    vpblendvb %ymm2, %ymm3, %ymm0, %ymm0
    665 ; AVX2-NEXT:    vpsrlw $1, %ymm0, %ymm3
    666 ; AVX2-NEXT:    vpand {{.*}}(%rip), %ymm3, %ymm3
    667 ; AVX2-NEXT:    vpaddb %ymm2, %ymm2, %ymm2
    668 ; AVX2-NEXT:    vpblendvb %ymm2, %ymm3, %ymm0, %ymm0
    669 ; AVX2-NEXT:    vpor %ymm0, %ymm1, %ymm0
    670 ; AVX2-NEXT:    retq
    671 ;
    672 ; XOPAVX1-LABEL: constant_rotate_v32i8:
    673 ; XOPAVX1:       # BB#0:
    674 ; XOPAVX1-NEXT:    vmovdqa {{.*#+}} xmm1 = [0,1,2,3,4,5,6,7,8,7,6,5,4,3,2,1]
    675 ; XOPAVX1-NEXT:    vextractf128 $1, %ymm0, %xmm2
    676 ; XOPAVX1-NEXT:    vpshlb %xmm1, %xmm2, %xmm3
    677 ; XOPAVX1-NEXT:    vpshlb %xmm1, %xmm0, %xmm1
    678 ; XOPAVX1-NEXT:    vinsertf128 $1, %xmm3, %ymm1, %ymm1
    679 ; XOPAVX1-NEXT:    vpxor %xmm3, %xmm3, %xmm3
    680 ; XOPAVX1-NEXT:    vpsubb {{.*}}(%rip), %xmm3, %xmm3
    681 ; XOPAVX1-NEXT:    vpshlb %xmm3, %xmm2, %xmm2
    682 ; XOPAVX1-NEXT:    vpshlb %xmm3, %xmm0, %xmm0
    683 ; XOPAVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
    684 ; XOPAVX1-NEXT:    vorps %ymm0, %ymm1, %ymm0
    685 ; XOPAVX1-NEXT:    retq
    686 ;
    687 ; XOPAVX2-LABEL: constant_rotate_v32i8:
    688 ; XOPAVX2:       # BB#0:
    689 ; XOPAVX2-NEXT:    vmovdqa {{.*#+}} xmm1 = [0,1,2,3,4,5,6,7,8,7,6,5,4,3,2,1]
    690 ; XOPAVX2-NEXT:    vextracti128 $1, %ymm0, %xmm2
    691 ; XOPAVX2-NEXT:    vpshlb %xmm1, %xmm2, %xmm3
    692 ; XOPAVX2-NEXT:    vpshlb %xmm1, %xmm0, %xmm1
    693 ; XOPAVX2-NEXT:    vinserti128 $1, %xmm3, %ymm1, %ymm1
    694 ; XOPAVX2-NEXT:    vpxor %xmm3, %xmm3, %xmm3
    695 ; XOPAVX2-NEXT:    vpsubb {{.*}}(%rip), %xmm3, %xmm3
    696 ; XOPAVX2-NEXT:    vpshlb %xmm3, %xmm2, %xmm2
    697 ; XOPAVX2-NEXT:    vpshlb %xmm3, %xmm0, %xmm0
    698 ; XOPAVX2-NEXT:    vinserti128 $1, %xmm2, %ymm0, %ymm0
    699 ; XOPAVX2-NEXT:    vpor %ymm0, %ymm1, %ymm0
    700 ; XOPAVX2-NEXT:    retq
    701   %shl = shl <32 x i8> %a, <i8 0, i8 1, i8 2, i8 3, i8 4, i8 5, i8 6, i8 7, i8 8, i8 7, i8 6, i8 5, i8 4, i8 3, i8 2, i8 1, i8 0, i8 1, i8 2, i8 3, i8 4, i8 5, i8 6, i8 7, i8 8, i8 7, i8 6, i8 5, i8 4, i8 3, i8 2, i8 1>
    702   %lshr = lshr <32 x i8> %a, <i8 8, i8 7, i8 6, i8 5, i8 4, i8 3, i8 2, i8 1, i8 0, i8 1, i8 2, i8 3, i8 4, i8 5, i8 6, i8 7, i8 8, i8 7, i8 6, i8 5, i8 4, i8 3, i8 2, i8 1, i8 0, i8 1, i8 2, i8 3, i8 4, i8 5, i8 6, i8 7>
    703   %or = or <32 x i8> %shl, %lshr
    704   ret <32 x i8> %or
    705 }
    706 
    707 ;
    708 ; Uniform Constant Rotates
    709 ;
    710 
    711 define <4 x i64> @splatconstant_rotate_v4i64(<4 x i64> %a) nounwind {
    712 ; AVX1-LABEL: splatconstant_rotate_v4i64:
    713 ; AVX1:       # BB#0:
    714 ; AVX1-NEXT:    vpsllq $14, %xmm0, %xmm1
    715 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm2
    716 ; AVX1-NEXT:    vpsllq $14, %xmm2, %xmm3
    717 ; AVX1-NEXT:    vinsertf128 $1, %xmm3, %ymm1, %ymm1
    718 ; AVX1-NEXT:    vpsrlq $50, %xmm0, %xmm0
    719 ; AVX1-NEXT:    vpsrlq $50, %xmm2, %xmm2
    720 ; AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
    721 ; AVX1-NEXT:    vorps %ymm0, %ymm1, %ymm0
    722 ; AVX1-NEXT:    retq
    723 ;
    724 ; AVX2-LABEL: splatconstant_rotate_v4i64:
    725 ; AVX2:       # BB#0:
    726 ; AVX2-NEXT:    vpsllq $14, %ymm0, %ymm1
    727 ; AVX2-NEXT:    vpsrlq $50, %ymm0, %ymm0
    728 ; AVX2-NEXT:    vpor %ymm0, %ymm1, %ymm0
    729 ; AVX2-NEXT:    retq
    730 ;
    731 ; XOPAVX1-LABEL: splatconstant_rotate_v4i64:
    732 ; XOPAVX1:       # BB#0:
    733 ; XOPAVX1-NEXT:    vprotq $14, %xmm0, %xmm1
    734 ; XOPAVX1-NEXT:    vextractf128 $1, %ymm0, %xmm0
    735 ; XOPAVX1-NEXT:    vprotq $14, %xmm0, %xmm0
    736 ; XOPAVX1-NEXT:    vinsertf128 $1, %xmm0, %ymm1, %ymm0
    737 ; XOPAVX1-NEXT:    retq
    738 ;
    739 ; XOPAVX2-LABEL: splatconstant_rotate_v4i64:
    740 ; XOPAVX2:       # BB#0:
    741 ; XOPAVX2-NEXT:    vprotq $14, %xmm0, %xmm1
    742 ; XOPAVX2-NEXT:    vextracti128 $1, %ymm0, %xmm0
    743 ; XOPAVX2-NEXT:    vprotq $14, %xmm0, %xmm0
    744 ; XOPAVX2-NEXT:    vinserti128 $1, %xmm0, %ymm1, %ymm0
    745 ; XOPAVX2-NEXT:    retq
    746   %shl = shl <4 x i64> %a, <i64 14, i64 14, i64 14, i64 14>
    747   %lshr = lshr <4 x i64> %a, <i64 50, i64 50, i64 50, i64 50>
    748   %or = or <4 x i64> %shl, %lshr
    749   ret <4 x i64> %or
    750 }
    751 
    752 define <8 x i32> @splatconstant_rotate_v8i32(<8 x i32> %a) nounwind {
    753 ; AVX1-LABEL: splatconstant_rotate_v8i32:
    754 ; AVX1:       # BB#0:
    755 ; AVX1-NEXT:    vpslld $4, %xmm0, %xmm1
    756 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm2
    757 ; AVX1-NEXT:    vpslld $4, %xmm2, %xmm3
    758 ; AVX1-NEXT:    vinsertf128 $1, %xmm3, %ymm1, %ymm1
    759 ; AVX1-NEXT:    vpsrld $28, %xmm0, %xmm0
    760 ; AVX1-NEXT:    vpsrld $28, %xmm2, %xmm2
    761 ; AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
    762 ; AVX1-NEXT:    vorps %ymm0, %ymm1, %ymm0
    763 ; AVX1-NEXT:    retq
    764 ;
    765 ; AVX2-LABEL: splatconstant_rotate_v8i32:
    766 ; AVX2:       # BB#0:
    767 ; AVX2-NEXT:    vpslld $4, %ymm0, %ymm1
    768 ; AVX2-NEXT:    vpsrld $28, %ymm0, %ymm0
    769 ; AVX2-NEXT:    vpor %ymm0, %ymm1, %ymm0
    770 ; AVX2-NEXT:    retq
    771 ;
    772 ; XOPAVX1-LABEL: splatconstant_rotate_v8i32:
    773 ; XOPAVX1:       # BB#0:
    774 ; XOPAVX1-NEXT:    vprotd $4, %xmm0, %xmm1
    775 ; XOPAVX1-NEXT:    vextractf128 $1, %ymm0, %xmm0
    776 ; XOPAVX1-NEXT:    vprotd $4, %xmm0, %xmm0
    777 ; XOPAVX1-NEXT:    vinsertf128 $1, %xmm0, %ymm1, %ymm0
    778 ; XOPAVX1-NEXT:    retq
    779 ;
    780 ; XOPAVX2-LABEL: splatconstant_rotate_v8i32:
    781 ; XOPAVX2:       # BB#0:
    782 ; XOPAVX2-NEXT:    vprotd $4, %xmm0, %xmm1
    783 ; XOPAVX2-NEXT:    vextracti128 $1, %ymm0, %xmm0
    784 ; XOPAVX2-NEXT:    vprotd $4, %xmm0, %xmm0
    785 ; XOPAVX2-NEXT:    vinserti128 $1, %xmm0, %ymm1, %ymm0
    786 ; XOPAVX2-NEXT:    retq
    787   %shl = shl <8 x i32> %a, <i32 4, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4>
    788   %lshr = lshr <8 x i32> %a, <i32 28, i32 28, i32 28, i32 28, i32 28, i32 28, i32 28, i32 28>
    789   %or = or <8 x i32> %shl, %lshr
    790   ret <8 x i32> %or
    791 }
    792 
    793 define <16 x i16> @splatconstant_rotate_v16i16(<16 x i16> %a) nounwind {
    794 ; AVX1-LABEL: splatconstant_rotate_v16i16:
    795 ; AVX1:       # BB#0:
    796 ; AVX1-NEXT:    vpsllw $7, %xmm0, %xmm1
    797 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm2
    798 ; AVX1-NEXT:    vpsllw $7, %xmm2, %xmm3
    799 ; AVX1-NEXT:    vinsertf128 $1, %xmm3, %ymm1, %ymm1
    800 ; AVX1-NEXT:    vpsrlw $9, %xmm0, %xmm0
    801 ; AVX1-NEXT:    vpsrlw $9, %xmm2, %xmm2
    802 ; AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
    803 ; AVX1-NEXT:    vorps %ymm0, %ymm1, %ymm0
    804 ; AVX1-NEXT:    retq
    805 ;
    806 ; AVX2-LABEL: splatconstant_rotate_v16i16:
    807 ; AVX2:       # BB#0:
    808 ; AVX2-NEXT:    vpsllw $7, %ymm0, %ymm1
    809 ; AVX2-NEXT:    vpsrlw $9, %ymm0, %ymm0
    810 ; AVX2-NEXT:    vpor %ymm0, %ymm1, %ymm0
    811 ; AVX2-NEXT:    retq
    812 ;
    813 ; XOPAVX1-LABEL: splatconstant_rotate_v16i16:
    814 ; XOPAVX1:       # BB#0:
    815 ; XOPAVX1-NEXT:    vprotw $7, %xmm0, %xmm1
    816 ; XOPAVX1-NEXT:    vextractf128 $1, %ymm0, %xmm0
    817 ; XOPAVX1-NEXT:    vprotw $7, %xmm0, %xmm0
    818 ; XOPAVX1-NEXT:    vinsertf128 $1, %xmm0, %ymm1, %ymm0
    819 ; XOPAVX1-NEXT:    retq
    820 ;
    821 ; XOPAVX2-LABEL: splatconstant_rotate_v16i16:
    822 ; XOPAVX2:       # BB#0:
    823 ; XOPAVX2-NEXT:    vprotw $7, %xmm0, %xmm1
    824 ; XOPAVX2-NEXT:    vextracti128 $1, %ymm0, %xmm0
    825 ; XOPAVX2-NEXT:    vprotw $7, %xmm0, %xmm0
    826 ; XOPAVX2-NEXT:    vinserti128 $1, %xmm0, %ymm1, %ymm0
    827 ; XOPAVX2-NEXT:    retq
    828   %shl = shl <16 x i16> %a, <i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7>
    829   %lshr = lshr <16 x i16> %a, <i16 9, i16 9, i16 9, i16 9, i16 9, i16 9, i16 9, i16 9, i16 9, i16 9, i16 9, i16 9, i16 9, i16 9, i16 9, i16 9>
    830   %or = or <16 x i16> %shl, %lshr
    831   ret <16 x i16> %or
    832 }
    833 
    834 define <32 x i8> @splatconstant_rotate_v32i8(<32 x i8> %a) nounwind {
    835 ; AVX1-LABEL: splatconstant_rotate_v32i8:
    836 ; AVX1:       # BB#0:
    837 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm1
    838 ; AVX1-NEXT:    vpsllw $4, %xmm1, %xmm2
    839 ; AVX1-NEXT:    vmovdqa {{.*#+}} xmm3 = [240,240,240,240,240,240,240,240,240,240,240,240,240,240,240,240]
    840 ; AVX1-NEXT:    vpand %xmm3, %xmm2, %xmm2
    841 ; AVX1-NEXT:    vpsllw $4, %xmm0, %xmm4
    842 ; AVX1-NEXT:    vpand %xmm3, %xmm4, %xmm3
    843 ; AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm3, %ymm2
    844 ; AVX1-NEXT:    vpsrlw $4, %xmm1, %xmm1
    845 ; AVX1-NEXT:    vmovdqa {{.*#+}} xmm3 = [15,15,15,15,15,15,15,15,15,15,15,15,15,15,15,15]
    846 ; AVX1-NEXT:    vpand %xmm3, %xmm1, %xmm1
    847 ; AVX1-NEXT:    vpsrlw $4, %xmm0, %xmm0
    848 ; AVX1-NEXT:    vpand %xmm3, %xmm0, %xmm0
    849 ; AVX1-NEXT:    vinsertf128 $1, %xmm1, %ymm0, %ymm0
    850 ; AVX1-NEXT:    vorps %ymm0, %ymm2, %ymm0
    851 ; AVX1-NEXT:    retq
    852 ;
    853 ; AVX2-LABEL: splatconstant_rotate_v32i8:
    854 ; AVX2:       # BB#0:
    855 ; AVX2-NEXT:    vpsllw $4, %ymm0, %ymm1
    856 ; AVX2-NEXT:    vpand {{.*}}(%rip), %ymm1, %ymm1
    857 ; AVX2-NEXT:    vpsrlw $4, %ymm0, %ymm0
    858 ; AVX2-NEXT:    vpand {{.*}}(%rip), %ymm0, %ymm0
    859 ; AVX2-NEXT:    vpor %ymm0, %ymm1, %ymm0
    860 ; AVX2-NEXT:    retq
    861 ;
    862 ; XOPAVX1-LABEL: splatconstant_rotate_v32i8:
    863 ; XOPAVX1:       # BB#0:
    864 ; XOPAVX1-NEXT:    vprotb $4, %xmm0, %xmm1
    865 ; XOPAVX1-NEXT:    vextractf128 $1, %ymm0, %xmm0
    866 ; XOPAVX1-NEXT:    vprotb $4, %xmm0, %xmm0
    867 ; XOPAVX1-NEXT:    vinsertf128 $1, %xmm0, %ymm1, %ymm0
    868 ; XOPAVX1-NEXT:    retq
    869 ;
    870 ; XOPAVX2-LABEL: splatconstant_rotate_v32i8:
    871 ; XOPAVX2:       # BB#0:
    872 ; XOPAVX2-NEXT:    vprotb $4, %xmm0, %xmm1
    873 ; XOPAVX2-NEXT:    vextracti128 $1, %ymm0, %xmm0
    874 ; XOPAVX2-NEXT:    vprotb $4, %xmm0, %xmm0
    875 ; XOPAVX2-NEXT:    vinserti128 $1, %xmm0, %ymm1, %ymm0
    876 ; XOPAVX2-NEXT:    retq
    877   %shl = shl <32 x i8> %a, <i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4>
    878   %lshr = lshr <32 x i8> %a, <i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4>
    879   %or = or <32 x i8> %shl, %lshr
    880   ret <32 x i8> %or
    881 }
    882 
    883 ;
    884 ; Masked Uniform Constant Rotates
    885 ;
    886 
    887 define <4 x i64> @splatconstant_rotate_mask_v4i64(<4 x i64> %a) nounwind {
    888 ; AVX1-LABEL: splatconstant_rotate_mask_v4i64:
    889 ; AVX1:       # BB#0:
    890 ; AVX1-NEXT:    vpsllq $15, %xmm0, %xmm1
    891 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm2
    892 ; AVX1-NEXT:    vpsllq $15, %xmm2, %xmm3
    893 ; AVX1-NEXT:    vinsertf128 $1, %xmm3, %ymm1, %ymm1
    894 ; AVX1-NEXT:    vpsrlq $49, %xmm0, %xmm0
    895 ; AVX1-NEXT:    vpsrlq $49, %xmm2, %xmm2
    896 ; AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
    897 ; AVX1-NEXT:    vandps {{.*}}(%rip), %ymm0, %ymm0
    898 ; AVX1-NEXT:    vandps {{.*}}(%rip), %ymm1, %ymm1
    899 ; AVX1-NEXT:    vorps %ymm0, %ymm1, %ymm0
    900 ; AVX1-NEXT:    retq
    901 ;
    902 ; AVX2-LABEL: splatconstant_rotate_mask_v4i64:
    903 ; AVX2:       # BB#0:
    904 ; AVX2-NEXT:    vpsllq $15, %ymm0, %ymm1
    905 ; AVX2-NEXT:    vpsrlq $49, %ymm0, %ymm0
    906 ; AVX2-NEXT:    vpand {{.*}}(%rip), %ymm0, %ymm0
    907 ; AVX2-NEXT:    vpand {{.*}}(%rip), %ymm1, %ymm1
    908 ; AVX2-NEXT:    vpor %ymm0, %ymm1, %ymm0
    909 ; AVX2-NEXT:    retq
    910 ;
    911 ; XOPAVX1-LABEL: splatconstant_rotate_mask_v4i64:
    912 ; XOPAVX1:       # BB#0:
    913 ; XOPAVX1-NEXT:    vprotq $15, %xmm0, %xmm1
    914 ; XOPAVX1-NEXT:    vextractf128 $1, %ymm0, %xmm0
    915 ; XOPAVX1-NEXT:    vprotq $15, %xmm0, %xmm0
    916 ; XOPAVX1-NEXT:    vinsertf128 $1, %xmm0, %ymm1, %ymm0
    917 ; XOPAVX1-NEXT:    vandps {{.*}}(%rip), %ymm0, %ymm0
    918 ; XOPAVX1-NEXT:    retq
    919 ;
    920 ; XOPAVX2-LABEL: splatconstant_rotate_mask_v4i64:
    921 ; XOPAVX2:       # BB#0:
    922 ; XOPAVX2-NEXT:    vprotq $15, %xmm0, %xmm1
    923 ; XOPAVX2-NEXT:    vextracti128 $1, %ymm0, %xmm0
    924 ; XOPAVX2-NEXT:    vprotq $15, %xmm0, %xmm0
    925 ; XOPAVX2-NEXT:    vinserti128 $1, %xmm0, %ymm1, %ymm0
    926 ; XOPAVX2-NEXT:    vpand {{.*}}(%rip), %ymm0, %ymm0
    927 ; XOPAVX2-NEXT:    retq
    928   %shl = shl <4 x i64> %a, <i64 15, i64 15, i64 15, i64 15>
    929   %lshr = lshr <4 x i64> %a, <i64 49, i64 49, i64 49, i64 49>
    930   %rmask = and <4 x i64> %lshr, <i64 255, i64 127, i64 127, i64 255>
    931   %lmask = and <4 x i64> %shl, <i64 33, i64 65, i64 129, i64 257>
    932   %or = or <4 x i64> %lmask, %rmask
    933   ret <4 x i64> %or
    934 }
    935 
    936 define <8 x i32> @splatconstant_rotate_mask_v8i32(<8 x i32> %a) nounwind {
    937 ; AVX1-LABEL: splatconstant_rotate_mask_v8i32:
    938 ; AVX1:       # BB#0:
    939 ; AVX1-NEXT:    vpslld $4, %xmm0, %xmm1
    940 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm2
    941 ; AVX1-NEXT:    vpslld $4, %xmm2, %xmm3
    942 ; AVX1-NEXT:    vinsertf128 $1, %xmm3, %ymm1, %ymm1
    943 ; AVX1-NEXT:    vpsrld $28, %xmm0, %xmm0
    944 ; AVX1-NEXT:    vpsrld $28, %xmm2, %xmm2
    945 ; AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
    946 ; AVX1-NEXT:    vandps {{.*}}(%rip), %ymm0, %ymm0
    947 ; AVX1-NEXT:    vandps {{.*}}(%rip), %ymm1, %ymm1
    948 ; AVX1-NEXT:    vorps %ymm0, %ymm1, %ymm0
    949 ; AVX1-NEXT:    retq
    950 ;
    951 ; AVX2-LABEL: splatconstant_rotate_mask_v8i32:
    952 ; AVX2:       # BB#0:
    953 ; AVX2-NEXT:    vpslld $4, %ymm0, %ymm1
    954 ; AVX2-NEXT:    vpsrld $28, %ymm0, %ymm0
    955 ; AVX2-NEXT:    vpand {{.*}}(%rip), %ymm0, %ymm0
    956 ; AVX2-NEXT:    vpand {{.*}}(%rip), %ymm1, %ymm1
    957 ; AVX2-NEXT:    vpor %ymm0, %ymm1, %ymm0
    958 ; AVX2-NEXT:    retq
    959 ;
    960 ; XOPAVX1-LABEL: splatconstant_rotate_mask_v8i32:
    961 ; XOPAVX1:       # BB#0:
    962 ; XOPAVX1-NEXT:    vprotd $4, %xmm0, %xmm1
    963 ; XOPAVX1-NEXT:    vextractf128 $1, %ymm0, %xmm0
    964 ; XOPAVX1-NEXT:    vprotd $4, %xmm0, %xmm0
    965 ; XOPAVX1-NEXT:    vinsertf128 $1, %xmm0, %ymm1, %ymm0
    966 ; XOPAVX1-NEXT:    vandps {{.*}}(%rip), %ymm0, %ymm0
    967 ; XOPAVX1-NEXT:    retq
    968 ;
    969 ; XOPAVX2-LABEL: splatconstant_rotate_mask_v8i32:
    970 ; XOPAVX2:       # BB#0:
    971 ; XOPAVX2-NEXT:    vprotd $4, %xmm0, %xmm1
    972 ; XOPAVX2-NEXT:    vextracti128 $1, %ymm0, %xmm0
    973 ; XOPAVX2-NEXT:    vprotd $4, %xmm0, %xmm0
    974 ; XOPAVX2-NEXT:    vinserti128 $1, %xmm0, %ymm1, %ymm0
    975 ; XOPAVX2-NEXT:    vpand {{.*}}(%rip), %ymm0, %ymm0
    976 ; XOPAVX2-NEXT:    retq
    977   %shl = shl <8 x i32> %a, <i32 4, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4, i32 4>
    978   %lshr = lshr <8 x i32> %a, <i32 28, i32 28, i32 28, i32 28, i32 28, i32 28, i32 28, i32 28>
    979   %rmask = and <8 x i32> %lshr, <i32 3, i32 7, i32 15, i32 31, i32 63, i32 127, i32 255, i32 511>
    980   %lmask = and <8 x i32> %shl, <i32 511, i32 255, i32 127, i32 63, i32 31, i32 15, i32 7, i32 3>
    981   %or = or <8 x i32> %lmask, %rmask
    982   ret <8 x i32> %or
    983 }
    984 
    985 define <16 x i16> @splatconstant_rotate_mask_v16i16(<16 x i16> %a) nounwind {
    986 ; AVX1-LABEL: splatconstant_rotate_mask_v16i16:
    987 ; AVX1:       # BB#0:
    988 ; AVX1-NEXT:    vpsllw $5, %xmm0, %xmm1
    989 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm2
    990 ; AVX1-NEXT:    vpsllw $5, %xmm2, %xmm3
    991 ; AVX1-NEXT:    vinsertf128 $1, %xmm3, %ymm1, %ymm1
    992 ; AVX1-NEXT:    vpsrlw $11, %xmm0, %xmm0
    993 ; AVX1-NEXT:    vpsrlw $11, %xmm2, %xmm2
    994 ; AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm0, %ymm0
    995 ; AVX1-NEXT:    vandps {{.*}}(%rip), %ymm0, %ymm0
    996 ; AVX1-NEXT:    vandps {{.*}}(%rip), %ymm1, %ymm1
    997 ; AVX1-NEXT:    vorps %ymm0, %ymm1, %ymm0
    998 ; AVX1-NEXT:    retq
    999 ;
   1000 ; AVX2-LABEL: splatconstant_rotate_mask_v16i16:
   1001 ; AVX2:       # BB#0:
   1002 ; AVX2-NEXT:    vpsllw $5, %ymm0, %ymm1
   1003 ; AVX2-NEXT:    vpsrlw $11, %ymm0, %ymm0
   1004 ; AVX2-NEXT:    vpand {{.*}}(%rip), %ymm0, %ymm0
   1005 ; AVX2-NEXT:    vpand {{.*}}(%rip), %ymm1, %ymm1
   1006 ; AVX2-NEXT:    vpor %ymm0, %ymm1, %ymm0
   1007 ; AVX2-NEXT:    retq
   1008 ;
   1009 ; XOPAVX1-LABEL: splatconstant_rotate_mask_v16i16:
   1010 ; XOPAVX1:       # BB#0:
   1011 ; XOPAVX1-NEXT:    vprotw $5, %xmm0, %xmm1
   1012 ; XOPAVX1-NEXT:    vextractf128 $1, %ymm0, %xmm0
   1013 ; XOPAVX1-NEXT:    vprotw $5, %xmm0, %xmm0
   1014 ; XOPAVX1-NEXT:    vinsertf128 $1, %xmm0, %ymm1, %ymm0
   1015 ; XOPAVX1-NEXT:    vandps {{.*}}(%rip), %ymm0, %ymm0
   1016 ; XOPAVX1-NEXT:    retq
   1017 ;
   1018 ; XOPAVX2-LABEL: splatconstant_rotate_mask_v16i16:
   1019 ; XOPAVX2:       # BB#0:
   1020 ; XOPAVX2-NEXT:    vprotw $5, %xmm0, %xmm1
   1021 ; XOPAVX2-NEXT:    vextracti128 $1, %ymm0, %xmm0
   1022 ; XOPAVX2-NEXT:    vprotw $5, %xmm0, %xmm0
   1023 ; XOPAVX2-NEXT:    vinserti128 $1, %xmm0, %ymm1, %ymm0
   1024 ; XOPAVX2-NEXT:    vpand {{.*}}(%rip), %ymm0, %ymm0
   1025 ; XOPAVX2-NEXT:    retq
   1026   %shl = shl <16 x i16> %a, <i16 5, i16 5, i16 5, i16 5, i16 5, i16 5, i16 5, i16 5, i16 5, i16 5, i16 5, i16 5, i16 5, i16 5, i16 5, i16 5>
   1027   %lshr = lshr <16 x i16> %a, <i16 11, i16 11, i16 11, i16 11, i16 11, i16 11, i16 11, i16 11, i16 11, i16 11, i16 11, i16 11, i16 11, i16 11, i16 11, i16 11>
   1028   %rmask = and <16 x i16> %lshr, <i16 55, i16 55, i16 55, i16 55, i16 55, i16 55, i16 55, i16 55, i16 55, i16 55, i16 55, i16 55, i16 55, i16 55, i16 55, i16 55>
   1029   %lmask = and <16 x i16> %shl, <i16 33, i16 33, i16 33, i16 33, i16 33, i16 33, i16 33, i16 33, i16 33, i16 33, i16 33, i16 33, i16 33, i16 33, i16 33, i16 33>
   1030   %or = or <16 x i16> %lmask, %rmask
   1031   ret <16 x i16> %or
   1032 }
   1033 
   1034 define <32 x i8> @splatconstant_rotate_mask_v32i8(<32 x i8> %a) nounwind {
   1035 ; AVX1-LABEL: splatconstant_rotate_mask_v32i8:
   1036 ; AVX1:       # BB#0:
   1037 ; AVX1-NEXT:    vextractf128 $1, %ymm0, %xmm1
   1038 ; AVX1-NEXT:    vpsllw $4, %xmm1, %xmm2
   1039 ; AVX1-NEXT:    vmovdqa {{.*#+}} xmm3 = [240,240,240,240,240,240,240,240,240,240,240,240,240,240,240,240]
   1040 ; AVX1-NEXT:    vpand %xmm3, %xmm2, %xmm2
   1041 ; AVX1-NEXT:    vpsllw $4, %xmm0, %xmm4
   1042 ; AVX1-NEXT:    vpand %xmm3, %xmm4, %xmm3
   1043 ; AVX1-NEXT:    vinsertf128 $1, %xmm2, %ymm3, %ymm2
   1044 ; AVX1-NEXT:    vpsrlw $4, %xmm1, %xmm1
   1045 ; AVX1-NEXT:    vmovdqa {{.*#+}} xmm3 = [15,15,15,15,15,15,15,15,15,15,15,15,15,15,15,15]
   1046 ; AVX1-NEXT:    vpand %xmm3, %xmm1, %xmm1
   1047 ; AVX1-NEXT:    vpsrlw $4, %xmm0, %xmm0
   1048 ; AVX1-NEXT:    vpand %xmm3, %xmm0, %xmm0
   1049 ; AVX1-NEXT:    vinsertf128 $1, %xmm1, %ymm0, %ymm0
   1050 ; AVX1-NEXT:    vandps {{.*}}(%rip), %ymm0, %ymm0
   1051 ; AVX1-NEXT:    vandps {{.*}}(%rip), %ymm2, %ymm1
   1052 ; AVX1-NEXT:    vorps %ymm0, %ymm1, %ymm0
   1053 ; AVX1-NEXT:    retq
   1054 ;
   1055 ; AVX2-LABEL: splatconstant_rotate_mask_v32i8:
   1056 ; AVX2:       # BB#0:
   1057 ; AVX2-NEXT:    vpsllw $4, %ymm0, %ymm1
   1058 ; AVX2-NEXT:    vpand {{.*}}(%rip), %ymm1, %ymm1
   1059 ; AVX2-NEXT:    vpsrlw $4, %ymm0, %ymm0
   1060 ; AVX2-NEXT:    vpand {{.*}}(%rip), %ymm0, %ymm0
   1061 ; AVX2-NEXT:    vpand {{.*}}(%rip), %ymm0, %ymm0
   1062 ; AVX2-NEXT:    vpand {{.*}}(%rip), %ymm1, %ymm1
   1063 ; AVX2-NEXT:    vpor %ymm0, %ymm1, %ymm0
   1064 ; AVX2-NEXT:    retq
   1065 ;
   1066 ; XOPAVX1-LABEL: splatconstant_rotate_mask_v32i8:
   1067 ; XOPAVX1:       # BB#0:
   1068 ; XOPAVX1-NEXT:    vprotb $4, %xmm0, %xmm1
   1069 ; XOPAVX1-NEXT:    vextractf128 $1, %ymm0, %xmm0
   1070 ; XOPAVX1-NEXT:    vprotb $4, %xmm0, %xmm0
   1071 ; XOPAVX1-NEXT:    vinsertf128 $1, %xmm0, %ymm1, %ymm0
   1072 ; XOPAVX1-NEXT:    vandps {{.*}}(%rip), %ymm0, %ymm0
   1073 ; XOPAVX1-NEXT:    retq
   1074 ;
   1075 ; XOPAVX2-LABEL: splatconstant_rotate_mask_v32i8:
   1076 ; XOPAVX2:       # BB#0:
   1077 ; XOPAVX2-NEXT:    vprotb $4, %xmm0, %xmm1
   1078 ; XOPAVX2-NEXT:    vextracti128 $1, %ymm0, %xmm0
   1079 ; XOPAVX2-NEXT:    vprotb $4, %xmm0, %xmm0
   1080 ; XOPAVX2-NEXT:    vinserti128 $1, %xmm0, %ymm1, %ymm0
   1081 ; XOPAVX2-NEXT:    vpand {{.*}}(%rip), %ymm0, %ymm0
   1082 ; XOPAVX2-NEXT:    retq
   1083   %shl = shl <32 x i8> %a, <i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4>
   1084   %lshr = lshr <32 x i8> %a, <i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4, i8 4>
   1085   %rmask = and <32 x i8> %lshr, <i8 55, i8 55, i8 55, i8 55, i8 55, i8 55, i8 55, i8 55, i8 55, i8 55, i8 55, i8 55, i8 55, i8 55, i8 55, i8 55, i8 55, i8 55, i8 55, i8 55, i8 55, i8 55, i8 55, i8 55, i8 55, i8 55, i8 55, i8 55, i8 55, i8 55, i8 55, i8 55>
   1086   %lmask = and <32 x i8> %shl, <i8 33, i8 33, i8 33, i8 33, i8 33, i8 33, i8 33, i8 33, i8 33, i8 33, i8 33, i8 33, i8 33, i8 33, i8 33, i8 33, i8 33, i8 33, i8 33, i8 33, i8 33, i8 33, i8 33, i8 33, i8 33, i8 33, i8 33, i8 33, i8 33, i8 33, i8 33, i8 33>
   1087   %or = or <32 x i8> %lmask, %rmask
   1088   ret <32 x i8> %or
   1089 }
   1090