Home | History | Annotate | Download | only in LoopVectorize
      1 ; RUN: opt < %s  -basicaa -loop-vectorize -force-vector-width=4 -force-vector-interleave=1 -dce -instcombine -S | FileCheck %s
      2 ; RUN: opt < %s  -basicaa -loop-vectorize -force-vector-width=4 -force-vector-interleave=4 -dce -instcombine -S | FileCheck %s -check-prefix=UNROLL
      3 
      4 target datalayout = "e-p:64:64:64-i1:8:8-i8:8:8-i16:16:16-i32:32:32-i64:64:64-f32:32:32-f64:64:64-v64:64:64-v128:128:128-a0:0:64-s0:64:64-f80:128:128-n8:16:32:64-S128"
      5 target triple = "x86_64-apple-macosx10.8.0"
      6 
      7 @b = common global [2048 x i32] zeroinitializer, align 16
      8 @c = common global [2048 x i32] zeroinitializer, align 16
      9 @a = common global [2048 x i32] zeroinitializer, align 16
     10 @G = common global [32 x [1024 x i32]] zeroinitializer, align 16
     11 @ub = common global [1024 x i32] zeroinitializer, align 16
     12 @uc = common global [1024 x i32] zeroinitializer, align 16
     13 @d = common global [2048 x i32] zeroinitializer, align 16
     14 @fa = common global [1024 x float] zeroinitializer, align 16
     15 @fb = common global [1024 x float] zeroinitializer, align 16
     16 @ic = common global [1024 x i32] zeroinitializer, align 16
     17 @da = common global [1024 x float] zeroinitializer, align 16
     18 @db = common global [1024 x float] zeroinitializer, align 16
     19 @dc = common global [1024 x float] zeroinitializer, align 16
     20 @dd = common global [1024 x float] zeroinitializer, align 16
     21 @dj = common global [1024 x i32] zeroinitializer, align 16
     22 
     23 ;CHECK-LABEL: @example1(
     24 ;CHECK: load <4 x i32>
     25 ;CHECK: add nsw <4 x i32>
     26 ;CHECK: store <4 x i32>
     27 ;CHECK: ret void
     28 ;UNROLL-LABEL: @example1(
     29 ;UNROLL: load <4 x i32>
     30 ;UNROLL: load <4 x i32>
     31 ;UNROLL: load <4 x i32>
     32 ;UNROLL: load <4 x i32>
     33 ;UNROLL: add nsw <4 x i32>
     34 ;UNROLL: add nsw <4 x i32>
     35 ;UNROLL: add nsw <4 x i32>
     36 ;UNROLL: add nsw <4 x i32>
     37 ;UNROLL: store <4 x i32>
     38 ;UNROLL: store <4 x i32>
     39 ;UNROLL: store <4 x i32>
     40 ;UNROLL: store <4 x i32>
     41 ;UNROLL: ret void
     42 define void @example1() nounwind uwtable ssp {
     43   br label %1
     44 
     45 ; <label>:1                                       ; preds = %1, %0
     46   %indvars.iv = phi i64 [ 0, %0 ], [ %indvars.iv.next, %1 ]
     47   %2 = getelementptr inbounds [2048 x i32], [2048 x i32]* @b, i64 0, i64 %indvars.iv
     48   %3 = load i32, i32* %2, align 4
     49   %4 = getelementptr inbounds [2048 x i32], [2048 x i32]* @c, i64 0, i64 %indvars.iv
     50   %5 = load i32, i32* %4, align 4
     51   %6 = add nsw i32 %5, %3
     52   %7 = getelementptr inbounds [2048 x i32], [2048 x i32]* @a, i64 0, i64 %indvars.iv
     53   store i32 %6, i32* %7, align 4
     54   %indvars.iv.next = add i64 %indvars.iv, 1
     55   %lftr.wideiv = trunc i64 %indvars.iv.next to i32
     56   %exitcond = icmp eq i32 %lftr.wideiv, 256
     57   br i1 %exitcond, label %8, label %1
     58 
     59 ; <label>:8                                       ; preds = %1
     60   ret void
     61 }
     62 
     63 ;CHECK-LABEL: @example2(
     64 ;CHECK: store <4 x i32>
     65 ;CHECK: ret void
     66 ;UNROLL-LABEL: @example2(
     67 ;UNROLL: store <4 x i32>
     68 ;UNROLL: store <4 x i32>
     69 ;UNROLL: store <4 x i32>
     70 ;UNROLL: store <4 x i32>
     71 ;UNROLL: ret void
     72 define void @example2(i32 %n, i32 %x) nounwind uwtable ssp {
     73   %1 = icmp sgt i32 %n, 0
     74   br i1 %1, label %.lr.ph5, label %.preheader
     75 
     76 ..preheader_crit_edge:                            ; preds = %.lr.ph5
     77   %phitmp = sext i32 %n to i64
     78   br label %.preheader
     79 
     80 .preheader:                                       ; preds = %..preheader_crit_edge, %0
     81   %i.0.lcssa = phi i64 [ %phitmp, %..preheader_crit_edge ], [ 0, %0 ]
     82   %2 = icmp eq i32 %n, 0
     83   br i1 %2, label %._crit_edge, label %.lr.ph
     84 
     85 .lr.ph5:                                          ; preds = %0, %.lr.ph5
     86   %indvars.iv6 = phi i64 [ %indvars.iv.next7, %.lr.ph5 ], [ 0, %0 ]
     87   %3 = getelementptr inbounds [2048 x i32], [2048 x i32]* @b, i64 0, i64 %indvars.iv6
     88   store i32 %x, i32* %3, align 4
     89   %indvars.iv.next7 = add i64 %indvars.iv6, 1
     90   %lftr.wideiv = trunc i64 %indvars.iv.next7 to i32
     91   %exitcond = icmp eq i32 %lftr.wideiv, %n
     92   br i1 %exitcond, label %..preheader_crit_edge, label %.lr.ph5
     93 
     94 .lr.ph:                                           ; preds = %.preheader, %.lr.ph
     95   %indvars.iv = phi i64 [ %indvars.iv.next, %.lr.ph ], [ %i.0.lcssa, %.preheader ]
     96   %.02 = phi i32 [ %4, %.lr.ph ], [ %n, %.preheader ]
     97   %4 = add nsw i32 %.02, -1
     98   %5 = getelementptr inbounds [2048 x i32], [2048 x i32]* @b, i64 0, i64 %indvars.iv
     99   %6 = load i32, i32* %5, align 4
    100   %7 = getelementptr inbounds [2048 x i32], [2048 x i32]* @c, i64 0, i64 %indvars.iv
    101   %8 = load i32, i32* %7, align 4
    102   %9 = and i32 %8, %6
    103   %10 = getelementptr inbounds [2048 x i32], [2048 x i32]* @a, i64 0, i64 %indvars.iv
    104   store i32 %9, i32* %10, align 4
    105   %indvars.iv.next = add i64 %indvars.iv, 1
    106   %11 = icmp eq i32 %4, 0
    107   br i1 %11, label %._crit_edge, label %.lr.ph
    108 
    109 ._crit_edge:                                      ; preds = %.lr.ph, %.preheader
    110   ret void
    111 }
    112 
    113 ;CHECK-LABEL: @example3(
    114 ;CHECK: <4 x i32>
    115 ;CHECK: ret void
    116 ;UNROLL-LABEL: @example3(
    117 ;UNROLL: <4 x i32>
    118 ;UNROLL: <4 x i32>
    119 ;UNROLL: <4 x i32>
    120 ;UNROLL: <4 x i32>
    121 ;UNROLL: ret void
    122 define void @example3(i32 %n, i32* noalias nocapture %p, i32* noalias nocapture %q) nounwind uwtable ssp {
    123   %1 = icmp eq i32 %n, 0
    124   br i1 %1, label %._crit_edge, label %.lr.ph
    125 
    126 .lr.ph:                                           ; preds = %0, %.lr.ph
    127   %.05 = phi i32 [ %2, %.lr.ph ], [ %n, %0 ]
    128   %.014 = phi i32* [ %5, %.lr.ph ], [ %p, %0 ]
    129   %.023 = phi i32* [ %3, %.lr.ph ], [ %q, %0 ]
    130   %2 = add nsw i32 %.05, -1
    131   %3 = getelementptr inbounds i32, i32* %.023, i64 1
    132   %4 = load i32, i32* %.023, align 16
    133   %5 = getelementptr inbounds i32, i32* %.014, i64 1
    134   store i32 %4, i32* %.014, align 16
    135   %6 = icmp eq i32 %2, 0
    136   br i1 %6, label %._crit_edge, label %.lr.ph
    137 
    138 ._crit_edge:                                      ; preds = %.lr.ph, %0
    139   ret void
    140 }
    141 
    142 ;CHECK-LABEL: @example4(
    143 ;CHECK: load <4 x i32>
    144 ;CHECK: ret void
    145 ;UNROLL-LABEL: @example4(
    146 ;UNROLL: load <4 x i32>
    147 ;UNROLL: load <4 x i32>
    148 ;UNROLL: load <4 x i32>
    149 ;UNROLL: load <4 x i32>
    150 ;UNROLL: ret void
    151 define void @example4(i32 %n, i32* noalias nocapture %p, i32* noalias nocapture %q) nounwind uwtable ssp {
    152   %1 = add nsw i32 %n, -1
    153   %2 = icmp eq i32 %n, 0
    154   br i1 %2, label %.preheader4, label %.lr.ph10
    155 
    156 .preheader4:                                      ; preds = %0
    157   %3 = icmp sgt i32 %1, 0
    158   br i1 %3, label %.lr.ph6, label %._crit_edge
    159 
    160 .lr.ph10:                                         ; preds = %0, %.lr.ph10
    161   %4 = phi i32 [ %9, %.lr.ph10 ], [ %1, %0 ]
    162   %.018 = phi i32* [ %8, %.lr.ph10 ], [ %p, %0 ]
    163   %.027 = phi i32* [ %5, %.lr.ph10 ], [ %q, %0 ]
    164   %5 = getelementptr inbounds i32, i32* %.027, i64 1
    165   %6 = load i32, i32* %.027, align 16
    166   %7 = add nsw i32 %6, 5
    167   %8 = getelementptr inbounds i32, i32* %.018, i64 1
    168   store i32 %7, i32* %.018, align 16
    169   %9 = add nsw i32 %4, -1
    170   %10 = icmp eq i32 %4, 0
    171   br i1 %10, label %._crit_edge, label %.lr.ph10
    172 
    173 .preheader:                                       ; preds = %.lr.ph6
    174   br i1 %3, label %.lr.ph, label %._crit_edge
    175 
    176 .lr.ph6:                                          ; preds = %.preheader4, %.lr.ph6
    177   %indvars.iv11 = phi i64 [ %indvars.iv.next12, %.lr.ph6 ], [ 0, %.preheader4 ]
    178   %indvars.iv.next12 = add i64 %indvars.iv11, 1
    179   %11 = getelementptr inbounds [2048 x i32], [2048 x i32]* @b, i64 0, i64 %indvars.iv.next12
    180   %12 = load i32, i32* %11, align 4
    181   %13 = add nsw i64 %indvars.iv11, 3
    182   %14 = getelementptr inbounds [2048 x i32], [2048 x i32]* @c, i64 0, i64 %13
    183   %15 = load i32, i32* %14, align 4
    184   %16 = add nsw i32 %15, %12
    185   %17 = getelementptr inbounds [2048 x i32], [2048 x i32]* @a, i64 0, i64 %indvars.iv11
    186   store i32 %16, i32* %17, align 4
    187   %lftr.wideiv13 = trunc i64 %indvars.iv.next12 to i32
    188   %exitcond14 = icmp eq i32 %lftr.wideiv13, %1
    189   br i1 %exitcond14, label %.preheader, label %.lr.ph6
    190 
    191 .lr.ph:                                           ; preds = %.preheader, %.lr.ph
    192   %indvars.iv = phi i64 [ %indvars.iv.next, %.lr.ph ], [ 0, %.preheader ]
    193   %18 = getelementptr inbounds [2048 x i32], [2048 x i32]* @a, i64 0, i64 %indvars.iv
    194   %19 = load i32, i32* %18, align 4
    195   %20 = icmp sgt i32 %19, 4
    196   %21 = select i1 %20, i32 4, i32 0
    197   %22 = getelementptr inbounds [2048 x i32], [2048 x i32]* @b, i64 0, i64 %indvars.iv
    198   store i32 %21, i32* %22, align 4
    199   %indvars.iv.next = add i64 %indvars.iv, 1
    200   %lftr.wideiv = trunc i64 %indvars.iv.next to i32
    201   %exitcond = icmp eq i32 %lftr.wideiv, %1
    202   br i1 %exitcond, label %._crit_edge, label %.lr.ph
    203 
    204 ._crit_edge:                                      ; preds = %.lr.ph10, %.preheader4, %.lr.ph, %.preheader
    205   ret void
    206 }
    207 
    208 ;CHECK-LABEL: @example8(
    209 ;CHECK: store <4 x i32>
    210 ;CHECK: ret void
    211 ;UNROLL-LABEL: @example8(
    212 ;UNROLL: store <4 x i32>
    213 ;UNROLL: store <4 x i32>
    214 ;UNROLL: store <4 x i32>
    215 ;UNROLL: store <4 x i32>
    216 ;UNROLL: ret void
    217 define void @example8(i32 %x) nounwind uwtable ssp {
    218   br label %.preheader
    219 
    220 .preheader:                                       ; preds = %3, %0
    221   %indvars.iv3 = phi i64 [ 0, %0 ], [ %indvars.iv.next4, %3 ]
    222   br label %1
    223 
    224 ; <label>:1                                       ; preds = %1, %.preheader
    225   %indvars.iv = phi i64 [ 0, %.preheader ], [ %indvars.iv.next, %1 ]
    226   %2 = getelementptr inbounds [32 x [1024 x i32]], [32 x [1024 x i32]]* @G, i64 0, i64 %indvars.iv3, i64 %indvars.iv
    227   store i32 %x, i32* %2, align 4
    228   %indvars.iv.next = add i64 %indvars.iv, 1
    229   %lftr.wideiv = trunc i64 %indvars.iv.next to i32
    230   %exitcond = icmp eq i32 %lftr.wideiv, 1024
    231   br i1 %exitcond, label %3, label %1
    232 
    233 ; <label>:3                                       ; preds = %1
    234   %indvars.iv.next4 = add i64 %indvars.iv3, 1
    235   %lftr.wideiv5 = trunc i64 %indvars.iv.next4 to i32
    236   %exitcond6 = icmp eq i32 %lftr.wideiv5, 32
    237   br i1 %exitcond6, label %4, label %.preheader
    238 
    239 ; <label>:4                                       ; preds = %3
    240   ret void
    241 }
    242 
    243 ;CHECK-LABEL: @example9(
    244 ;CHECK: phi <4 x i32>
    245 ;CHECK: ret i32
    246 define i32 @example9() nounwind uwtable readonly ssp {
    247   br label %1
    248 
    249 ; <label>:1                                       ; preds = %1, %0
    250   %indvars.iv = phi i64 [ 0, %0 ], [ %indvars.iv.next, %1 ]
    251   %diff.01 = phi i32 [ 0, %0 ], [ %7, %1 ]
    252   %2 = getelementptr inbounds [1024 x i32], [1024 x i32]* @ub, i64 0, i64 %indvars.iv
    253   %3 = load i32, i32* %2, align 4
    254   %4 = getelementptr inbounds [1024 x i32], [1024 x i32]* @uc, i64 0, i64 %indvars.iv
    255   %5 = load i32, i32* %4, align 4
    256   %6 = add i32 %3, %diff.01
    257   %7 = sub i32 %6, %5
    258   %indvars.iv.next = add i64 %indvars.iv, 1
    259   %lftr.wideiv = trunc i64 %indvars.iv.next to i32
    260   %exitcond = icmp eq i32 %lftr.wideiv, 1024
    261   br i1 %exitcond, label %8, label %1
    262 
    263 ; <label>:8                                       ; preds = %1
    264   ret i32 %7
    265 }
    266 
    267 ;CHECK-LABEL: @example10a(
    268 ;CHECK: load <4 x i32>
    269 ;CHECK: add nsw <4 x i32>
    270 ;CHECK: load <4 x i16>
    271 ;CHECK: add <4 x i16>
    272 ;CHECK: store <4 x i16>
    273 ;CHECK: ret void
    274 define void @example10a(i16* noalias nocapture %sa, i16* noalias nocapture %sb, i16* noalias nocapture %sc, i32* noalias nocapture %ia, i32* noalias nocapture %ib, i32* noalias nocapture %ic) nounwind uwtable ssp {
    275   br label %1
    276 
    277 ; <label>:1                                       ; preds = %1, %0
    278   %indvars.iv = phi i64 [ 0, %0 ], [ %indvars.iv.next, %1 ]
    279   %2 = getelementptr inbounds i32, i32* %ib, i64 %indvars.iv
    280   %3 = load i32, i32* %2, align 4
    281   %4 = getelementptr inbounds i32, i32* %ic, i64 %indvars.iv
    282   %5 = load i32, i32* %4, align 4
    283   %6 = add nsw i32 %5, %3
    284   %7 = getelementptr inbounds i32, i32* %ia, i64 %indvars.iv
    285   store i32 %6, i32* %7, align 4
    286   %8 = getelementptr inbounds i16, i16* %sb, i64 %indvars.iv
    287   %9 = load i16, i16* %8, align 2
    288   %10 = getelementptr inbounds i16, i16* %sc, i64 %indvars.iv
    289   %11 = load i16, i16* %10, align 2
    290   %12 = add i16 %11, %9
    291   %13 = getelementptr inbounds i16, i16* %sa, i64 %indvars.iv
    292   store i16 %12, i16* %13, align 2
    293   %indvars.iv.next = add i64 %indvars.iv, 1
    294   %lftr.wideiv = trunc i64 %indvars.iv.next to i32
    295   %exitcond = icmp eq i32 %lftr.wideiv, 1024
    296   br i1 %exitcond, label %14, label %1
    297 
    298 ; <label>:14                                      ; preds = %1
    299   ret void
    300 }
    301 
    302 ;CHECK-LABEL: @example10b(
    303 ;CHECK: load <4 x i16>
    304 ;CHECK: sext <4 x i16>
    305 ;CHECK: store <4 x i32>
    306 ;CHECK: ret void
    307 define void @example10b(i16* noalias nocapture %sa, i16* noalias nocapture %sb, i16* noalias nocapture %sc, i32* noalias nocapture %ia, i32* noalias nocapture %ib, i32* noalias nocapture %ic) nounwind uwtable ssp {
    308   br label %1
    309 
    310 ; <label>:1                                       ; preds = %1, %0
    311   %indvars.iv = phi i64 [ 0, %0 ], [ %indvars.iv.next, %1 ]
    312   %2 = getelementptr inbounds i16, i16* %sb, i64 %indvars.iv
    313   %3 = load i16, i16* %2, align 2
    314   %4 = sext i16 %3 to i32
    315   %5 = getelementptr inbounds i32, i32* %ia, i64 %indvars.iv
    316   store i32 %4, i32* %5, align 4
    317   %indvars.iv.next = add i64 %indvars.iv, 1
    318   %lftr.wideiv = trunc i64 %indvars.iv.next to i32
    319   %exitcond = icmp eq i32 %lftr.wideiv, 1024
    320   br i1 %exitcond, label %6, label %1
    321 
    322 ; <label>:6                                       ; preds = %1
    323   ret void
    324 }
    325 
    326 ;CHECK-LABEL: @example11(
    327 ;CHECK: load i32
    328 ;CHECK: load i32
    329 ;CHECK: load i32
    330 ;CHECK: load i32
    331 ;CHECK: insertelement
    332 ;CHECK: insertelement
    333 ;CHECK: insertelement
    334 ;CHECK: insertelement
    335 ;CHECK: ret void
    336 define void @example11() nounwind uwtable ssp {
    337   br label %1
    338 
    339 ; <label>:1                                       ; preds = %1, %0
    340   %indvars.iv = phi i64 [ 0, %0 ], [ %indvars.iv.next, %1 ]
    341   %2 = shl nsw i64 %indvars.iv, 1
    342   %3 = or i64 %2, 1
    343   %4 = getelementptr inbounds [2048 x i32], [2048 x i32]* @b, i64 0, i64 %3
    344   %5 = load i32, i32* %4, align 4
    345   %6 = getelementptr inbounds [2048 x i32], [2048 x i32]* @c, i64 0, i64 %3
    346   %7 = load i32, i32* %6, align 4
    347   %8 = mul nsw i32 %7, %5
    348   %9 = getelementptr inbounds [2048 x i32], [2048 x i32]* @b, i64 0, i64 %2
    349   %10 = load i32, i32* %9, align 8
    350   %11 = getelementptr inbounds [2048 x i32], [2048 x i32]* @c, i64 0, i64 %2
    351   %12 = load i32, i32* %11, align 8
    352   %13 = mul nsw i32 %12, %10
    353   %14 = sub nsw i32 %8, %13
    354   %15 = getelementptr inbounds [2048 x i32], [2048 x i32]* @a, i64 0, i64 %indvars.iv
    355   store i32 %14, i32* %15, align 4
    356   %16 = mul nsw i32 %7, %10
    357   %17 = mul nsw i32 %12, %5
    358   %18 = add nsw i32 %17, %16
    359   %19 = getelementptr inbounds [2048 x i32], [2048 x i32]* @d, i64 0, i64 %indvars.iv
    360   store i32 %18, i32* %19, align 4
    361   %indvars.iv.next = add i64 %indvars.iv, 1
    362   %lftr.wideiv = trunc i64 %indvars.iv.next to i32
    363   %exitcond = icmp eq i32 %lftr.wideiv, 512
    364   br i1 %exitcond, label %20, label %1
    365 
    366 ; <label>:20                                      ; preds = %1
    367   ret void
    368 }
    369 
    370 ;CHECK-LABEL: @example12(
    371 ;CHECK: trunc i64
    372 ;CHECK: store <4 x i32>
    373 ;CHECK: ret void
    374 define void @example12() nounwind uwtable ssp {
    375   br label %1
    376 
    377 ; <label>:1                                       ; preds = %1, %0
    378   %indvars.iv = phi i64 [ 0, %0 ], [ %indvars.iv.next, %1 ]
    379   %2 = getelementptr inbounds [2048 x i32], [2048 x i32]* @a, i64 0, i64 %indvars.iv
    380   %3 = trunc i64 %indvars.iv to i32
    381   store i32 %3, i32* %2, align 4
    382   %indvars.iv.next = add i64 %indvars.iv, 1
    383   %lftr.wideiv = trunc i64 %indvars.iv.next to i32
    384   %exitcond = icmp eq i32 %lftr.wideiv, 1024
    385   br i1 %exitcond, label %4, label %1
    386 
    387 ; <label>:4                                       ; preds = %1
    388   ret void
    389 }
    390 
    391 ;CHECK-LABEL: @example13(
    392 ;CHECK: <4 x i32>
    393 ;CHECK: ret void
    394 define void @example13(i32** nocapture %A, i32** nocapture %B, i32* nocapture %out) nounwind uwtable ssp {
    395   br label %.preheader
    396 
    397 .preheader:                                       ; preds = %14, %0
    398   %indvars.iv4 = phi i64 [ 0, %0 ], [ %indvars.iv.next5, %14 ]
    399   %1 = getelementptr inbounds i32*, i32** %A, i64 %indvars.iv4
    400   %2 = load i32*, i32** %1, align 8
    401   %3 = getelementptr inbounds i32*, i32** %B, i64 %indvars.iv4
    402   %4 = load i32*, i32** %3, align 8
    403   br label %5
    404 
    405 ; <label>:5                                       ; preds = %.preheader, %5
    406   %indvars.iv = phi i64 [ 0, %.preheader ], [ %indvars.iv.next, %5 ]
    407   %diff.02 = phi i32 [ 0, %.preheader ], [ %11, %5 ]
    408   %6 = getelementptr inbounds i32, i32* %2, i64 %indvars.iv
    409   %7 = load i32, i32* %6, align 4
    410   %8 = getelementptr inbounds i32, i32* %4, i64 %indvars.iv
    411   %9 = load i32, i32* %8, align 4
    412   %10 = add i32 %7, %diff.02
    413   %11 = sub i32 %10, %9
    414   %indvars.iv.next = add i64 %indvars.iv, 8
    415   %12 = trunc i64 %indvars.iv.next to i32
    416   %13 = icmp slt i32 %12, 1024
    417   br i1 %13, label %5, label %14
    418 
    419 ; <label>:14                                      ; preds = %5
    420   %15 = getelementptr inbounds i32, i32* %out, i64 %indvars.iv4
    421   store i32 %11, i32* %15, align 4
    422   %indvars.iv.next5 = add i64 %indvars.iv4, 1
    423   %lftr.wideiv = trunc i64 %indvars.iv.next5 to i32
    424   %exitcond = icmp eq i32 %lftr.wideiv, 32
    425   br i1 %exitcond, label %16, label %.preheader
    426 
    427 ; <label>:16                                      ; preds = %14
    428   ret void
    429 }
    430 
    431 ; Can vectorize.
    432 ;CHECK-LABEL: @example14(
    433 ;CHECK: <4 x i32>
    434 ;CHECK: ret void
    435 define void @example14(i32** nocapture %in, i32** nocapture %coeff, i32* nocapture %out) nounwind uwtable ssp {
    436 .preheader3:
    437   br label %.preheader
    438 
    439 .preheader:                                       ; preds = %11, %.preheader3
    440   %indvars.iv7 = phi i64 [ 0, %.preheader3 ], [ %indvars.iv.next8, %11 ]
    441   %sum.05 = phi i32 [ 0, %.preheader3 ], [ %10, %11 ]
    442   br label %0
    443 
    444 ; <label>:0                                       ; preds = %0, %.preheader
    445   %indvars.iv = phi i64 [ 0, %.preheader ], [ %indvars.iv.next, %0 ]
    446   %sum.12 = phi i32 [ %sum.05, %.preheader ], [ %10, %0 ]
    447   %1 = getelementptr inbounds i32*, i32** %in, i64 %indvars.iv
    448   %2 = load i32*, i32** %1, align 8
    449   %3 = getelementptr inbounds i32, i32* %2, i64 %indvars.iv7
    450   %4 = load i32, i32* %3, align 4
    451   %5 = getelementptr inbounds i32*, i32** %coeff, i64 %indvars.iv
    452   %6 = load i32*, i32** %5, align 8
    453   %7 = getelementptr inbounds i32, i32* %6, i64 %indvars.iv7
    454   %8 = load i32, i32* %7, align 4
    455   %9 = mul nsw i32 %8, %4
    456   %10 = add nsw i32 %9, %sum.12
    457   %indvars.iv.next = add i64 %indvars.iv, 1
    458   %lftr.wideiv = trunc i64 %indvars.iv.next to i32
    459   %exitcond = icmp eq i32 %lftr.wideiv, 1024
    460   br i1 %exitcond, label %11, label %0
    461 
    462 ; <label>:11                                      ; preds = %0
    463   %indvars.iv.next8 = add i64 %indvars.iv7, 1
    464   %lftr.wideiv9 = trunc i64 %indvars.iv.next8 to i32
    465   %exitcond10 = icmp eq i32 %lftr.wideiv9, 32
    466   br i1 %exitcond10, label %.preheader3.1, label %.preheader
    467 
    468 .preheader3.1:                                    ; preds = %11
    469   store i32 %10, i32* %out, align 4
    470   br label %.preheader.1
    471 
    472 .preheader.1:                                     ; preds = %24, %.preheader3.1
    473   %indvars.iv7.1 = phi i64 [ 0, %.preheader3.1 ], [ %indvars.iv.next8.1, %24 ]
    474   %sum.05.1 = phi i32 [ 0, %.preheader3.1 ], [ %23, %24 ]
    475   br label %12
    476 
    477 ; <label>:12                                      ; preds = %12, %.preheader.1
    478   %indvars.iv.1 = phi i64 [ 0, %.preheader.1 ], [ %13, %12 ]
    479   %sum.12.1 = phi i32 [ %sum.05.1, %.preheader.1 ], [ %23, %12 ]
    480   %13 = add nsw i64 %indvars.iv.1, 1
    481   %14 = getelementptr inbounds i32*, i32** %in, i64 %13
    482   %15 = load i32*, i32** %14, align 8
    483   %16 = getelementptr inbounds i32, i32* %15, i64 %indvars.iv7.1
    484   %17 = load i32, i32* %16, align 4
    485   %18 = getelementptr inbounds i32*, i32** %coeff, i64 %indvars.iv.1
    486   %19 = load i32*, i32** %18, align 8
    487   %20 = getelementptr inbounds i32, i32* %19, i64 %indvars.iv7.1
    488   %21 = load i32, i32* %20, align 4
    489   %22 = mul nsw i32 %21, %17
    490   %23 = add nsw i32 %22, %sum.12.1
    491   %lftr.wideiv.1 = trunc i64 %13 to i32
    492   %exitcond.1 = icmp eq i32 %lftr.wideiv.1, 1024
    493   br i1 %exitcond.1, label %24, label %12
    494 
    495 ; <label>:24                                      ; preds = %12
    496   %indvars.iv.next8.1 = add i64 %indvars.iv7.1, 1
    497   %lftr.wideiv9.1 = trunc i64 %indvars.iv.next8.1 to i32
    498   %exitcond10.1 = icmp eq i32 %lftr.wideiv9.1, 32
    499   br i1 %exitcond10.1, label %.preheader3.2, label %.preheader.1
    500 
    501 .preheader3.2:                                    ; preds = %24
    502   %25 = getelementptr inbounds i32, i32* %out, i64 1
    503   store i32 %23, i32* %25, align 4
    504   br label %.preheader.2
    505 
    506 .preheader.2:                                     ; preds = %38, %.preheader3.2
    507   %indvars.iv7.2 = phi i64 [ 0, %.preheader3.2 ], [ %indvars.iv.next8.2, %38 ]
    508   %sum.05.2 = phi i32 [ 0, %.preheader3.2 ], [ %37, %38 ]
    509   br label %26
    510 
    511 ; <label>:26                                      ; preds = %26, %.preheader.2
    512   %indvars.iv.2 = phi i64 [ 0, %.preheader.2 ], [ %indvars.iv.next.2, %26 ]
    513   %sum.12.2 = phi i32 [ %sum.05.2, %.preheader.2 ], [ %37, %26 ]
    514   %27 = add nsw i64 %indvars.iv.2, 2
    515   %28 = getelementptr inbounds i32*, i32** %in, i64 %27
    516   %29 = load i32*, i32** %28, align 8
    517   %30 = getelementptr inbounds i32, i32* %29, i64 %indvars.iv7.2
    518   %31 = load i32, i32* %30, align 4
    519   %32 = getelementptr inbounds i32*, i32** %coeff, i64 %indvars.iv.2
    520   %33 = load i32*, i32** %32, align 8
    521   %34 = getelementptr inbounds i32, i32* %33, i64 %indvars.iv7.2
    522   %35 = load i32, i32* %34, align 4
    523   %36 = mul nsw i32 %35, %31
    524   %37 = add nsw i32 %36, %sum.12.2
    525   %indvars.iv.next.2 = add i64 %indvars.iv.2, 1
    526   %lftr.wideiv.2 = trunc i64 %indvars.iv.next.2 to i32
    527   %exitcond.2 = icmp eq i32 %lftr.wideiv.2, 1024
    528   br i1 %exitcond.2, label %38, label %26
    529 
    530 ; <label>:38                                      ; preds = %26
    531   %indvars.iv.next8.2 = add i64 %indvars.iv7.2, 1
    532   %lftr.wideiv9.2 = trunc i64 %indvars.iv.next8.2 to i32
    533   %exitcond10.2 = icmp eq i32 %lftr.wideiv9.2, 32
    534   br i1 %exitcond10.2, label %.preheader3.3, label %.preheader.2
    535 
    536 .preheader3.3:                                    ; preds = %38
    537   %39 = getelementptr inbounds i32, i32* %out, i64 2
    538   store i32 %37, i32* %39, align 4
    539   br label %.preheader.3
    540 
    541 .preheader.3:                                     ; preds = %52, %.preheader3.3
    542   %indvars.iv7.3 = phi i64 [ 0, %.preheader3.3 ], [ %indvars.iv.next8.3, %52 ]
    543   %sum.05.3 = phi i32 [ 0, %.preheader3.3 ], [ %51, %52 ]
    544   br label %40
    545 
    546 ; <label>:40                                      ; preds = %40, %.preheader.3
    547   %indvars.iv.3 = phi i64 [ 0, %.preheader.3 ], [ %indvars.iv.next.3, %40 ]
    548   %sum.12.3 = phi i32 [ %sum.05.3, %.preheader.3 ], [ %51, %40 ]
    549   %41 = add nsw i64 %indvars.iv.3, 3
    550   %42 = getelementptr inbounds i32*, i32** %in, i64 %41
    551   %43 = load i32*, i32** %42, align 8
    552   %44 = getelementptr inbounds i32, i32* %43, i64 %indvars.iv7.3
    553   %45 = load i32, i32* %44, align 4
    554   %46 = getelementptr inbounds i32*, i32** %coeff, i64 %indvars.iv.3
    555   %47 = load i32*, i32** %46, align 8
    556   %48 = getelementptr inbounds i32, i32* %47, i64 %indvars.iv7.3
    557   %49 = load i32, i32* %48, align 4
    558   %50 = mul nsw i32 %49, %45
    559   %51 = add nsw i32 %50, %sum.12.3
    560   %indvars.iv.next.3 = add i64 %indvars.iv.3, 1
    561   %lftr.wideiv.3 = trunc i64 %indvars.iv.next.3 to i32
    562   %exitcond.3 = icmp eq i32 %lftr.wideiv.3, 1024
    563   br i1 %exitcond.3, label %52, label %40
    564 
    565 ; <label>:52                                      ; preds = %40
    566   %indvars.iv.next8.3 = add i64 %indvars.iv7.3, 1
    567   %lftr.wideiv9.3 = trunc i64 %indvars.iv.next8.3 to i32
    568   %exitcond10.3 = icmp eq i32 %lftr.wideiv9.3, 32
    569   br i1 %exitcond10.3, label %53, label %.preheader.3
    570 
    571 ; <label>:53                                      ; preds = %52
    572   %54 = getelementptr inbounds i32, i32* %out, i64 3
    573   store i32 %51, i32* %54, align 4
    574   ret void
    575 }
    576 
    577 ;CHECK-LABEL: @example21(
    578 ;CHECK: load <4 x i32>
    579 ;CHECK: shufflevector {{.*}} <i32 3, i32 2, i32 1, i32 0>
    580 ;CHECK: ret i32
    581 define i32 @example21(i32* nocapture %b, i32 %n) nounwind uwtable readonly ssp {
    582   %1 = icmp sgt i32 %n, 0
    583   br i1 %1, label %.lr.ph, label %._crit_edge
    584 
    585 .lr.ph:                                           ; preds = %0
    586   %2 = sext i32 %n to i64
    587   br label %3
    588 
    589 ; <label>:3                                       ; preds = %.lr.ph, %3
    590   %indvars.iv = phi i64 [ %2, %.lr.ph ], [ %indvars.iv.next, %3 ]
    591   %a.02 = phi i32 [ 0, %.lr.ph ], [ %6, %3 ]
    592   %indvars.iv.next = add i64 %indvars.iv, -1
    593   %4 = getelementptr inbounds i32, i32* %b, i64 %indvars.iv.next
    594   %5 = load i32, i32* %4, align 4
    595   %6 = add nsw i32 %5, %a.02
    596   %7 = trunc i64 %indvars.iv.next to i32
    597   %8 = icmp sgt i32 %7, 0
    598   br i1 %8, label %3, label %._crit_edge
    599 
    600 ._crit_edge:                                      ; preds = %3, %0
    601   %a.0.lcssa = phi i32 [ 0, %0 ], [ %6, %3 ]
    602   ret i32 %a.0.lcssa
    603 }
    604 
    605 ;CHECK-LABEL: @example23(
    606 ;CHECK: <4 x i32>
    607 ;CHECK: ret void
    608 define void @example23(i16* nocapture %src, i32* nocapture %dst) nounwind uwtable ssp {
    609   br label %1
    610 
    611 ; <label>:1                                       ; preds = %1, %0
    612   %.04 = phi i16* [ %src, %0 ], [ %2, %1 ]
    613   %.013 = phi i32* [ %dst, %0 ], [ %6, %1 ]
    614   %i.02 = phi i32 [ 0, %0 ], [ %7, %1 ]
    615   %2 = getelementptr inbounds i16, i16* %.04, i64 1
    616   %3 = load i16, i16* %.04, align 2
    617   %4 = zext i16 %3 to i32
    618   %5 = shl nuw nsw i32 %4, 7
    619   %6 = getelementptr inbounds i32, i32* %.013, i64 1
    620   store i32 %5, i32* %.013, align 4
    621   %7 = add nsw i32 %i.02, 1
    622   %exitcond = icmp eq i32 %7, 256
    623   br i1 %exitcond, label %8, label %1
    624 
    625 ; <label>:8                                       ; preds = %1
    626   ret void
    627 }
    628 
    629 ;CHECK-LABEL: @example24(
    630 ;CHECK: shufflevector <4 x i16>
    631 ;CHECK: ret void
    632 define void @example24(i16 signext %x, i16 signext %y) nounwind uwtable ssp {
    633   br label %1
    634 
    635 ; <label>:1                                       ; preds = %1, %0
    636   %indvars.iv = phi i64 [ 0, %0 ], [ %indvars.iv.next, %1 ]
    637   %2 = getelementptr inbounds [1024 x float], [1024 x float]* @fa, i64 0, i64 %indvars.iv
    638   %3 = load float, float* %2, align 4
    639   %4 = getelementptr inbounds [1024 x float], [1024 x float]* @fb, i64 0, i64 %indvars.iv
    640   %5 = load float, float* %4, align 4
    641   %6 = fcmp olt float %3, %5
    642   %x.y = select i1 %6, i16 %x, i16 %y
    643   %7 = sext i16 %x.y to i32
    644   %8 = getelementptr inbounds [1024 x i32], [1024 x i32]* @ic, i64 0, i64 %indvars.iv
    645   store i32 %7, i32* %8, align 4
    646   %indvars.iv.next = add i64 %indvars.iv, 1
    647   %lftr.wideiv = trunc i64 %indvars.iv.next to i32
    648   %exitcond = icmp eq i32 %lftr.wideiv, 1024
    649   br i1 %exitcond, label %9, label %1
    650 
    651 ; <label>:9                                       ; preds = %1
    652   ret void
    653 }
    654 
    655 ;CHECK-LABEL: @example25(
    656 ;CHECK: and <4 x i1>
    657 ;CHECK: zext <4 x i1>
    658 ;CHECK: ret void
    659 define void @example25() nounwind uwtable ssp {
    660   br label %1
    661 
    662 ; <label>:1                                       ; preds = %1, %0
    663   %indvars.iv = phi i64 [ 0, %0 ], [ %indvars.iv.next, %1 ]
    664   %2 = getelementptr inbounds [1024 x float], [1024 x float]* @da, i64 0, i64 %indvars.iv
    665   %3 = load float, float* %2, align 4
    666   %4 = getelementptr inbounds [1024 x float], [1024 x float]* @db, i64 0, i64 %indvars.iv
    667   %5 = load float, float* %4, align 4
    668   %6 = fcmp olt float %3, %5
    669   %7 = getelementptr inbounds [1024 x float], [1024 x float]* @dc, i64 0, i64 %indvars.iv
    670   %8 = load float, float* %7, align 4
    671   %9 = getelementptr inbounds [1024 x float], [1024 x float]* @dd, i64 0, i64 %indvars.iv
    672   %10 = load float, float* %9, align 4
    673   %11 = fcmp olt float %8, %10
    674   %12 = and i1 %6, %11
    675   %13 = zext i1 %12 to i32
    676   %14 = getelementptr inbounds [1024 x i32], [1024 x i32]* @dj, i64 0, i64 %indvars.iv
    677   store i32 %13, i32* %14, align 4
    678   %indvars.iv.next = add i64 %indvars.iv, 1
    679   %lftr.wideiv = trunc i64 %indvars.iv.next to i32
    680   %exitcond = icmp eq i32 %lftr.wideiv, 1024
    681   br i1 %exitcond, label %15, label %1
    682 
    683 ; <label>:15                                      ; preds = %1
    684   ret void
    685 }
    686 
    687