1 /*===---- avx512vlbwintrin.h - AVX512VL and AVX512BW intrinsics ------------=== 2 * 3 * Permission is hereby granted, free of charge, to any person obtaining a copy 4 * of this software and associated documentation files (the "Software"), to deal 5 * in the Software without restriction, including without limitation the rights 6 * to use, copy, modify, merge, publish, distribute, sublicense, and/or sell 7 * copies of the Software, and to permit persons to whom the Software is 8 * furnished to do so, subject to the following conditions: 9 * 10 * The above copyright notice and this permission notice shall be included in 11 * all copies or substantial portions of the Software. 12 * 13 * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR 14 * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY, 15 * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE 16 * AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER 17 * LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, 18 * OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN 19 * THE SOFTWARE. 20 * 21 *===-----------------------------------------------------------------------=== 22 */ 23 24 #ifndef __IMMINTRIN_H 25 #error "Never use <avx512vlbwintrin.h> directly; include <immintrin.h> instead." 26 #endif 27 28 #ifndef __AVX512VLBWINTRIN_H 29 #define __AVX512VLBWINTRIN_H 30 31 /* Define the default attributes for the functions in this file. */ 32 #define __DEFAULT_FN_ATTRS __attribute__((__always_inline__, __nodebug__, __target__("avx512vl,avx512bw"))) 33 34 static __inline __m128i __DEFAULT_FN_ATTRS 35 _mm_setzero_hi(void){ 36 return (__m128i)(__v8hi){ 0, 0, 0, 0, 0, 0, 0, 0 }; 37 } 38 39 /* Integer compare */ 40 41 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 42 _mm_cmpeq_epi8_mask(__m128i __a, __m128i __b) { 43 return (__mmask16)__builtin_ia32_pcmpeqb128_mask((__v16qi)__a, (__v16qi)__b, 44 (__mmask16)-1); 45 } 46 47 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 48 _mm_mask_cmpeq_epi8_mask(__mmask16 __u, __m128i __a, __m128i __b) { 49 return (__mmask16)__builtin_ia32_pcmpeqb128_mask((__v16qi)__a, (__v16qi)__b, 50 __u); 51 } 52 53 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 54 _mm_cmpeq_epu8_mask(__m128i __a, __m128i __b) { 55 return (__mmask16)__builtin_ia32_ucmpb128_mask((__v16qi)__a, (__v16qi)__b, 0, 56 (__mmask16)-1); 57 } 58 59 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 60 _mm_mask_cmpeq_epu8_mask(__mmask16 __u, __m128i __a, __m128i __b) { 61 return (__mmask16)__builtin_ia32_ucmpb128_mask((__v16qi)__a, (__v16qi)__b, 0, 62 __u); 63 } 64 65 static __inline__ __mmask32 __DEFAULT_FN_ATTRS 66 _mm256_cmpeq_epi8_mask(__m256i __a, __m256i __b) { 67 return (__mmask32)__builtin_ia32_pcmpeqb256_mask((__v32qi)__a, (__v32qi)__b, 68 (__mmask32)-1); 69 } 70 71 static __inline__ __mmask32 __DEFAULT_FN_ATTRS 72 _mm256_mask_cmpeq_epi8_mask(__mmask32 __u, __m256i __a, __m256i __b) { 73 return (__mmask32)__builtin_ia32_pcmpeqb256_mask((__v32qi)__a, (__v32qi)__b, 74 __u); 75 } 76 77 static __inline__ __mmask32 __DEFAULT_FN_ATTRS 78 _mm256_cmpeq_epu8_mask(__m256i __a, __m256i __b) { 79 return (__mmask32)__builtin_ia32_ucmpb256_mask((__v32qi)__a, (__v32qi)__b, 0, 80 (__mmask32)-1); 81 } 82 83 static __inline__ __mmask32 __DEFAULT_FN_ATTRS 84 _mm256_mask_cmpeq_epu8_mask(__mmask32 __u, __m256i __a, __m256i __b) { 85 return (__mmask32)__builtin_ia32_ucmpb256_mask((__v32qi)__a, (__v32qi)__b, 0, 86 __u); 87 } 88 89 static __inline__ __mmask8 __DEFAULT_FN_ATTRS 90 _mm_cmpeq_epi16_mask(__m128i __a, __m128i __b) { 91 return (__mmask8)__builtin_ia32_pcmpeqw128_mask((__v8hi)__a, (__v8hi)__b, 92 (__mmask8)-1); 93 } 94 95 static __inline__ __mmask8 __DEFAULT_FN_ATTRS 96 _mm_mask_cmpeq_epi16_mask(__mmask8 __u, __m128i __a, __m128i __b) { 97 return (__mmask8)__builtin_ia32_pcmpeqw128_mask((__v8hi)__a, (__v8hi)__b, 98 __u); 99 } 100 101 static __inline__ __mmask8 __DEFAULT_FN_ATTRS 102 _mm_cmpeq_epu16_mask(__m128i __a, __m128i __b) { 103 return (__mmask8)__builtin_ia32_ucmpw128_mask((__v8hi)__a, (__v8hi)__b, 0, 104 (__mmask8)-1); 105 } 106 107 static __inline__ __mmask8 __DEFAULT_FN_ATTRS 108 _mm_mask_cmpeq_epu16_mask(__mmask8 __u, __m128i __a, __m128i __b) { 109 return (__mmask8)__builtin_ia32_ucmpw128_mask((__v8hi)__a, (__v8hi)__b, 0, 110 __u); 111 } 112 113 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 114 _mm256_cmpeq_epi16_mask(__m256i __a, __m256i __b) { 115 return (__mmask16)__builtin_ia32_pcmpeqw256_mask((__v16hi)__a, (__v16hi)__b, 116 (__mmask16)-1); 117 } 118 119 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 120 _mm256_mask_cmpeq_epi16_mask(__mmask16 __u, __m256i __a, __m256i __b) { 121 return (__mmask16)__builtin_ia32_pcmpeqw256_mask((__v16hi)__a, (__v16hi)__b, 122 __u); 123 } 124 125 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 126 _mm256_cmpeq_epu16_mask(__m256i __a, __m256i __b) { 127 return (__mmask16)__builtin_ia32_ucmpw256_mask((__v16hi)__a, (__v16hi)__b, 0, 128 (__mmask16)-1); 129 } 130 131 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 132 _mm256_mask_cmpeq_epu16_mask(__mmask16 __u, __m256i __a, __m256i __b) { 133 return (__mmask16)__builtin_ia32_ucmpw256_mask((__v16hi)__a, (__v16hi)__b, 0, 134 __u); 135 } 136 137 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 138 _mm_cmpge_epi8_mask(__m128i __a, __m128i __b) { 139 return (__mmask16)__builtin_ia32_cmpb128_mask((__v16qi)__a, (__v16qi)__b, 5, 140 (__mmask16)-1); 141 } 142 143 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 144 _mm_mask_cmpge_epi8_mask(__mmask16 __u, __m128i __a, __m128i __b) { 145 return (__mmask16)__builtin_ia32_cmpb128_mask((__v16qi)__a, (__v16qi)__b, 5, 146 __u); 147 } 148 149 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 150 _mm_cmpge_epu8_mask(__m128i __a, __m128i __b) { 151 return (__mmask16)__builtin_ia32_ucmpb128_mask((__v16qi)__a, (__v16qi)__b, 5, 152 (__mmask16)-1); 153 } 154 155 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 156 _mm_mask_cmpge_epu8_mask(__mmask16 __u, __m128i __a, __m128i __b) { 157 return (__mmask16)__builtin_ia32_ucmpb128_mask((__v16qi)__a, (__v16qi)__b, 5, 158 __u); 159 } 160 161 static __inline__ __mmask32 __DEFAULT_FN_ATTRS 162 _mm256_cmpge_epi8_mask(__m256i __a, __m256i __b) { 163 return (__mmask32)__builtin_ia32_cmpb256_mask((__v32qi)__a, (__v32qi)__b, 5, 164 (__mmask32)-1); 165 } 166 167 static __inline__ __mmask32 __DEFAULT_FN_ATTRS 168 _mm256_mask_cmpge_epi8_mask(__mmask32 __u, __m256i __a, __m256i __b) { 169 return (__mmask32)__builtin_ia32_cmpb256_mask((__v32qi)__a, (__v32qi)__b, 5, 170 __u); 171 } 172 173 static __inline__ __mmask32 __DEFAULT_FN_ATTRS 174 _mm256_cmpge_epu8_mask(__m256i __a, __m256i __b) { 175 return (__mmask32)__builtin_ia32_ucmpb256_mask((__v32qi)__a, (__v32qi)__b, 5, 176 (__mmask32)-1); 177 } 178 179 static __inline__ __mmask32 __DEFAULT_FN_ATTRS 180 _mm256_mask_cmpge_epu8_mask(__mmask32 __u, __m256i __a, __m256i __b) { 181 return (__mmask32)__builtin_ia32_ucmpb256_mask((__v32qi)__a, (__v32qi)__b, 5, 182 __u); 183 } 184 185 static __inline__ __mmask8 __DEFAULT_FN_ATTRS 186 _mm_cmpge_epi16_mask(__m128i __a, __m128i __b) { 187 return (__mmask8)__builtin_ia32_cmpw128_mask((__v8hi)__a, (__v8hi)__b, 5, 188 (__mmask8)-1); 189 } 190 191 static __inline__ __mmask8 __DEFAULT_FN_ATTRS 192 _mm_mask_cmpge_epi16_mask(__mmask8 __u, __m128i __a, __m128i __b) { 193 return (__mmask8)__builtin_ia32_cmpw128_mask((__v8hi)__a, (__v8hi)__b, 5, 194 __u); 195 } 196 197 static __inline__ __mmask8 __DEFAULT_FN_ATTRS 198 _mm_cmpge_epu16_mask(__m128i __a, __m128i __b) { 199 return (__mmask8)__builtin_ia32_ucmpw128_mask((__v8hi)__a, (__v8hi)__b, 5, 200 (__mmask8)-1); 201 } 202 203 static __inline__ __mmask8 __DEFAULT_FN_ATTRS 204 _mm_mask_cmpge_epu16_mask(__mmask8 __u, __m128i __a, __m128i __b) { 205 return (__mmask8)__builtin_ia32_ucmpw128_mask((__v8hi)__a, (__v8hi)__b, 5, 206 __u); 207 } 208 209 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 210 _mm256_cmpge_epi16_mask(__m256i __a, __m256i __b) { 211 return (__mmask16)__builtin_ia32_cmpw256_mask((__v16hi)__a, (__v16hi)__b, 5, 212 (__mmask16)-1); 213 } 214 215 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 216 _mm256_mask_cmpge_epi16_mask(__mmask16 __u, __m256i __a, __m256i __b) { 217 return (__mmask16)__builtin_ia32_cmpw256_mask((__v16hi)__a, (__v16hi)__b, 5, 218 __u); 219 } 220 221 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 222 _mm256_cmpge_epu16_mask(__m256i __a, __m256i __b) { 223 return (__mmask16)__builtin_ia32_ucmpw256_mask((__v16hi)__a, (__v16hi)__b, 5, 224 (__mmask16)-1); 225 } 226 227 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 228 _mm256_mask_cmpge_epu16_mask(__mmask16 __u, __m256i __a, __m256i __b) { 229 return (__mmask16)__builtin_ia32_ucmpw256_mask((__v16hi)__a, (__v16hi)__b, 5, 230 __u); 231 } 232 233 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 234 _mm_cmpgt_epi8_mask(__m128i __a, __m128i __b) { 235 return (__mmask16)__builtin_ia32_pcmpgtb128_mask((__v16qi)__a, (__v16qi)__b, 236 (__mmask16)-1); 237 } 238 239 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 240 _mm_mask_cmpgt_epi8_mask(__mmask16 __u, __m128i __a, __m128i __b) { 241 return (__mmask16)__builtin_ia32_pcmpgtb128_mask((__v16qi)__a, (__v16qi)__b, 242 __u); 243 } 244 245 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 246 _mm_cmpgt_epu8_mask(__m128i __a, __m128i __b) { 247 return (__mmask16)__builtin_ia32_ucmpb128_mask((__v16qi)__a, (__v16qi)__b, 6, 248 (__mmask16)-1); 249 } 250 251 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 252 _mm_mask_cmpgt_epu8_mask(__mmask16 __u, __m128i __a, __m128i __b) { 253 return (__mmask16)__builtin_ia32_ucmpb128_mask((__v16qi)__a, (__v16qi)__b, 6, 254 __u); 255 } 256 257 static __inline__ __mmask32 __DEFAULT_FN_ATTRS 258 _mm256_cmpgt_epi8_mask(__m256i __a, __m256i __b) { 259 return (__mmask32)__builtin_ia32_pcmpgtb256_mask((__v32qi)__a, (__v32qi)__b, 260 (__mmask32)-1); 261 } 262 263 static __inline__ __mmask32 __DEFAULT_FN_ATTRS 264 _mm256_mask_cmpgt_epi8_mask(__mmask32 __u, __m256i __a, __m256i __b) { 265 return (__mmask32)__builtin_ia32_pcmpgtb256_mask((__v32qi)__a, (__v32qi)__b, 266 __u); 267 } 268 269 static __inline__ __mmask32 __DEFAULT_FN_ATTRS 270 _mm256_cmpgt_epu8_mask(__m256i __a, __m256i __b) { 271 return (__mmask32)__builtin_ia32_ucmpb256_mask((__v32qi)__a, (__v32qi)__b, 6, 272 (__mmask32)-1); 273 } 274 275 static __inline__ __mmask32 __DEFAULT_FN_ATTRS 276 _mm256_mask_cmpgt_epu8_mask(__mmask32 __u, __m256i __a, __m256i __b) { 277 return (__mmask32)__builtin_ia32_ucmpb256_mask((__v32qi)__a, (__v32qi)__b, 6, 278 __u); 279 } 280 281 static __inline__ __mmask8 __DEFAULT_FN_ATTRS 282 _mm_cmpgt_epi16_mask(__m128i __a, __m128i __b) { 283 return (__mmask8)__builtin_ia32_pcmpgtw128_mask((__v8hi)__a, (__v8hi)__b, 284 (__mmask8)-1); 285 } 286 287 static __inline__ __mmask8 __DEFAULT_FN_ATTRS 288 _mm_mask_cmpgt_epi16_mask(__mmask8 __u, __m128i __a, __m128i __b) { 289 return (__mmask8)__builtin_ia32_pcmpgtw128_mask((__v8hi)__a, (__v8hi)__b, 290 __u); 291 } 292 293 static __inline__ __mmask8 __DEFAULT_FN_ATTRS 294 _mm_cmpgt_epu16_mask(__m128i __a, __m128i __b) { 295 return (__mmask8)__builtin_ia32_ucmpw128_mask((__v8hi)__a, (__v8hi)__b, 6, 296 (__mmask8)-1); 297 } 298 299 static __inline__ __mmask8 __DEFAULT_FN_ATTRS 300 _mm_mask_cmpgt_epu16_mask(__mmask8 __u, __m128i __a, __m128i __b) { 301 return (__mmask8)__builtin_ia32_ucmpw128_mask((__v8hi)__a, (__v8hi)__b, 6, 302 __u); 303 } 304 305 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 306 _mm256_cmpgt_epi16_mask(__m256i __a, __m256i __b) { 307 return (__mmask16)__builtin_ia32_pcmpgtw256_mask((__v16hi)__a, (__v16hi)__b, 308 (__mmask16)-1); 309 } 310 311 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 312 _mm256_mask_cmpgt_epi16_mask(__mmask16 __u, __m256i __a, __m256i __b) { 313 return (__mmask16)__builtin_ia32_pcmpgtw256_mask((__v16hi)__a, (__v16hi)__b, 314 __u); 315 } 316 317 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 318 _mm256_cmpgt_epu16_mask(__m256i __a, __m256i __b) { 319 return (__mmask16)__builtin_ia32_ucmpw256_mask((__v16hi)__a, (__v16hi)__b, 6, 320 (__mmask16)-1); 321 } 322 323 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 324 _mm256_mask_cmpgt_epu16_mask(__mmask16 __u, __m256i __a, __m256i __b) { 325 return (__mmask16)__builtin_ia32_ucmpw256_mask((__v16hi)__a, (__v16hi)__b, 6, 326 __u); 327 } 328 329 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 330 _mm_cmple_epi8_mask(__m128i __a, __m128i __b) { 331 return (__mmask16)__builtin_ia32_cmpb128_mask((__v16qi)__a, (__v16qi)__b, 2, 332 (__mmask16)-1); 333 } 334 335 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 336 _mm_mask_cmple_epi8_mask(__mmask16 __u, __m128i __a, __m128i __b) { 337 return (__mmask16)__builtin_ia32_cmpb128_mask((__v16qi)__a, (__v16qi)__b, 2, 338 __u); 339 } 340 341 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 342 _mm_cmple_epu8_mask(__m128i __a, __m128i __b) { 343 return (__mmask16)__builtin_ia32_ucmpb128_mask((__v16qi)__a, (__v16qi)__b, 2, 344 (__mmask16)-1); 345 } 346 347 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 348 _mm_mask_cmple_epu8_mask(__mmask16 __u, __m128i __a, __m128i __b) { 349 return (__mmask16)__builtin_ia32_ucmpb128_mask((__v16qi)__a, (__v16qi)__b, 2, 350 __u); 351 } 352 353 static __inline__ __mmask32 __DEFAULT_FN_ATTRS 354 _mm256_cmple_epi8_mask(__m256i __a, __m256i __b) { 355 return (__mmask32)__builtin_ia32_cmpb256_mask((__v32qi)__a, (__v32qi)__b, 2, 356 (__mmask32)-1); 357 } 358 359 static __inline__ __mmask32 __DEFAULT_FN_ATTRS 360 _mm256_mask_cmple_epi8_mask(__mmask32 __u, __m256i __a, __m256i __b) { 361 return (__mmask32)__builtin_ia32_cmpb256_mask((__v32qi)__a, (__v32qi)__b, 2, 362 __u); 363 } 364 365 static __inline__ __mmask32 __DEFAULT_FN_ATTRS 366 _mm256_cmple_epu8_mask(__m256i __a, __m256i __b) { 367 return (__mmask32)__builtin_ia32_ucmpb256_mask((__v32qi)__a, (__v32qi)__b, 2, 368 (__mmask32)-1); 369 } 370 371 static __inline__ __mmask32 __DEFAULT_FN_ATTRS 372 _mm256_mask_cmple_epu8_mask(__mmask32 __u, __m256i __a, __m256i __b) { 373 return (__mmask32)__builtin_ia32_ucmpb256_mask((__v32qi)__a, (__v32qi)__b, 2, 374 __u); 375 } 376 377 static __inline__ __mmask8 __DEFAULT_FN_ATTRS 378 _mm_cmple_epi16_mask(__m128i __a, __m128i __b) { 379 return (__mmask8)__builtin_ia32_cmpw128_mask((__v8hi)__a, (__v8hi)__b, 2, 380 (__mmask8)-1); 381 } 382 383 static __inline__ __mmask8 __DEFAULT_FN_ATTRS 384 _mm_mask_cmple_epi16_mask(__mmask8 __u, __m128i __a, __m128i __b) { 385 return (__mmask8)__builtin_ia32_cmpw128_mask((__v8hi)__a, (__v8hi)__b, 2, 386 __u); 387 } 388 389 static __inline__ __mmask8 __DEFAULT_FN_ATTRS 390 _mm_cmple_epu16_mask(__m128i __a, __m128i __b) { 391 return (__mmask8)__builtin_ia32_ucmpw128_mask((__v8hi)__a, (__v8hi)__b, 2, 392 (__mmask8)-1); 393 } 394 395 static __inline__ __mmask8 __DEFAULT_FN_ATTRS 396 _mm_mask_cmple_epu16_mask(__mmask8 __u, __m128i __a, __m128i __b) { 397 return (__mmask8)__builtin_ia32_ucmpw128_mask((__v8hi)__a, (__v8hi)__b, 2, 398 __u); 399 } 400 401 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 402 _mm256_cmple_epi16_mask(__m256i __a, __m256i __b) { 403 return (__mmask16)__builtin_ia32_cmpw256_mask((__v16hi)__a, (__v16hi)__b, 2, 404 (__mmask16)-1); 405 } 406 407 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 408 _mm256_mask_cmple_epi16_mask(__mmask16 __u, __m256i __a, __m256i __b) { 409 return (__mmask16)__builtin_ia32_cmpw256_mask((__v16hi)__a, (__v16hi)__b, 2, 410 __u); 411 } 412 413 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 414 _mm256_cmple_epu16_mask(__m256i __a, __m256i __b) { 415 return (__mmask16)__builtin_ia32_ucmpw256_mask((__v16hi)__a, (__v16hi)__b, 2, 416 (__mmask16)-1); 417 } 418 419 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 420 _mm256_mask_cmple_epu16_mask(__mmask16 __u, __m256i __a, __m256i __b) { 421 return (__mmask16)__builtin_ia32_ucmpw256_mask((__v16hi)__a, (__v16hi)__b, 2, 422 __u); 423 } 424 425 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 426 _mm_cmplt_epi8_mask(__m128i __a, __m128i __b) { 427 return (__mmask16)__builtin_ia32_cmpb128_mask((__v16qi)__a, (__v16qi)__b, 1, 428 (__mmask16)-1); 429 } 430 431 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 432 _mm_mask_cmplt_epi8_mask(__mmask16 __u, __m128i __a, __m128i __b) { 433 return (__mmask16)__builtin_ia32_cmpb128_mask((__v16qi)__a, (__v16qi)__b, 1, 434 __u); 435 } 436 437 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 438 _mm_cmplt_epu8_mask(__m128i __a, __m128i __b) { 439 return (__mmask16)__builtin_ia32_ucmpb128_mask((__v16qi)__a, (__v16qi)__b, 1, 440 (__mmask16)-1); 441 } 442 443 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 444 _mm_mask_cmplt_epu8_mask(__mmask16 __u, __m128i __a, __m128i __b) { 445 return (__mmask16)__builtin_ia32_ucmpb128_mask((__v16qi)__a, (__v16qi)__b, 1, 446 __u); 447 } 448 449 static __inline__ __mmask32 __DEFAULT_FN_ATTRS 450 _mm256_cmplt_epi8_mask(__m256i __a, __m256i __b) { 451 return (__mmask32)__builtin_ia32_cmpb256_mask((__v32qi)__a, (__v32qi)__b, 1, 452 (__mmask32)-1); 453 } 454 455 static __inline__ __mmask32 __DEFAULT_FN_ATTRS 456 _mm256_mask_cmplt_epi8_mask(__mmask32 __u, __m256i __a, __m256i __b) { 457 return (__mmask32)__builtin_ia32_cmpb256_mask((__v32qi)__a, (__v32qi)__b, 1, 458 __u); 459 } 460 461 static __inline__ __mmask32 __DEFAULT_FN_ATTRS 462 _mm256_cmplt_epu8_mask(__m256i __a, __m256i __b) { 463 return (__mmask32)__builtin_ia32_ucmpb256_mask((__v32qi)__a, (__v32qi)__b, 1, 464 (__mmask32)-1); 465 } 466 467 static __inline__ __mmask32 __DEFAULT_FN_ATTRS 468 _mm256_mask_cmplt_epu8_mask(__mmask32 __u, __m256i __a, __m256i __b) { 469 return (__mmask32)__builtin_ia32_ucmpb256_mask((__v32qi)__a, (__v32qi)__b, 1, 470 __u); 471 } 472 473 static __inline__ __mmask8 __DEFAULT_FN_ATTRS 474 _mm_cmplt_epi16_mask(__m128i __a, __m128i __b) { 475 return (__mmask8)__builtin_ia32_cmpw128_mask((__v8hi)__a, (__v8hi)__b, 1, 476 (__mmask8)-1); 477 } 478 479 static __inline__ __mmask8 __DEFAULT_FN_ATTRS 480 _mm_mask_cmplt_epi16_mask(__mmask8 __u, __m128i __a, __m128i __b) { 481 return (__mmask8)__builtin_ia32_cmpw128_mask((__v8hi)__a, (__v8hi)__b, 1, 482 __u); 483 } 484 485 static __inline__ __mmask8 __DEFAULT_FN_ATTRS 486 _mm_cmplt_epu16_mask(__m128i __a, __m128i __b) { 487 return (__mmask8)__builtin_ia32_ucmpw128_mask((__v8hi)__a, (__v8hi)__b, 1, 488 (__mmask8)-1); 489 } 490 491 static __inline__ __mmask8 __DEFAULT_FN_ATTRS 492 _mm_mask_cmplt_epu16_mask(__mmask8 __u, __m128i __a, __m128i __b) { 493 return (__mmask8)__builtin_ia32_ucmpw128_mask((__v8hi)__a, (__v8hi)__b, 1, 494 __u); 495 } 496 497 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 498 _mm256_cmplt_epi16_mask(__m256i __a, __m256i __b) { 499 return (__mmask16)__builtin_ia32_cmpw256_mask((__v16hi)__a, (__v16hi)__b, 1, 500 (__mmask16)-1); 501 } 502 503 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 504 _mm256_mask_cmplt_epi16_mask(__mmask16 __u, __m256i __a, __m256i __b) { 505 return (__mmask16)__builtin_ia32_cmpw256_mask((__v16hi)__a, (__v16hi)__b, 1, 506 __u); 507 } 508 509 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 510 _mm256_cmplt_epu16_mask(__m256i __a, __m256i __b) { 511 return (__mmask16)__builtin_ia32_ucmpw256_mask((__v16hi)__a, (__v16hi)__b, 1, 512 (__mmask16)-1); 513 } 514 515 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 516 _mm256_mask_cmplt_epu16_mask(__mmask16 __u, __m256i __a, __m256i __b) { 517 return (__mmask16)__builtin_ia32_ucmpw256_mask((__v16hi)__a, (__v16hi)__b, 1, 518 __u); 519 } 520 521 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 522 _mm_cmpneq_epi8_mask(__m128i __a, __m128i __b) { 523 return (__mmask16)__builtin_ia32_cmpb128_mask((__v16qi)__a, (__v16qi)__b, 4, 524 (__mmask16)-1); 525 } 526 527 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 528 _mm_mask_cmpneq_epi8_mask(__mmask16 __u, __m128i __a, __m128i __b) { 529 return (__mmask16)__builtin_ia32_cmpb128_mask((__v16qi)__a, (__v16qi)__b, 4, 530 __u); 531 } 532 533 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 534 _mm_cmpneq_epu8_mask(__m128i __a, __m128i __b) { 535 return (__mmask16)__builtin_ia32_ucmpb128_mask((__v16qi)__a, (__v16qi)__b, 4, 536 (__mmask16)-1); 537 } 538 539 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 540 _mm_mask_cmpneq_epu8_mask(__mmask16 __u, __m128i __a, __m128i __b) { 541 return (__mmask16)__builtin_ia32_ucmpb128_mask((__v16qi)__a, (__v16qi)__b, 4, 542 __u); 543 } 544 545 static __inline__ __mmask32 __DEFAULT_FN_ATTRS 546 _mm256_cmpneq_epi8_mask(__m256i __a, __m256i __b) { 547 return (__mmask32)__builtin_ia32_cmpb256_mask((__v32qi)__a, (__v32qi)__b, 4, 548 (__mmask32)-1); 549 } 550 551 static __inline__ __mmask32 __DEFAULT_FN_ATTRS 552 _mm256_mask_cmpneq_epi8_mask(__mmask32 __u, __m256i __a, __m256i __b) { 553 return (__mmask32)__builtin_ia32_cmpb256_mask((__v32qi)__a, (__v32qi)__b, 4, 554 __u); 555 } 556 557 static __inline__ __mmask32 __DEFAULT_FN_ATTRS 558 _mm256_cmpneq_epu8_mask(__m256i __a, __m256i __b) { 559 return (__mmask32)__builtin_ia32_ucmpb256_mask((__v32qi)__a, (__v32qi)__b, 4, 560 (__mmask32)-1); 561 } 562 563 static __inline__ __mmask32 __DEFAULT_FN_ATTRS 564 _mm256_mask_cmpneq_epu8_mask(__mmask32 __u, __m256i __a, __m256i __b) { 565 return (__mmask32)__builtin_ia32_ucmpb256_mask((__v32qi)__a, (__v32qi)__b, 4, 566 __u); 567 } 568 569 static __inline__ __mmask8 __DEFAULT_FN_ATTRS 570 _mm_cmpneq_epi16_mask(__m128i __a, __m128i __b) { 571 return (__mmask8)__builtin_ia32_cmpw128_mask((__v8hi)__a, (__v8hi)__b, 4, 572 (__mmask8)-1); 573 } 574 575 static __inline__ __mmask8 __DEFAULT_FN_ATTRS 576 _mm_mask_cmpneq_epi16_mask(__mmask8 __u, __m128i __a, __m128i __b) { 577 return (__mmask8)__builtin_ia32_cmpw128_mask((__v8hi)__a, (__v8hi)__b, 4, 578 __u); 579 } 580 581 static __inline__ __mmask8 __DEFAULT_FN_ATTRS 582 _mm_cmpneq_epu16_mask(__m128i __a, __m128i __b) { 583 return (__mmask8)__builtin_ia32_ucmpw128_mask((__v8hi)__a, (__v8hi)__b, 4, 584 (__mmask8)-1); 585 } 586 587 static __inline__ __mmask8 __DEFAULT_FN_ATTRS 588 _mm_mask_cmpneq_epu16_mask(__mmask8 __u, __m128i __a, __m128i __b) { 589 return (__mmask8)__builtin_ia32_ucmpw128_mask((__v8hi)__a, (__v8hi)__b, 4, 590 __u); 591 } 592 593 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 594 _mm256_cmpneq_epi16_mask(__m256i __a, __m256i __b) { 595 return (__mmask16)__builtin_ia32_cmpw256_mask((__v16hi)__a, (__v16hi)__b, 4, 596 (__mmask16)-1); 597 } 598 599 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 600 _mm256_mask_cmpneq_epi16_mask(__mmask16 __u, __m256i __a, __m256i __b) { 601 return (__mmask16)__builtin_ia32_cmpw256_mask((__v16hi)__a, (__v16hi)__b, 4, 602 __u); 603 } 604 605 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 606 _mm256_cmpneq_epu16_mask(__m256i __a, __m256i __b) { 607 return (__mmask16)__builtin_ia32_ucmpw256_mask((__v16hi)__a, (__v16hi)__b, 4, 608 (__mmask16)-1); 609 } 610 611 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 612 _mm256_mask_cmpneq_epu16_mask(__mmask16 __u, __m256i __a, __m256i __b) { 613 return (__mmask16)__builtin_ia32_ucmpw256_mask((__v16hi)__a, (__v16hi)__b, 4, 614 __u); 615 } 616 617 static __inline__ __m256i __DEFAULT_FN_ATTRS 618 _mm256_mask_add_epi8 (__m256i __W, __mmask32 __U, __m256i __A, __m256i __B){ 619 return (__m256i) __builtin_ia32_paddb256_mask ((__v32qi) __A, 620 (__v32qi) __B, 621 (__v32qi) __W, 622 (__mmask32) __U); 623 } 624 625 static __inline__ __m256i __DEFAULT_FN_ATTRS 626 _mm256_maskz_add_epi8 (__mmask32 __U, __m256i __A, __m256i __B) { 627 return (__m256i) __builtin_ia32_paddb256_mask ((__v32qi) __A, 628 (__v32qi) __B, 629 (__v32qi) 630 _mm256_setzero_si256 (), 631 (__mmask32) __U); 632 } 633 634 static __inline__ __m256i __DEFAULT_FN_ATTRS 635 _mm256_mask_add_epi16 (__m256i __W, __mmask16 __U, __m256i __A, __m256i __B) { 636 return (__m256i) __builtin_ia32_paddw256_mask ((__v16hi) __A, 637 (__v16hi) __B, 638 (__v16hi) __W, 639 (__mmask16) __U); 640 } 641 642 static __inline__ __m256i __DEFAULT_FN_ATTRS 643 _mm256_maskz_add_epi16 (__mmask16 __U, __m256i __A, __m256i __B) { 644 return (__m256i) __builtin_ia32_paddw256_mask ((__v16hi) __A, 645 (__v16hi) __B, 646 (__v16hi) 647 _mm256_setzero_si256 (), 648 (__mmask16) __U); 649 } 650 651 static __inline__ __m256i __DEFAULT_FN_ATTRS 652 _mm256_mask_sub_epi8 (__m256i __W, __mmask32 __U, __m256i __A, __m256i __B) { 653 return (__m256i) __builtin_ia32_psubb256_mask ((__v32qi) __A, 654 (__v32qi) __B, 655 (__v32qi) __W, 656 (__mmask32) __U); 657 } 658 659 static __inline__ __m256i __DEFAULT_FN_ATTRS 660 _mm256_maskz_sub_epi8 (__mmask32 __U, __m256i __A, __m256i __B) { 661 return (__m256i) __builtin_ia32_psubb256_mask ((__v32qi) __A, 662 (__v32qi) __B, 663 (__v32qi) 664 _mm256_setzero_si256 (), 665 (__mmask32) __U); 666 } 667 668 static __inline__ __m256i __DEFAULT_FN_ATTRS 669 _mm256_mask_sub_epi16 (__m256i __W, __mmask16 __U, __m256i __A, __m256i __B) { 670 return (__m256i) __builtin_ia32_psubw256_mask ((__v16hi) __A, 671 (__v16hi) __B, 672 (__v16hi) __W, 673 (__mmask16) __U); 674 } 675 676 static __inline__ __m256i __DEFAULT_FN_ATTRS 677 _mm256_maskz_sub_epi16 (__mmask16 __U, __m256i __A, __m256i __B) { 678 return (__m256i) __builtin_ia32_psubw256_mask ((__v16hi) __A, 679 (__v16hi) __B, 680 (__v16hi) 681 _mm256_setzero_si256 (), 682 (__mmask16) __U); 683 } 684 static __inline__ __m128i __DEFAULT_FN_ATTRS 685 _mm_mask_add_epi8 (__m128i __W, __mmask16 __U, __m128i __A, __m128i __B) { 686 return (__m128i) __builtin_ia32_paddb128_mask ((__v16qi) __A, 687 (__v16qi) __B, 688 (__v16qi) __W, 689 (__mmask16) __U); 690 } 691 692 static __inline__ __m128i __DEFAULT_FN_ATTRS 693 _mm_maskz_add_epi8 (__mmask16 __U, __m128i __A, __m128i __B) { 694 return (__m128i) __builtin_ia32_paddb128_mask ((__v16qi) __A, 695 (__v16qi) __B, 696 (__v16qi) 697 _mm_setzero_si128 (), 698 (__mmask16) __U); 699 } 700 701 static __inline__ __m128i __DEFAULT_FN_ATTRS 702 _mm_mask_add_epi16 (__m128i __W, __mmask8 __U, __m128i __A, __m128i __B) { 703 return (__m128i) __builtin_ia32_paddw128_mask ((__v8hi) __A, 704 (__v8hi) __B, 705 (__v8hi) __W, 706 (__mmask8) __U); 707 } 708 709 static __inline__ __m128i __DEFAULT_FN_ATTRS 710 _mm_maskz_add_epi16 (__mmask8 __U, __m128i __A, __m128i __B) { 711 return (__m128i) __builtin_ia32_paddw128_mask ((__v8hi) __A, 712 (__v8hi) __B, 713 (__v8hi) 714 _mm_setzero_si128 (), 715 (__mmask8) __U); 716 } 717 718 static __inline__ __m128i __DEFAULT_FN_ATTRS 719 _mm_mask_sub_epi8 (__m128i __W, __mmask16 __U, __m128i __A, __m128i __B) { 720 return (__m128i) __builtin_ia32_psubb128_mask ((__v16qi) __A, 721 (__v16qi) __B, 722 (__v16qi) __W, 723 (__mmask16) __U); 724 } 725 726 static __inline__ __m128i __DEFAULT_FN_ATTRS 727 _mm_maskz_sub_epi8 (__mmask16 __U, __m128i __A, __m128i __B) { 728 return (__m128i) __builtin_ia32_psubb128_mask ((__v16qi) __A, 729 (__v16qi) __B, 730 (__v16qi) 731 _mm_setzero_si128 (), 732 (__mmask16) __U); 733 } 734 735 static __inline__ __m128i __DEFAULT_FN_ATTRS 736 _mm_mask_sub_epi16 (__m128i __W, __mmask8 __U, __m128i __A, __m128i __B) { 737 return (__m128i) __builtin_ia32_psubw128_mask ((__v8hi) __A, 738 (__v8hi) __B, 739 (__v8hi) __W, 740 (__mmask8) __U); 741 } 742 743 static __inline__ __m128i __DEFAULT_FN_ATTRS 744 _mm_maskz_sub_epi16 (__mmask8 __U, __m128i __A, __m128i __B) { 745 return (__m128i) __builtin_ia32_psubw128_mask ((__v8hi) __A, 746 (__v8hi) __B, 747 (__v8hi) 748 _mm_setzero_si128 (), 749 (__mmask8) __U); 750 } 751 752 static __inline__ __m256i __DEFAULT_FN_ATTRS 753 _mm256_mask_mullo_epi16 (__m256i __W, __mmask16 __U, __m256i __A, __m256i __B) { 754 return (__m256i) __builtin_ia32_pmullw256_mask ((__v16hi) __A, 755 (__v16hi) __B, 756 (__v16hi) __W, 757 (__mmask16) __U); 758 } 759 760 static __inline__ __m256i __DEFAULT_FN_ATTRS 761 _mm256_maskz_mullo_epi16 (__mmask16 __U, __m256i __A, __m256i __B) { 762 return (__m256i) __builtin_ia32_pmullw256_mask ((__v16hi) __A, 763 (__v16hi) __B, 764 (__v16hi) 765 _mm256_setzero_si256 (), 766 (__mmask16) __U); 767 } 768 769 static __inline__ __m128i __DEFAULT_FN_ATTRS 770 _mm_mask_mullo_epi16 (__m128i __W, __mmask8 __U, __m128i __A, __m128i __B) { 771 return (__m128i) __builtin_ia32_pmullw128_mask ((__v8hi) __A, 772 (__v8hi) __B, 773 (__v8hi) __W, 774 (__mmask8) __U); 775 } 776 777 static __inline__ __m128i __DEFAULT_FN_ATTRS 778 _mm_maskz_mullo_epi16 (__mmask8 __U, __m128i __A, __m128i __B) { 779 return (__m128i) __builtin_ia32_pmullw128_mask ((__v8hi) __A, 780 (__v8hi) __B, 781 (__v8hi) 782 _mm_setzero_si128 (), 783 (__mmask8) __U); 784 } 785 786 static __inline__ __m128i __DEFAULT_FN_ATTRS 787 _mm_mask_blend_epi8 (__mmask16 __U, __m128i __A, __m128i __W) 788 { 789 return (__m128i) __builtin_ia32_selectb_128 ((__mmask16) __U, 790 (__v16qi) __W, 791 (__v16qi) __A); 792 } 793 794 static __inline__ __m256i __DEFAULT_FN_ATTRS 795 _mm256_mask_blend_epi8 (__mmask32 __U, __m256i __A, __m256i __W) 796 { 797 return (__m256i) __builtin_ia32_selectb_256 ((__mmask32) __U, 798 (__v32qi) __W, 799 (__v32qi) __A); 800 } 801 802 static __inline__ __m128i __DEFAULT_FN_ATTRS 803 _mm_mask_blend_epi16 (__mmask8 __U, __m128i __A, __m128i __W) 804 { 805 return (__m128i) __builtin_ia32_selectw_128 ((__mmask8) __U, 806 (__v8hi) __W, 807 (__v8hi) __A); 808 } 809 810 static __inline__ __m256i __DEFAULT_FN_ATTRS 811 _mm256_mask_blend_epi16 (__mmask16 __U, __m256i __A, __m256i __W) 812 { 813 return (__m256i) __builtin_ia32_selectw_256 ((__mmask16) __U, 814 (__v16hi) __W, 815 (__v16hi) __A); 816 } 817 818 static __inline__ __m128i __DEFAULT_FN_ATTRS 819 _mm_mask_abs_epi8 (__m128i __W, __mmask16 __U, __m128i __A) 820 { 821 return (__m128i) __builtin_ia32_pabsb128_mask ((__v16qi) __A, 822 (__v16qi) __W, 823 (__mmask16) __U); 824 } 825 826 static __inline__ __m128i __DEFAULT_FN_ATTRS 827 _mm_maskz_abs_epi8 (__mmask16 __U, __m128i __A) 828 { 829 return (__m128i) __builtin_ia32_pabsb128_mask ((__v16qi) __A, 830 (__v16qi) _mm_setzero_si128 (), 831 (__mmask16) __U); 832 } 833 834 static __inline__ __m256i __DEFAULT_FN_ATTRS 835 _mm256_mask_abs_epi8 (__m256i __W, __mmask32 __U, __m256i __A) 836 { 837 return (__m256i) __builtin_ia32_pabsb256_mask ((__v32qi) __A, 838 (__v32qi) __W, 839 (__mmask32) __U); 840 } 841 842 static __inline__ __m256i __DEFAULT_FN_ATTRS 843 _mm256_maskz_abs_epi8 (__mmask32 __U, __m256i __A) 844 { 845 return (__m256i) __builtin_ia32_pabsb256_mask ((__v32qi) __A, 846 (__v32qi) _mm256_setzero_si256 (), 847 (__mmask32) __U); 848 } 849 850 static __inline__ __m128i __DEFAULT_FN_ATTRS 851 _mm_mask_abs_epi16 (__m128i __W, __mmask8 __U, __m128i __A) 852 { 853 return (__m128i) __builtin_ia32_pabsw128_mask ((__v8hi) __A, 854 (__v8hi) __W, 855 (__mmask8) __U); 856 } 857 858 static __inline__ __m128i __DEFAULT_FN_ATTRS 859 _mm_maskz_abs_epi16 (__mmask8 __U, __m128i __A) 860 { 861 return (__m128i) __builtin_ia32_pabsw128_mask ((__v8hi) __A, 862 (__v8hi) _mm_setzero_si128 (), 863 (__mmask8) __U); 864 } 865 866 static __inline__ __m256i __DEFAULT_FN_ATTRS 867 _mm256_mask_abs_epi16 (__m256i __W, __mmask16 __U, __m256i __A) 868 { 869 return (__m256i) __builtin_ia32_pabsw256_mask ((__v16hi) __A, 870 (__v16hi) __W, 871 (__mmask16) __U); 872 } 873 874 static __inline__ __m256i __DEFAULT_FN_ATTRS 875 _mm256_maskz_abs_epi16 (__mmask16 __U, __m256i __A) 876 { 877 return (__m256i) __builtin_ia32_pabsw256_mask ((__v16hi) __A, 878 (__v16hi) _mm256_setzero_si256 (), 879 (__mmask16) __U); 880 } 881 882 static __inline__ __m128i __DEFAULT_FN_ATTRS 883 _mm_maskz_packs_epi32 (__mmask8 __M, __m128i __A, __m128i __B) 884 { 885 return (__m128i) __builtin_ia32_packssdw128_mask ((__v4si) __A, 886 (__v4si) __B, 887 (__v8hi) _mm_setzero_si128 (), __M); 888 } 889 890 static __inline__ __m128i __DEFAULT_FN_ATTRS 891 _mm_mask_packs_epi32 (__m128i __W, __mmask16 __M, __m128i __A, 892 __m128i __B) 893 { 894 return (__m128i) __builtin_ia32_packssdw128_mask ((__v4si) __A, 895 (__v4si) __B, 896 (__v8hi) __W, __M); 897 } 898 899 static __inline__ __m256i __DEFAULT_FN_ATTRS 900 _mm256_maskz_packs_epi32 (__mmask16 __M, __m256i __A, __m256i __B) 901 { 902 return (__m256i) __builtin_ia32_packssdw256_mask ((__v8si) __A, 903 (__v8si) __B, 904 (__v16hi) _mm256_setzero_si256 (), 905 __M); 906 } 907 908 static __inline__ __m256i __DEFAULT_FN_ATTRS 909 _mm256_mask_packs_epi32 (__m256i __W, __mmask16 __M, __m256i __A, 910 __m256i __B) 911 { 912 return (__m256i) __builtin_ia32_packssdw256_mask ((__v8si) __A, 913 (__v8si) __B, 914 (__v16hi) __W, __M); 915 } 916 917 static __inline__ __m128i __DEFAULT_FN_ATTRS 918 _mm_maskz_packs_epi16 (__mmask16 __M, __m128i __A, __m128i __B) 919 { 920 return (__m128i) __builtin_ia32_packsswb128_mask ((__v8hi) __A, 921 (__v8hi) __B, 922 (__v16qi) _mm_setzero_si128 (), 923 __M); 924 } 925 926 static __inline__ __m128i __DEFAULT_FN_ATTRS 927 _mm_mask_packs_epi16 (__m128i __W, __mmask16 __M, __m128i __A, 928 __m128i __B) 929 { 930 return (__m128i) __builtin_ia32_packsswb128_mask ((__v8hi) __A, 931 (__v8hi) __B, 932 (__v16qi) __W, 933 __M); 934 } 935 936 static __inline__ __m256i __DEFAULT_FN_ATTRS 937 _mm256_maskz_packs_epi16 (__mmask32 __M, __m256i __A, __m256i __B) 938 { 939 return (__m256i) __builtin_ia32_packsswb256_mask ((__v16hi) __A, 940 (__v16hi) __B, 941 (__v32qi) _mm256_setzero_si256 (), 942 __M); 943 } 944 945 static __inline__ __m256i __DEFAULT_FN_ATTRS 946 _mm256_mask_packs_epi16 (__m256i __W, __mmask32 __M, __m256i __A, 947 __m256i __B) 948 { 949 return (__m256i) __builtin_ia32_packsswb256_mask ((__v16hi) __A, 950 (__v16hi) __B, 951 (__v32qi) __W, 952 __M); 953 } 954 955 static __inline__ __m128i __DEFAULT_FN_ATTRS 956 _mm_maskz_packus_epi32 (__mmask8 __M, __m128i __A, __m128i __B) 957 { 958 return (__m128i) __builtin_ia32_packusdw128_mask ((__v4si) __A, 959 (__v4si) __B, 960 (__v8hi) _mm_setzero_si128 (), 961 __M); 962 } 963 964 static __inline__ __m128i __DEFAULT_FN_ATTRS 965 _mm_mask_packus_epi32 (__m128i __W, __mmask16 __M, __m128i __A, 966 __m128i __B) 967 { 968 return (__m128i) __builtin_ia32_packusdw128_mask ((__v4si) __A, 969 (__v4si) __B, 970 (__v8hi) __W, __M); 971 } 972 973 static __inline__ __m256i __DEFAULT_FN_ATTRS 974 _mm256_maskz_packus_epi32 (__mmask16 __M, __m256i __A, __m256i __B) 975 { 976 return (__m256i) __builtin_ia32_packusdw256_mask ((__v8si) __A, 977 (__v8si) __B, 978 (__v16hi) _mm256_setzero_si256 (), 979 __M); 980 } 981 982 static __inline__ __m256i __DEFAULT_FN_ATTRS 983 _mm256_mask_packus_epi32 (__m256i __W, __mmask16 __M, __m256i __A, 984 __m256i __B) 985 { 986 return (__m256i) __builtin_ia32_packusdw256_mask ((__v8si) __A, 987 (__v8si) __B, 988 (__v16hi) __W, 989 __M); 990 } 991 992 static __inline__ __m128i __DEFAULT_FN_ATTRS 993 _mm_maskz_packus_epi16 (__mmask16 __M, __m128i __A, __m128i __B) 994 { 995 return (__m128i) __builtin_ia32_packuswb128_mask ((__v8hi) __A, 996 (__v8hi) __B, 997 (__v16qi) _mm_setzero_si128 (), 998 __M); 999 } 1000 1001 static __inline__ __m128i __DEFAULT_FN_ATTRS 1002 _mm_mask_packus_epi16 (__m128i __W, __mmask16 __M, __m128i __A, 1003 __m128i __B) 1004 { 1005 return (__m128i) __builtin_ia32_packuswb128_mask ((__v8hi) __A, 1006 (__v8hi) __B, 1007 (__v16qi) __W, 1008 __M); 1009 } 1010 1011 static __inline__ __m256i __DEFAULT_FN_ATTRS 1012 _mm256_maskz_packus_epi16 (__mmask32 __M, __m256i __A, __m256i __B) 1013 { 1014 return (__m256i) __builtin_ia32_packuswb256_mask ((__v16hi) __A, 1015 (__v16hi) __B, 1016 (__v32qi) _mm256_setzero_si256 (), 1017 __M); 1018 } 1019 1020 static __inline__ __m256i __DEFAULT_FN_ATTRS 1021 _mm256_mask_packus_epi16 (__m256i __W, __mmask32 __M, __m256i __A, 1022 __m256i __B) 1023 { 1024 return (__m256i) __builtin_ia32_packuswb256_mask ((__v16hi) __A, 1025 (__v16hi) __B, 1026 (__v32qi) __W, 1027 __M); 1028 } 1029 1030 static __inline__ __m128i __DEFAULT_FN_ATTRS 1031 _mm_mask_adds_epi8 (__m128i __W, __mmask16 __U, __m128i __A, 1032 __m128i __B) 1033 { 1034 return (__m128i) __builtin_ia32_paddsb128_mask ((__v16qi) __A, 1035 (__v16qi) __B, 1036 (__v16qi) __W, 1037 (__mmask16) __U); 1038 } 1039 1040 static __inline__ __m128i __DEFAULT_FN_ATTRS 1041 _mm_maskz_adds_epi8 (__mmask16 __U, __m128i __A, __m128i __B) 1042 { 1043 return (__m128i) __builtin_ia32_paddsb128_mask ((__v16qi) __A, 1044 (__v16qi) __B, 1045 (__v16qi) _mm_setzero_si128 (), 1046 (__mmask16) __U); 1047 } 1048 1049 static __inline__ __m256i __DEFAULT_FN_ATTRS 1050 _mm256_mask_adds_epi8 (__m256i __W, __mmask32 __U, __m256i __A, 1051 __m256i __B) 1052 { 1053 return (__m256i) __builtin_ia32_paddsb256_mask ((__v32qi) __A, 1054 (__v32qi) __B, 1055 (__v32qi) __W, 1056 (__mmask32) __U); 1057 } 1058 1059 static __inline__ __m256i __DEFAULT_FN_ATTRS 1060 _mm256_maskz_adds_epi8 (__mmask32 __U, __m256i __A, __m256i __B) 1061 { 1062 return (__m256i) __builtin_ia32_paddsb256_mask ((__v32qi) __A, 1063 (__v32qi) __B, 1064 (__v32qi) _mm256_setzero_si256 (), 1065 (__mmask32) __U); 1066 } 1067 1068 static __inline__ __m128i __DEFAULT_FN_ATTRS 1069 _mm_mask_adds_epi16 (__m128i __W, __mmask8 __U, __m128i __A, 1070 __m128i __B) 1071 { 1072 return (__m128i) __builtin_ia32_paddsw128_mask ((__v8hi) __A, 1073 (__v8hi) __B, 1074 (__v8hi) __W, 1075 (__mmask8) __U); 1076 } 1077 1078 static __inline__ __m128i __DEFAULT_FN_ATTRS 1079 _mm_maskz_adds_epi16 (__mmask8 __U, __m128i __A, __m128i __B) 1080 { 1081 return (__m128i) __builtin_ia32_paddsw128_mask ((__v8hi) __A, 1082 (__v8hi) __B, 1083 (__v8hi) _mm_setzero_si128 (), 1084 (__mmask8) __U); 1085 } 1086 1087 static __inline__ __m256i __DEFAULT_FN_ATTRS 1088 _mm256_mask_adds_epi16 (__m256i __W, __mmask16 __U, __m256i __A, 1089 __m256i __B) 1090 { 1091 return (__m256i) __builtin_ia32_paddsw256_mask ((__v16hi) __A, 1092 (__v16hi) __B, 1093 (__v16hi) __W, 1094 (__mmask16) __U); 1095 } 1096 1097 static __inline__ __m256i __DEFAULT_FN_ATTRS 1098 _mm256_maskz_adds_epi16 (__mmask16 __U, __m256i __A, __m256i __B) 1099 { 1100 return (__m256i) __builtin_ia32_paddsw256_mask ((__v16hi) __A, 1101 (__v16hi) __B, 1102 (__v16hi) _mm256_setzero_si256 (), 1103 (__mmask16) __U); 1104 } 1105 1106 static __inline__ __m128i __DEFAULT_FN_ATTRS 1107 _mm_mask_adds_epu8 (__m128i __W, __mmask16 __U, __m128i __A, 1108 __m128i __B) 1109 { 1110 return (__m128i) __builtin_ia32_paddusb128_mask ((__v16qi) __A, 1111 (__v16qi) __B, 1112 (__v16qi) __W, 1113 (__mmask16) __U); 1114 } 1115 1116 static __inline__ __m128i __DEFAULT_FN_ATTRS 1117 _mm_maskz_adds_epu8 (__mmask16 __U, __m128i __A, __m128i __B) 1118 { 1119 return (__m128i) __builtin_ia32_paddusb128_mask ((__v16qi) __A, 1120 (__v16qi) __B, 1121 (__v16qi) _mm_setzero_si128 (), 1122 (__mmask16) __U); 1123 } 1124 1125 static __inline__ __m256i __DEFAULT_FN_ATTRS 1126 _mm256_mask_adds_epu8 (__m256i __W, __mmask32 __U, __m256i __A, 1127 __m256i __B) 1128 { 1129 return (__m256i) __builtin_ia32_paddusb256_mask ((__v32qi) __A, 1130 (__v32qi) __B, 1131 (__v32qi) __W, 1132 (__mmask32) __U); 1133 } 1134 1135 static __inline__ __m256i __DEFAULT_FN_ATTRS 1136 _mm256_maskz_adds_epu8 (__mmask32 __U, __m256i __A, __m256i __B) 1137 { 1138 return (__m256i) __builtin_ia32_paddusb256_mask ((__v32qi) __A, 1139 (__v32qi) __B, 1140 (__v32qi) _mm256_setzero_si256 (), 1141 (__mmask32) __U); 1142 } 1143 1144 static __inline__ __m128i __DEFAULT_FN_ATTRS 1145 _mm_mask_adds_epu16 (__m128i __W, __mmask8 __U, __m128i __A, 1146 __m128i __B) 1147 { 1148 return (__m128i) __builtin_ia32_paddusw128_mask ((__v8hi) __A, 1149 (__v8hi) __B, 1150 (__v8hi) __W, 1151 (__mmask8) __U); 1152 } 1153 1154 static __inline__ __m128i __DEFAULT_FN_ATTRS 1155 _mm_maskz_adds_epu16 (__mmask8 __U, __m128i __A, __m128i __B) 1156 { 1157 return (__m128i) __builtin_ia32_paddusw128_mask ((__v8hi) __A, 1158 (__v8hi) __B, 1159 (__v8hi) _mm_setzero_si128 (), 1160 (__mmask8) __U); 1161 } 1162 1163 static __inline__ __m256i __DEFAULT_FN_ATTRS 1164 _mm256_mask_adds_epu16 (__m256i __W, __mmask16 __U, __m256i __A, 1165 __m256i __B) 1166 { 1167 return (__m256i) __builtin_ia32_paddusw256_mask ((__v16hi) __A, 1168 (__v16hi) __B, 1169 (__v16hi) __W, 1170 (__mmask16) __U); 1171 } 1172 1173 static __inline__ __m256i __DEFAULT_FN_ATTRS 1174 _mm256_maskz_adds_epu16 (__mmask16 __U, __m256i __A, __m256i __B) 1175 { 1176 return (__m256i) __builtin_ia32_paddusw256_mask ((__v16hi) __A, 1177 (__v16hi) __B, 1178 (__v16hi) _mm256_setzero_si256 (), 1179 (__mmask16) __U); 1180 } 1181 1182 static __inline__ __m128i __DEFAULT_FN_ATTRS 1183 _mm_mask_avg_epu8 (__m128i __W, __mmask16 __U, __m128i __A, 1184 __m128i __B) 1185 { 1186 return (__m128i) __builtin_ia32_pavgb128_mask ((__v16qi) __A, 1187 (__v16qi) __B, 1188 (__v16qi) __W, 1189 (__mmask16) __U); 1190 } 1191 1192 static __inline__ __m128i __DEFAULT_FN_ATTRS 1193 _mm_maskz_avg_epu8 (__mmask16 __U, __m128i __A, __m128i __B) 1194 { 1195 return (__m128i) __builtin_ia32_pavgb128_mask ((__v16qi) __A, 1196 (__v16qi) __B, 1197 (__v16qi) _mm_setzero_si128 (), 1198 (__mmask16) __U); 1199 } 1200 1201 static __inline__ __m256i __DEFAULT_FN_ATTRS 1202 _mm256_mask_avg_epu8 (__m256i __W, __mmask32 __U, __m256i __A, 1203 __m256i __B) 1204 { 1205 return (__m256i) __builtin_ia32_pavgb256_mask ((__v32qi) __A, 1206 (__v32qi) __B, 1207 (__v32qi) __W, 1208 (__mmask32) __U); 1209 } 1210 1211 static __inline__ __m256i __DEFAULT_FN_ATTRS 1212 _mm256_maskz_avg_epu8 (__mmask32 __U, __m256i __A, __m256i __B) 1213 { 1214 return (__m256i) __builtin_ia32_pavgb256_mask ((__v32qi) __A, 1215 (__v32qi) __B, 1216 (__v32qi) _mm256_setzero_si256 (), 1217 (__mmask32) __U); 1218 } 1219 1220 static __inline__ __m128i __DEFAULT_FN_ATTRS 1221 _mm_mask_avg_epu16 (__m128i __W, __mmask8 __U, __m128i __A, 1222 __m128i __B) 1223 { 1224 return (__m128i) __builtin_ia32_pavgw128_mask ((__v8hi) __A, 1225 (__v8hi) __B, 1226 (__v8hi) __W, 1227 (__mmask8) __U); 1228 } 1229 1230 static __inline__ __m128i __DEFAULT_FN_ATTRS 1231 _mm_maskz_avg_epu16 (__mmask8 __U, __m128i __A, __m128i __B) 1232 { 1233 return (__m128i) __builtin_ia32_pavgw128_mask ((__v8hi) __A, 1234 (__v8hi) __B, 1235 (__v8hi) _mm_setzero_si128 (), 1236 (__mmask8) __U); 1237 } 1238 1239 static __inline__ __m256i __DEFAULT_FN_ATTRS 1240 _mm256_mask_avg_epu16 (__m256i __W, __mmask16 __U, __m256i __A, 1241 __m256i __B) 1242 { 1243 return (__m256i) __builtin_ia32_pavgw256_mask ((__v16hi) __A, 1244 (__v16hi) __B, 1245 (__v16hi) __W, 1246 (__mmask16) __U); 1247 } 1248 1249 static __inline__ __m256i __DEFAULT_FN_ATTRS 1250 _mm256_maskz_avg_epu16 (__mmask16 __U, __m256i __A, __m256i __B) 1251 { 1252 return (__m256i) __builtin_ia32_pavgw256_mask ((__v16hi) __A, 1253 (__v16hi) __B, 1254 (__v16hi) _mm256_setzero_si256 (), 1255 (__mmask16) __U); 1256 } 1257 1258 static __inline__ __m128i __DEFAULT_FN_ATTRS 1259 _mm_maskz_max_epi8 (__mmask16 __M, __m128i __A, __m128i __B) 1260 { 1261 return (__m128i) __builtin_ia32_pmaxsb128_mask ((__v16qi) __A, 1262 (__v16qi) __B, 1263 (__v16qi) _mm_setzero_si128 (), 1264 (__mmask16) __M); 1265 } 1266 1267 static __inline__ __m128i __DEFAULT_FN_ATTRS 1268 _mm_mask_max_epi8 (__m128i __W, __mmask16 __M, __m128i __A, 1269 __m128i __B) 1270 { 1271 return (__m128i) __builtin_ia32_pmaxsb128_mask ((__v16qi) __A, 1272 (__v16qi) __B, 1273 (__v16qi) __W, 1274 (__mmask16) __M); 1275 } 1276 1277 static __inline__ __m256i __DEFAULT_FN_ATTRS 1278 _mm256_maskz_max_epi8 (__mmask32 __M, __m256i __A, __m256i __B) 1279 { 1280 return (__m256i) __builtin_ia32_pmaxsb256_mask ((__v32qi) __A, 1281 (__v32qi) __B, 1282 (__v32qi) _mm256_setzero_si256 (), 1283 (__mmask32) __M); 1284 } 1285 1286 static __inline__ __m256i __DEFAULT_FN_ATTRS 1287 _mm256_mask_max_epi8 (__m256i __W, __mmask32 __M, __m256i __A, 1288 __m256i __B) 1289 { 1290 return (__m256i) __builtin_ia32_pmaxsb256_mask ((__v32qi) __A, 1291 (__v32qi) __B, 1292 (__v32qi) __W, 1293 (__mmask32) __M); 1294 } 1295 1296 static __inline__ __m128i __DEFAULT_FN_ATTRS 1297 _mm_maskz_max_epi16 (__mmask8 __M, __m128i __A, __m128i __B) 1298 { 1299 return (__m128i) __builtin_ia32_pmaxsw128_mask ((__v8hi) __A, 1300 (__v8hi) __B, 1301 (__v8hi) _mm_setzero_si128 (), 1302 (__mmask8) __M); 1303 } 1304 1305 static __inline__ __m128i __DEFAULT_FN_ATTRS 1306 _mm_mask_max_epi16 (__m128i __W, __mmask8 __M, __m128i __A, 1307 __m128i __B) 1308 { 1309 return (__m128i) __builtin_ia32_pmaxsw128_mask ((__v8hi) __A, 1310 (__v8hi) __B, 1311 (__v8hi) __W, 1312 (__mmask8) __M); 1313 } 1314 1315 static __inline__ __m256i __DEFAULT_FN_ATTRS 1316 _mm256_maskz_max_epi16 (__mmask16 __M, __m256i __A, __m256i __B) 1317 { 1318 return (__m256i) __builtin_ia32_pmaxsw256_mask ((__v16hi) __A, 1319 (__v16hi) __B, 1320 (__v16hi) _mm256_setzero_si256 (), 1321 (__mmask16) __M); 1322 } 1323 1324 static __inline__ __m256i __DEFAULT_FN_ATTRS 1325 _mm256_mask_max_epi16 (__m256i __W, __mmask16 __M, __m256i __A, 1326 __m256i __B) 1327 { 1328 return (__m256i) __builtin_ia32_pmaxsw256_mask ((__v16hi) __A, 1329 (__v16hi) __B, 1330 (__v16hi) __W, 1331 (__mmask16) __M); 1332 } 1333 1334 static __inline__ __m128i __DEFAULT_FN_ATTRS 1335 _mm_maskz_max_epu8 (__mmask16 __M, __m128i __A, __m128i __B) 1336 { 1337 return (__m128i) __builtin_ia32_pmaxub128_mask ((__v16qi) __A, 1338 (__v16qi) __B, 1339 (__v16qi) _mm_setzero_si128 (), 1340 (__mmask16) __M); 1341 } 1342 1343 static __inline__ __m128i __DEFAULT_FN_ATTRS 1344 _mm_mask_max_epu8 (__m128i __W, __mmask16 __M, __m128i __A, 1345 __m128i __B) 1346 { 1347 return (__m128i) __builtin_ia32_pmaxub128_mask ((__v16qi) __A, 1348 (__v16qi) __B, 1349 (__v16qi) __W, 1350 (__mmask16) __M); 1351 } 1352 1353 static __inline__ __m256i __DEFAULT_FN_ATTRS 1354 _mm256_maskz_max_epu8 (__mmask32 __M, __m256i __A, __m256i __B) 1355 { 1356 return (__m256i) __builtin_ia32_pmaxub256_mask ((__v32qi) __A, 1357 (__v32qi) __B, 1358 (__v32qi) _mm256_setzero_si256 (), 1359 (__mmask32) __M); 1360 } 1361 1362 static __inline__ __m256i __DEFAULT_FN_ATTRS 1363 _mm256_mask_max_epu8 (__m256i __W, __mmask32 __M, __m256i __A, 1364 __m256i __B) 1365 { 1366 return (__m256i) __builtin_ia32_pmaxub256_mask ((__v32qi) __A, 1367 (__v32qi) __B, 1368 (__v32qi) __W, 1369 (__mmask32) __M); 1370 } 1371 1372 static __inline__ __m128i __DEFAULT_FN_ATTRS 1373 _mm_maskz_max_epu16 (__mmask8 __M, __m128i __A, __m128i __B) 1374 { 1375 return (__m128i) __builtin_ia32_pmaxuw128_mask ((__v8hi) __A, 1376 (__v8hi) __B, 1377 (__v8hi) _mm_setzero_si128 (), 1378 (__mmask8) __M); 1379 } 1380 1381 static __inline__ __m128i __DEFAULT_FN_ATTRS 1382 _mm_mask_max_epu16 (__m128i __W, __mmask8 __M, __m128i __A, 1383 __m128i __B) 1384 { 1385 return (__m128i) __builtin_ia32_pmaxuw128_mask ((__v8hi) __A, 1386 (__v8hi) __B, 1387 (__v8hi) __W, 1388 (__mmask8) __M); 1389 } 1390 1391 static __inline__ __m256i __DEFAULT_FN_ATTRS 1392 _mm256_maskz_max_epu16 (__mmask16 __M, __m256i __A, __m256i __B) 1393 { 1394 return (__m256i) __builtin_ia32_pmaxuw256_mask ((__v16hi) __A, 1395 (__v16hi) __B, 1396 (__v16hi) _mm256_setzero_si256 (), 1397 (__mmask16) __M); 1398 } 1399 1400 static __inline__ __m256i __DEFAULT_FN_ATTRS 1401 _mm256_mask_max_epu16 (__m256i __W, __mmask16 __M, __m256i __A, 1402 __m256i __B) 1403 { 1404 return (__m256i) __builtin_ia32_pmaxuw256_mask ((__v16hi) __A, 1405 (__v16hi) __B, 1406 (__v16hi) __W, 1407 (__mmask16) __M); 1408 } 1409 1410 static __inline__ __m128i __DEFAULT_FN_ATTRS 1411 _mm_maskz_min_epi8 (__mmask16 __M, __m128i __A, __m128i __B) 1412 { 1413 return (__m128i) __builtin_ia32_pminsb128_mask ((__v16qi) __A, 1414 (__v16qi) __B, 1415 (__v16qi) _mm_setzero_si128 (), 1416 (__mmask16) __M); 1417 } 1418 1419 static __inline__ __m128i __DEFAULT_FN_ATTRS 1420 _mm_mask_min_epi8 (__m128i __W, __mmask16 __M, __m128i __A, 1421 __m128i __B) 1422 { 1423 return (__m128i) __builtin_ia32_pminsb128_mask ((__v16qi) __A, 1424 (__v16qi) __B, 1425 (__v16qi) __W, 1426 (__mmask16) __M); 1427 } 1428 1429 static __inline__ __m256i __DEFAULT_FN_ATTRS 1430 _mm256_maskz_min_epi8 (__mmask32 __M, __m256i __A, __m256i __B) 1431 { 1432 return (__m256i) __builtin_ia32_pminsb256_mask ((__v32qi) __A, 1433 (__v32qi) __B, 1434 (__v32qi) _mm256_setzero_si256 (), 1435 (__mmask32) __M); 1436 } 1437 1438 static __inline__ __m256i __DEFAULT_FN_ATTRS 1439 _mm256_mask_min_epi8 (__m256i __W, __mmask32 __M, __m256i __A, 1440 __m256i __B) 1441 { 1442 return (__m256i) __builtin_ia32_pminsb256_mask ((__v32qi) __A, 1443 (__v32qi) __B, 1444 (__v32qi) __W, 1445 (__mmask32) __M); 1446 } 1447 1448 static __inline__ __m128i __DEFAULT_FN_ATTRS 1449 _mm_maskz_min_epi16 (__mmask8 __M, __m128i __A, __m128i __B) 1450 { 1451 return (__m128i) __builtin_ia32_pminsw128_mask ((__v8hi) __A, 1452 (__v8hi) __B, 1453 (__v8hi) _mm_setzero_si128 (), 1454 (__mmask8) __M); 1455 } 1456 1457 static __inline__ __m128i __DEFAULT_FN_ATTRS 1458 _mm_mask_min_epi16 (__m128i __W, __mmask8 __M, __m128i __A, 1459 __m128i __B) 1460 { 1461 return (__m128i) __builtin_ia32_pminsw128_mask ((__v8hi) __A, 1462 (__v8hi) __B, 1463 (__v8hi) __W, 1464 (__mmask8) __M); 1465 } 1466 1467 static __inline__ __m256i __DEFAULT_FN_ATTRS 1468 _mm256_maskz_min_epi16 (__mmask16 __M, __m256i __A, __m256i __B) 1469 { 1470 return (__m256i) __builtin_ia32_pminsw256_mask ((__v16hi) __A, 1471 (__v16hi) __B, 1472 (__v16hi) _mm256_setzero_si256 (), 1473 (__mmask16) __M); 1474 } 1475 1476 static __inline__ __m256i __DEFAULT_FN_ATTRS 1477 _mm256_mask_min_epi16 (__m256i __W, __mmask16 __M, __m256i __A, 1478 __m256i __B) 1479 { 1480 return (__m256i) __builtin_ia32_pminsw256_mask ((__v16hi) __A, 1481 (__v16hi) __B, 1482 (__v16hi) __W, 1483 (__mmask16) __M); 1484 } 1485 1486 static __inline__ __m128i __DEFAULT_FN_ATTRS 1487 _mm_maskz_min_epu8 (__mmask16 __M, __m128i __A, __m128i __B) 1488 { 1489 return (__m128i) __builtin_ia32_pminub128_mask ((__v16qi) __A, 1490 (__v16qi) __B, 1491 (__v16qi) _mm_setzero_si128 (), 1492 (__mmask16) __M); 1493 } 1494 1495 static __inline__ __m128i __DEFAULT_FN_ATTRS 1496 _mm_mask_min_epu8 (__m128i __W, __mmask16 __M, __m128i __A, 1497 __m128i __B) 1498 { 1499 return (__m128i) __builtin_ia32_pminub128_mask ((__v16qi) __A, 1500 (__v16qi) __B, 1501 (__v16qi) __W, 1502 (__mmask16) __M); 1503 } 1504 1505 static __inline__ __m256i __DEFAULT_FN_ATTRS 1506 _mm256_maskz_min_epu8 (__mmask32 __M, __m256i __A, __m256i __B) 1507 { 1508 return (__m256i) __builtin_ia32_pminub256_mask ((__v32qi) __A, 1509 (__v32qi) __B, 1510 (__v32qi) _mm256_setzero_si256 (), 1511 (__mmask32) __M); 1512 } 1513 1514 static __inline__ __m256i __DEFAULT_FN_ATTRS 1515 _mm256_mask_min_epu8 (__m256i __W, __mmask32 __M, __m256i __A, 1516 __m256i __B) 1517 { 1518 return (__m256i) __builtin_ia32_pminub256_mask ((__v32qi) __A, 1519 (__v32qi) __B, 1520 (__v32qi) __W, 1521 (__mmask32) __M); 1522 } 1523 1524 static __inline__ __m128i __DEFAULT_FN_ATTRS 1525 _mm_maskz_min_epu16 (__mmask8 __M, __m128i __A, __m128i __B) 1526 { 1527 return (__m128i) __builtin_ia32_pminuw128_mask ((__v8hi) __A, 1528 (__v8hi) __B, 1529 (__v8hi) _mm_setzero_si128 (), 1530 (__mmask8) __M); 1531 } 1532 1533 static __inline__ __m128i __DEFAULT_FN_ATTRS 1534 _mm_mask_min_epu16 (__m128i __W, __mmask8 __M, __m128i __A, 1535 __m128i __B) 1536 { 1537 return (__m128i) __builtin_ia32_pminuw128_mask ((__v8hi) __A, 1538 (__v8hi) __B, 1539 (__v8hi) __W, 1540 (__mmask8) __M); 1541 } 1542 1543 static __inline__ __m256i __DEFAULT_FN_ATTRS 1544 _mm256_maskz_min_epu16 (__mmask16 __M, __m256i __A, __m256i __B) 1545 { 1546 return (__m256i) __builtin_ia32_pminuw256_mask ((__v16hi) __A, 1547 (__v16hi) __B, 1548 (__v16hi) _mm256_setzero_si256 (), 1549 (__mmask16) __M); 1550 } 1551 1552 static __inline__ __m256i __DEFAULT_FN_ATTRS 1553 _mm256_mask_min_epu16 (__m256i __W, __mmask16 __M, __m256i __A, 1554 __m256i __B) 1555 { 1556 return (__m256i) __builtin_ia32_pminuw256_mask ((__v16hi) __A, 1557 (__v16hi) __B, 1558 (__v16hi) __W, 1559 (__mmask16) __M); 1560 } 1561 1562 static __inline__ __m128i __DEFAULT_FN_ATTRS 1563 _mm_mask_shuffle_epi8 (__m128i __W, __mmask16 __U, __m128i __A, 1564 __m128i __B) 1565 { 1566 return (__m128i) __builtin_ia32_pshufb128_mask ((__v16qi) __A, 1567 (__v16qi) __B, 1568 (__v16qi) __W, 1569 (__mmask16) __U); 1570 } 1571 1572 static __inline__ __m128i __DEFAULT_FN_ATTRS 1573 _mm_maskz_shuffle_epi8 (__mmask16 __U, __m128i __A, __m128i __B) 1574 { 1575 return (__m128i) __builtin_ia32_pshufb128_mask ((__v16qi) __A, 1576 (__v16qi) __B, 1577 (__v16qi) _mm_setzero_si128 (), 1578 (__mmask16) __U); 1579 } 1580 1581 static __inline__ __m256i __DEFAULT_FN_ATTRS 1582 _mm256_mask_shuffle_epi8 (__m256i __W, __mmask32 __U, __m256i __A, 1583 __m256i __B) 1584 { 1585 return (__m256i) __builtin_ia32_pshufb256_mask ((__v32qi) __A, 1586 (__v32qi) __B, 1587 (__v32qi) __W, 1588 (__mmask32) __U); 1589 } 1590 1591 static __inline__ __m256i __DEFAULT_FN_ATTRS 1592 _mm256_maskz_shuffle_epi8 (__mmask32 __U, __m256i __A, __m256i __B) 1593 { 1594 return (__m256i) __builtin_ia32_pshufb256_mask ((__v32qi) __A, 1595 (__v32qi) __B, 1596 (__v32qi) _mm256_setzero_si256 (), 1597 (__mmask32) __U); 1598 } 1599 1600 static __inline__ __m128i __DEFAULT_FN_ATTRS 1601 _mm_mask_subs_epi8 (__m128i __W, __mmask16 __U, __m128i __A, 1602 __m128i __B) 1603 { 1604 return (__m128i) __builtin_ia32_psubsb128_mask ((__v16qi) __A, 1605 (__v16qi) __B, 1606 (__v16qi) __W, 1607 (__mmask16) __U); 1608 } 1609 1610 static __inline__ __m128i __DEFAULT_FN_ATTRS 1611 _mm_maskz_subs_epi8 (__mmask16 __U, __m128i __A, __m128i __B) 1612 { 1613 return (__m128i) __builtin_ia32_psubsb128_mask ((__v16qi) __A, 1614 (__v16qi) __B, 1615 (__v16qi) _mm_setzero_si128 (), 1616 (__mmask16) __U); 1617 } 1618 1619 static __inline__ __m256i __DEFAULT_FN_ATTRS 1620 _mm256_mask_subs_epi8 (__m256i __W, __mmask32 __U, __m256i __A, 1621 __m256i __B) 1622 { 1623 return (__m256i) __builtin_ia32_psubsb256_mask ((__v32qi) __A, 1624 (__v32qi) __B, 1625 (__v32qi) __W, 1626 (__mmask32) __U); 1627 } 1628 1629 static __inline__ __m256i __DEFAULT_FN_ATTRS 1630 _mm256_maskz_subs_epi8 (__mmask32 __U, __m256i __A, __m256i __B) 1631 { 1632 return (__m256i) __builtin_ia32_psubsb256_mask ((__v32qi) __A, 1633 (__v32qi) __B, 1634 (__v32qi) _mm256_setzero_si256 (), 1635 (__mmask32) __U); 1636 } 1637 1638 static __inline__ __m128i __DEFAULT_FN_ATTRS 1639 _mm_mask_subs_epi16 (__m128i __W, __mmask8 __U, __m128i __A, 1640 __m128i __B) 1641 { 1642 return (__m128i) __builtin_ia32_psubsw128_mask ((__v8hi) __A, 1643 (__v8hi) __B, 1644 (__v8hi) __W, 1645 (__mmask8) __U); 1646 } 1647 1648 static __inline__ __m128i __DEFAULT_FN_ATTRS 1649 _mm_maskz_subs_epi16 (__mmask8 __U, __m128i __A, __m128i __B) 1650 { 1651 return (__m128i) __builtin_ia32_psubsw128_mask ((__v8hi) __A, 1652 (__v8hi) __B, 1653 (__v8hi) _mm_setzero_si128 (), 1654 (__mmask8) __U); 1655 } 1656 1657 static __inline__ __m256i __DEFAULT_FN_ATTRS 1658 _mm256_mask_subs_epi16 (__m256i __W, __mmask16 __U, __m256i __A, 1659 __m256i __B) 1660 { 1661 return (__m256i) __builtin_ia32_psubsw256_mask ((__v16hi) __A, 1662 (__v16hi) __B, 1663 (__v16hi) __W, 1664 (__mmask16) __U); 1665 } 1666 1667 static __inline__ __m256i __DEFAULT_FN_ATTRS 1668 _mm256_maskz_subs_epi16 (__mmask16 __U, __m256i __A, __m256i __B) 1669 { 1670 return (__m256i) __builtin_ia32_psubsw256_mask ((__v16hi) __A, 1671 (__v16hi) __B, 1672 (__v16hi) _mm256_setzero_si256 (), 1673 (__mmask16) __U); 1674 } 1675 1676 static __inline__ __m128i __DEFAULT_FN_ATTRS 1677 _mm_mask_subs_epu8 (__m128i __W, __mmask16 __U, __m128i __A, 1678 __m128i __B) 1679 { 1680 return (__m128i) __builtin_ia32_psubusb128_mask ((__v16qi) __A, 1681 (__v16qi) __B, 1682 (__v16qi) __W, 1683 (__mmask16) __U); 1684 } 1685 1686 static __inline__ __m128i __DEFAULT_FN_ATTRS 1687 _mm_maskz_subs_epu8 (__mmask16 __U, __m128i __A, __m128i __B) 1688 { 1689 return (__m128i) __builtin_ia32_psubusb128_mask ((__v16qi) __A, 1690 (__v16qi) __B, 1691 (__v16qi) _mm_setzero_si128 (), 1692 (__mmask16) __U); 1693 } 1694 1695 static __inline__ __m256i __DEFAULT_FN_ATTRS 1696 _mm256_mask_subs_epu8 (__m256i __W, __mmask32 __U, __m256i __A, 1697 __m256i __B) 1698 { 1699 return (__m256i) __builtin_ia32_psubusb256_mask ((__v32qi) __A, 1700 (__v32qi) __B, 1701 (__v32qi) __W, 1702 (__mmask32) __U); 1703 } 1704 1705 static __inline__ __m256i __DEFAULT_FN_ATTRS 1706 _mm256_maskz_subs_epu8 (__mmask32 __U, __m256i __A, __m256i __B) 1707 { 1708 return (__m256i) __builtin_ia32_psubusb256_mask ((__v32qi) __A, 1709 (__v32qi) __B, 1710 (__v32qi) _mm256_setzero_si256 (), 1711 (__mmask32) __U); 1712 } 1713 1714 static __inline__ __m128i __DEFAULT_FN_ATTRS 1715 _mm_mask_subs_epu16 (__m128i __W, __mmask8 __U, __m128i __A, 1716 __m128i __B) 1717 { 1718 return (__m128i) __builtin_ia32_psubusw128_mask ((__v8hi) __A, 1719 (__v8hi) __B, 1720 (__v8hi) __W, 1721 (__mmask8) __U); 1722 } 1723 1724 static __inline__ __m128i __DEFAULT_FN_ATTRS 1725 _mm_maskz_subs_epu16 (__mmask8 __U, __m128i __A, __m128i __B) 1726 { 1727 return (__m128i) __builtin_ia32_psubusw128_mask ((__v8hi) __A, 1728 (__v8hi) __B, 1729 (__v8hi) _mm_setzero_si128 (), 1730 (__mmask8) __U); 1731 } 1732 1733 static __inline__ __m256i __DEFAULT_FN_ATTRS 1734 _mm256_mask_subs_epu16 (__m256i __W, __mmask16 __U, __m256i __A, 1735 __m256i __B) 1736 { 1737 return (__m256i) __builtin_ia32_psubusw256_mask ((__v16hi) __A, 1738 (__v16hi) __B, 1739 (__v16hi) __W, 1740 (__mmask16) __U); 1741 } 1742 1743 static __inline__ __m256i __DEFAULT_FN_ATTRS 1744 _mm256_maskz_subs_epu16 (__mmask16 __U, __m256i __A, __m256i __B) 1745 { 1746 return (__m256i) __builtin_ia32_psubusw256_mask ((__v16hi) __A, 1747 (__v16hi) __B, 1748 (__v16hi) _mm256_setzero_si256 (), 1749 (__mmask16) __U); 1750 } 1751 1752 static __inline__ __m128i __DEFAULT_FN_ATTRS 1753 _mm_mask2_permutex2var_epi16 (__m128i __A, __m128i __I, __mmask8 __U, 1754 __m128i __B) 1755 { 1756 return (__m128i) __builtin_ia32_vpermi2varhi128_mask ((__v8hi) __A, 1757 (__v8hi) __I /* idx */ , 1758 (__v8hi) __B, 1759 (__mmask8) __U); 1760 } 1761 1762 static __inline__ __m256i __DEFAULT_FN_ATTRS 1763 _mm256_mask2_permutex2var_epi16 (__m256i __A, __m256i __I, 1764 __mmask16 __U, __m256i __B) 1765 { 1766 return (__m256i) __builtin_ia32_vpermi2varhi256_mask ((__v16hi) __A, 1767 (__v16hi) __I /* idx */ , 1768 (__v16hi) __B, 1769 (__mmask16) __U); 1770 } 1771 1772 static __inline__ __m128i __DEFAULT_FN_ATTRS 1773 _mm_permutex2var_epi16 (__m128i __A, __m128i __I, __m128i __B) 1774 { 1775 return (__m128i) __builtin_ia32_vpermt2varhi128_mask ((__v8hi) __I/* idx */, 1776 (__v8hi) __A, 1777 (__v8hi) __B, 1778 (__mmask8) -1); 1779 } 1780 1781 static __inline__ __m128i __DEFAULT_FN_ATTRS 1782 _mm_mask_permutex2var_epi16 (__m128i __A, __mmask8 __U, __m128i __I, 1783 __m128i __B) 1784 { 1785 return (__m128i) __builtin_ia32_vpermt2varhi128_mask ((__v8hi) __I/* idx */, 1786 (__v8hi) __A, 1787 (__v8hi) __B, 1788 (__mmask8) __U); 1789 } 1790 1791 static __inline__ __m128i __DEFAULT_FN_ATTRS 1792 _mm_maskz_permutex2var_epi16 (__mmask8 __U, __m128i __A, __m128i __I, 1793 __m128i __B) 1794 { 1795 return (__m128i) __builtin_ia32_vpermt2varhi128_maskz ((__v8hi) __I/* idx */, 1796 (__v8hi) __A, 1797 (__v8hi) __B, 1798 (__mmask8) __U); 1799 } 1800 1801 static __inline__ __m256i __DEFAULT_FN_ATTRS 1802 _mm256_permutex2var_epi16 (__m256i __A, __m256i __I, __m256i __B) 1803 { 1804 return (__m256i) __builtin_ia32_vpermt2varhi256_mask ((__v16hi) __I/* idx */, 1805 (__v16hi) __A, 1806 (__v16hi) __B, 1807 (__mmask16) -1); 1808 } 1809 1810 static __inline__ __m256i __DEFAULT_FN_ATTRS 1811 _mm256_mask_permutex2var_epi16 (__m256i __A, __mmask16 __U, 1812 __m256i __I, __m256i __B) 1813 { 1814 return (__m256i) __builtin_ia32_vpermt2varhi256_mask ((__v16hi) __I/* idx */, 1815 (__v16hi) __A, 1816 (__v16hi) __B, 1817 (__mmask16) __U); 1818 } 1819 1820 static __inline__ __m256i __DEFAULT_FN_ATTRS 1821 _mm256_maskz_permutex2var_epi16 (__mmask16 __U, __m256i __A, 1822 __m256i __I, __m256i __B) 1823 { 1824 return (__m256i) __builtin_ia32_vpermt2varhi256_maskz ((__v16hi) __I/* idx */, 1825 (__v16hi) __A, 1826 (__v16hi) __B, 1827 (__mmask16) __U); 1828 } 1829 1830 static __inline__ __m128i __DEFAULT_FN_ATTRS 1831 _mm_mask_maddubs_epi16 (__m128i __W, __mmask8 __U, __m128i __X, __m128i __Y) { 1832 return (__m128i) __builtin_ia32_pmaddubsw128_mask ((__v16qi) __X, 1833 (__v16qi) __Y, 1834 (__v8hi) __W, 1835 (__mmask8) __U); 1836 } 1837 1838 static __inline__ __m128i __DEFAULT_FN_ATTRS 1839 _mm_maskz_maddubs_epi16 (__mmask8 __U, __m128i __X, __m128i __Y) { 1840 return (__m128i) __builtin_ia32_pmaddubsw128_mask ((__v16qi) __X, 1841 (__v16qi) __Y, 1842 (__v8hi) _mm_setzero_si128(), 1843 (__mmask8) __U); 1844 } 1845 1846 static __inline__ __m256i __DEFAULT_FN_ATTRS 1847 _mm256_mask_maddubs_epi16 (__m256i __W, __mmask16 __U, __m256i __X, 1848 __m256i __Y) { 1849 return (__m256i) __builtin_ia32_pmaddubsw256_mask ((__v32qi) __X, 1850 (__v32qi) __Y, 1851 (__v16hi) __W, 1852 (__mmask16) __U); 1853 } 1854 1855 static __inline__ __m256i __DEFAULT_FN_ATTRS 1856 _mm256_maskz_maddubs_epi16 (__mmask16 __U, __m256i __X, __m256i __Y) { 1857 return (__m256i) __builtin_ia32_pmaddubsw256_mask ((__v32qi) __X, 1858 (__v32qi) __Y, 1859 (__v16hi) _mm256_setzero_si256(), 1860 (__mmask16) __U); 1861 } 1862 1863 static __inline__ __m128i __DEFAULT_FN_ATTRS 1864 _mm_mask_madd_epi16 (__m128i __W, __mmask8 __U, __m128i __A, 1865 __m128i __B) { 1866 return (__m128i) __builtin_ia32_pmaddwd128_mask ((__v8hi) __A, 1867 (__v8hi) __B, 1868 (__v4si) __W, 1869 (__mmask8) __U); 1870 } 1871 1872 static __inline__ __m128i __DEFAULT_FN_ATTRS 1873 _mm_maskz_madd_epi16 (__mmask8 __U, __m128i __A, __m128i __B) { 1874 return (__m128i) __builtin_ia32_pmaddwd128_mask ((__v8hi) __A, 1875 (__v8hi) __B, 1876 (__v4si) _mm_setzero_si128(), 1877 (__mmask8) __U); 1878 } 1879 1880 static __inline__ __m256i __DEFAULT_FN_ATTRS 1881 _mm256_mask_madd_epi16 (__m256i __W, __mmask8 __U, __m256i __A, __m256i __B) { 1882 return (__m256i) __builtin_ia32_pmaddwd256_mask ((__v16hi) __A, 1883 (__v16hi) __B, 1884 (__v8si) __W, 1885 (__mmask8) __U); 1886 } 1887 1888 static __inline__ __m256i __DEFAULT_FN_ATTRS 1889 _mm256_maskz_madd_epi16 (__mmask8 __U, __m256i __A, __m256i __B) { 1890 return (__m256i) __builtin_ia32_pmaddwd256_mask ((__v16hi) __A, 1891 (__v16hi) __B, 1892 (__v8si) _mm256_setzero_si256(), 1893 (__mmask8) __U); 1894 } 1895 1896 static __inline__ __m128i __DEFAULT_FN_ATTRS 1897 _mm_cvtsepi16_epi8 (__m128i __A) { 1898 return (__m128i) __builtin_ia32_pmovswb128_mask ((__v8hi) __A, 1899 (__v16qi) _mm_setzero_si128(), 1900 (__mmask8) -1); 1901 } 1902 1903 static __inline__ __m128i __DEFAULT_FN_ATTRS 1904 _mm_mask_cvtsepi16_epi8 (__m128i __O, __mmask8 __M, __m128i __A) { 1905 return (__m128i) __builtin_ia32_pmovswb128_mask ((__v8hi) __A, 1906 (__v16qi) __O, 1907 __M); 1908 } 1909 1910 static __inline__ __m128i __DEFAULT_FN_ATTRS 1911 _mm_maskz_cvtsepi16_epi8 (__mmask8 __M, __m128i __A) { 1912 return (__m128i) __builtin_ia32_pmovswb128_mask ((__v8hi) __A, 1913 (__v16qi) _mm_setzero_si128(), 1914 __M); 1915 } 1916 1917 static __inline__ __m128i __DEFAULT_FN_ATTRS 1918 _mm256_cvtsepi16_epi8 (__m256i __A) { 1919 return (__m128i) __builtin_ia32_pmovswb256_mask ((__v16hi) __A, 1920 (__v16qi) _mm_setzero_si128(), 1921 (__mmask16) -1); 1922 } 1923 1924 static __inline__ __m128i __DEFAULT_FN_ATTRS 1925 _mm256_mask_cvtsepi16_epi8 (__m128i __O, __mmask16 __M, __m256i __A) { 1926 return (__m128i) __builtin_ia32_pmovswb256_mask ((__v16hi) __A, 1927 (__v16qi) __O, 1928 __M); 1929 } 1930 1931 static __inline__ __m128i __DEFAULT_FN_ATTRS 1932 _mm256_maskz_cvtsepi16_epi8 (__mmask16 __M, __m256i __A) { 1933 return (__m128i) __builtin_ia32_pmovswb256_mask ((__v16hi) __A, 1934 (__v16qi) _mm_setzero_si128(), 1935 __M); 1936 } 1937 1938 static __inline__ __m128i __DEFAULT_FN_ATTRS 1939 _mm_cvtusepi16_epi8 (__m128i __A) { 1940 return (__m128i) __builtin_ia32_pmovuswb128_mask ((__v8hi) __A, 1941 (__v16qi) _mm_setzero_si128(), 1942 (__mmask8) -1); 1943 } 1944 1945 static __inline__ __m128i __DEFAULT_FN_ATTRS 1946 _mm_mask_cvtusepi16_epi8 (__m128i __O, __mmask8 __M, __m128i __A) { 1947 return (__m128i) __builtin_ia32_pmovuswb128_mask ((__v8hi) __A, 1948 (__v16qi) __O, 1949 __M); 1950 } 1951 1952 static __inline__ __m128i __DEFAULT_FN_ATTRS 1953 _mm_maskz_cvtusepi16_epi8 (__mmask8 __M, __m128i __A) { 1954 return (__m128i) __builtin_ia32_pmovuswb128_mask ((__v8hi) __A, 1955 (__v16qi) _mm_setzero_si128(), 1956 __M); 1957 } 1958 1959 static __inline__ __m128i __DEFAULT_FN_ATTRS 1960 _mm256_cvtusepi16_epi8 (__m256i __A) { 1961 return (__m128i) __builtin_ia32_pmovuswb256_mask ((__v16hi) __A, 1962 (__v16qi) _mm_setzero_si128(), 1963 (__mmask16) -1); 1964 } 1965 1966 static __inline__ __m128i __DEFAULT_FN_ATTRS 1967 _mm256_mask_cvtusepi16_epi8 (__m128i __O, __mmask16 __M, __m256i __A) { 1968 return (__m128i) __builtin_ia32_pmovuswb256_mask ((__v16hi) __A, 1969 (__v16qi) __O, 1970 __M); 1971 } 1972 1973 static __inline__ __m128i __DEFAULT_FN_ATTRS 1974 _mm256_maskz_cvtusepi16_epi8 (__mmask16 __M, __m256i __A) { 1975 return (__m128i) __builtin_ia32_pmovuswb256_mask ((__v16hi) __A, 1976 (__v16qi) _mm_setzero_si128(), 1977 __M); 1978 } 1979 1980 static __inline__ __m128i __DEFAULT_FN_ATTRS 1981 _mm_cvtepi16_epi8 (__m128i __A) { 1982 1983 return (__m128i) __builtin_ia32_pmovwb128_mask ((__v8hi) __A, 1984 (__v16qi) _mm_setzero_si128(), 1985 (__mmask8) -1); 1986 } 1987 1988 static __inline__ __m128i __DEFAULT_FN_ATTRS 1989 _mm_mask_cvtepi16_epi8 (__m128i __O, __mmask8 __M, __m128i __A) { 1990 return (__m128i) __builtin_ia32_pmovwb128_mask ((__v8hi) __A, 1991 (__v16qi) __O, 1992 __M); 1993 } 1994 1995 static __inline__ __m128i __DEFAULT_FN_ATTRS 1996 _mm_maskz_cvtepi16_epi8 (__mmask8 __M, __m128i __A) { 1997 return (__m128i) __builtin_ia32_pmovwb128_mask ((__v8hi) __A, 1998 (__v16qi) _mm_setzero_si128(), 1999 __M); 2000 } 2001 2002 static __inline__ void __DEFAULT_FN_ATTRS 2003 _mm_mask_cvtepi16_storeu_epi8 (void * __P, __mmask8 __M, __m128i __A) 2004 { 2005 __builtin_ia32_pmovwb128mem_mask ((__v16qi *) __P, (__v8hi) __A, __M); 2006 } 2007 2008 2009 static __inline__ void __DEFAULT_FN_ATTRS 2010 _mm_mask_cvtsepi16_storeu_epi8 (void * __P, __mmask8 __M, __m128i __A) 2011 { 2012 __builtin_ia32_pmovswb128mem_mask ((__v16qi *) __P, (__v8hi) __A, __M); 2013 } 2014 2015 static __inline__ void __DEFAULT_FN_ATTRS 2016 _mm_mask_cvtusepi16_storeu_epi8 (void * __P, __mmask8 __M, __m128i __A) 2017 { 2018 __builtin_ia32_pmovuswb128mem_mask ((__v16qi *) __P, (__v8hi) __A, __M); 2019 } 2020 2021 static __inline__ __m128i __DEFAULT_FN_ATTRS 2022 _mm256_cvtepi16_epi8 (__m256i __A) { 2023 return (__m128i) __builtin_ia32_pmovwb256_mask ((__v16hi) __A, 2024 (__v16qi) _mm_setzero_si128(), 2025 (__mmask16) -1); 2026 } 2027 2028 static __inline__ __m128i __DEFAULT_FN_ATTRS 2029 _mm256_mask_cvtepi16_epi8 (__m128i __O, __mmask16 __M, __m256i __A) { 2030 return (__m128i) __builtin_ia32_pmovwb256_mask ((__v16hi) __A, 2031 (__v16qi) __O, 2032 __M); 2033 } 2034 2035 static __inline__ __m128i __DEFAULT_FN_ATTRS 2036 _mm256_maskz_cvtepi16_epi8 (__mmask16 __M, __m256i __A) { 2037 return (__m128i) __builtin_ia32_pmovwb256_mask ((__v16hi) __A, 2038 (__v16qi) _mm_setzero_si128(), 2039 __M); 2040 } 2041 2042 static __inline__ void __DEFAULT_FN_ATTRS 2043 _mm256_mask_cvtepi16_storeu_epi8 (void * __P, __mmask16 __M, __m256i __A) 2044 { 2045 __builtin_ia32_pmovwb256mem_mask ((__v16qi *) __P, (__v16hi) __A, __M); 2046 } 2047 2048 static __inline__ void __DEFAULT_FN_ATTRS 2049 _mm256_mask_cvtsepi16_storeu_epi8 (void * __P, __mmask16 __M, __m256i __A) 2050 { 2051 __builtin_ia32_pmovswb256mem_mask ((__v16qi *) __P, (__v16hi) __A, __M); 2052 } 2053 2054 static __inline__ void __DEFAULT_FN_ATTRS 2055 _mm256_mask_cvtusepi16_storeu_epi8 (void * __P, __mmask8 __M, __m256i __A) 2056 { 2057 __builtin_ia32_pmovuswb256mem_mask ((__v16qi*) __P, (__v16hi) __A, __M); 2058 } 2059 static __inline__ __m128i __DEFAULT_FN_ATTRS 2060 _mm_mask_mulhrs_epi16 (__m128i __W, __mmask8 __U, __m128i __X, __m128i __Y) { 2061 return (__m128i) __builtin_ia32_pmulhrsw128_mask ((__v8hi) __X, 2062 (__v8hi) __Y, 2063 (__v8hi) __W, 2064 (__mmask8) __U); 2065 } 2066 2067 static __inline__ __m128i __DEFAULT_FN_ATTRS 2068 _mm_maskz_mulhrs_epi16 (__mmask8 __U, __m128i __X, __m128i __Y) { 2069 return (__m128i) __builtin_ia32_pmulhrsw128_mask ((__v8hi) __X, 2070 (__v8hi) __Y, 2071 (__v8hi) _mm_setzero_si128(), 2072 (__mmask8) __U); 2073 } 2074 2075 static __inline__ __m256i __DEFAULT_FN_ATTRS 2076 _mm256_mask_mulhrs_epi16 (__m256i __W, __mmask16 __U, __m256i __X, __m256i __Y) { 2077 return (__m256i) __builtin_ia32_pmulhrsw256_mask ((__v16hi) __X, 2078 (__v16hi) __Y, 2079 (__v16hi) __W, 2080 (__mmask16) __U); 2081 } 2082 2083 static __inline__ __m256i __DEFAULT_FN_ATTRS 2084 _mm256_maskz_mulhrs_epi16 (__mmask16 __U, __m256i __X, __m256i __Y) { 2085 return (__m256i) __builtin_ia32_pmulhrsw256_mask ((__v16hi) __X, 2086 (__v16hi) __Y, 2087 (__v16hi) _mm256_setzero_si256(), 2088 (__mmask16) __U); 2089 } 2090 2091 static __inline__ __m128i __DEFAULT_FN_ATTRS 2092 _mm_mask_mulhi_epu16 (__m128i __W, __mmask8 __U, __m128i __A, 2093 __m128i __B) { 2094 return (__m128i) __builtin_ia32_pmulhuw128_mask ((__v8hi) __A, 2095 (__v8hi) __B, 2096 (__v8hi) __W, 2097 (__mmask8) __U); 2098 } 2099 2100 static __inline__ __m128i __DEFAULT_FN_ATTRS 2101 _mm_maskz_mulhi_epu16 (__mmask8 __U, __m128i __A, __m128i __B) { 2102 return (__m128i) __builtin_ia32_pmulhuw128_mask ((__v8hi) __A, 2103 (__v8hi) __B, 2104 (__v8hi) _mm_setzero_si128(), 2105 (__mmask8) __U); 2106 } 2107 2108 static __inline__ __m256i __DEFAULT_FN_ATTRS 2109 _mm256_mask_mulhi_epu16 (__m256i __W, __mmask16 __U, __m256i __A, 2110 __m256i __B) { 2111 return (__m256i) __builtin_ia32_pmulhuw256_mask ((__v16hi) __A, 2112 (__v16hi) __B, 2113 (__v16hi) __W, 2114 (__mmask16) __U); 2115 } 2116 2117 static __inline__ __m256i __DEFAULT_FN_ATTRS 2118 _mm256_maskz_mulhi_epu16 (__mmask16 __U, __m256i __A, __m256i __B) { 2119 return (__m256i) __builtin_ia32_pmulhuw256_mask ((__v16hi) __A, 2120 (__v16hi) __B, 2121 (__v16hi) _mm256_setzero_si256(), 2122 (__mmask16) __U); 2123 } 2124 2125 static __inline__ __m128i __DEFAULT_FN_ATTRS 2126 _mm_mask_mulhi_epi16 (__m128i __W, __mmask8 __U, __m128i __A, 2127 __m128i __B) { 2128 return (__m128i) __builtin_ia32_pmulhw128_mask ((__v8hi) __A, 2129 (__v8hi) __B, 2130 (__v8hi) __W, 2131 (__mmask8) __U); 2132 } 2133 2134 static __inline__ __m128i __DEFAULT_FN_ATTRS 2135 _mm_maskz_mulhi_epi16 (__mmask8 __U, __m128i __A, __m128i __B) { 2136 return (__m128i) __builtin_ia32_pmulhw128_mask ((__v8hi) __A, 2137 (__v8hi) __B, 2138 (__v8hi) _mm_setzero_si128(), 2139 (__mmask8) __U); 2140 } 2141 2142 static __inline__ __m256i __DEFAULT_FN_ATTRS 2143 _mm256_mask_mulhi_epi16 (__m256i __W, __mmask16 __U, __m256i __A, 2144 __m256i __B) { 2145 return (__m256i) __builtin_ia32_pmulhw256_mask ((__v16hi) __A, 2146 (__v16hi) __B, 2147 (__v16hi) __W, 2148 (__mmask16) __U); 2149 } 2150 2151 static __inline__ __m256i __DEFAULT_FN_ATTRS 2152 _mm256_maskz_mulhi_epi16 (__mmask16 __U, __m256i __A, __m256i __B) { 2153 return (__m256i) __builtin_ia32_pmulhw256_mask ((__v16hi) __A, 2154 (__v16hi) __B, 2155 (__v16hi) _mm256_setzero_si256(), 2156 (__mmask16) __U); 2157 } 2158 2159 static __inline__ __m128i __DEFAULT_FN_ATTRS 2160 _mm_mask_unpackhi_epi8(__m128i __W, __mmask16 __U, __m128i __A, __m128i __B) { 2161 return (__m128i)__builtin_ia32_selectb_128((__mmask16)__U, 2162 (__v16qi)_mm_unpackhi_epi8(__A, __B), 2163 (__v16qi)__W); 2164 } 2165 2166 static __inline__ __m128i __DEFAULT_FN_ATTRS 2167 _mm_maskz_unpackhi_epi8(__mmask16 __U, __m128i __A, __m128i __B) { 2168 return (__m128i)__builtin_ia32_selectb_128((__mmask16)__U, 2169 (__v16qi)_mm_unpackhi_epi8(__A, __B), 2170 (__v16qi)_mm_setzero_si128()); 2171 } 2172 2173 static __inline__ __m256i __DEFAULT_FN_ATTRS 2174 _mm256_mask_unpackhi_epi8(__m256i __W, __mmask32 __U, __m256i __A, __m256i __B) { 2175 return (__m256i)__builtin_ia32_selectb_256((__mmask32)__U, 2176 (__v32qi)_mm256_unpackhi_epi8(__A, __B), 2177 (__v32qi)__W); 2178 } 2179 2180 static __inline__ __m256i __DEFAULT_FN_ATTRS 2181 _mm256_maskz_unpackhi_epi8(__mmask32 __U, __m256i __A, __m256i __B) { 2182 return (__m256i)__builtin_ia32_selectb_256((__mmask32)__U, 2183 (__v32qi)_mm256_unpackhi_epi8(__A, __B), 2184 (__v32qi)_mm256_setzero_si256()); 2185 } 2186 2187 static __inline__ __m128i __DEFAULT_FN_ATTRS 2188 _mm_mask_unpackhi_epi16(__m128i __W, __mmask8 __U, __m128i __A, __m128i __B) { 2189 return (__m128i)__builtin_ia32_selectw_128((__mmask8)__U, 2190 (__v8hi)_mm_unpackhi_epi16(__A, __B), 2191 (__v8hi)__W); 2192 } 2193 2194 static __inline__ __m128i __DEFAULT_FN_ATTRS 2195 _mm_maskz_unpackhi_epi16(__mmask8 __U, __m128i __A, __m128i __B) { 2196 return (__m128i)__builtin_ia32_selectw_128((__mmask8)__U, 2197 (__v8hi)_mm_unpackhi_epi16(__A, __B), 2198 (__v8hi) _mm_setzero_si128()); 2199 } 2200 2201 static __inline__ __m256i __DEFAULT_FN_ATTRS 2202 _mm256_mask_unpackhi_epi16(__m256i __W, __mmask16 __U, __m256i __A, __m256i __B) { 2203 return (__m256i)__builtin_ia32_selectw_256((__mmask16)__U, 2204 (__v16hi)_mm256_unpackhi_epi16(__A, __B), 2205 (__v16hi)__W); 2206 } 2207 2208 static __inline__ __m256i __DEFAULT_FN_ATTRS 2209 _mm256_maskz_unpackhi_epi16(__mmask16 __U, __m256i __A, __m256i __B) { 2210 return (__m256i)__builtin_ia32_selectw_256((__mmask16)__U, 2211 (__v16hi)_mm256_unpackhi_epi16(__A, __B), 2212 (__v16hi)_mm256_setzero_si256()); 2213 } 2214 2215 static __inline__ __m128i __DEFAULT_FN_ATTRS 2216 _mm_mask_unpacklo_epi8(__m128i __W, __mmask16 __U, __m128i __A, __m128i __B) { 2217 return (__m128i)__builtin_ia32_selectb_128((__mmask16)__U, 2218 (__v16qi)_mm_unpacklo_epi8(__A, __B), 2219 (__v16qi)__W); 2220 } 2221 2222 static __inline__ __m128i __DEFAULT_FN_ATTRS 2223 _mm_maskz_unpacklo_epi8(__mmask16 __U, __m128i __A, __m128i __B) { 2224 return (__m128i)__builtin_ia32_selectb_128((__mmask16)__U, 2225 (__v16qi)_mm_unpacklo_epi8(__A, __B), 2226 (__v16qi)_mm_setzero_si128()); 2227 } 2228 2229 static __inline__ __m256i __DEFAULT_FN_ATTRS 2230 _mm256_mask_unpacklo_epi8(__m256i __W, __mmask32 __U, __m256i __A, __m256i __B) { 2231 return (__m256i)__builtin_ia32_selectb_256((__mmask32)__U, 2232 (__v32qi)_mm256_unpacklo_epi8(__A, __B), 2233 (__v32qi)__W); 2234 } 2235 2236 static __inline__ __m256i __DEFAULT_FN_ATTRS 2237 _mm256_maskz_unpacklo_epi8(__mmask32 __U, __m256i __A, __m256i __B) { 2238 return (__m256i)__builtin_ia32_selectb_256((__mmask32)__U, 2239 (__v32qi)_mm256_unpacklo_epi8(__A, __B), 2240 (__v32qi)_mm256_setzero_si256()); 2241 } 2242 2243 static __inline__ __m128i __DEFAULT_FN_ATTRS 2244 _mm_mask_unpacklo_epi16(__m128i __W, __mmask8 __U, __m128i __A, __m128i __B) { 2245 return (__m128i)__builtin_ia32_selectw_128((__mmask8)__U, 2246 (__v8hi)_mm_unpacklo_epi16(__A, __B), 2247 (__v8hi)__W); 2248 } 2249 2250 static __inline__ __m128i __DEFAULT_FN_ATTRS 2251 _mm_maskz_unpacklo_epi16(__mmask8 __U, __m128i __A, __m128i __B) { 2252 return (__m128i)__builtin_ia32_selectw_128((__mmask8)__U, 2253 (__v8hi)_mm_unpacklo_epi16(__A, __B), 2254 (__v8hi) _mm_setzero_si128()); 2255 } 2256 2257 static __inline__ __m256i __DEFAULT_FN_ATTRS 2258 _mm256_mask_unpacklo_epi16(__m256i __W, __mmask16 __U, __m256i __A, __m256i __B) { 2259 return (__m256i)__builtin_ia32_selectw_256((__mmask16)__U, 2260 (__v16hi)_mm256_unpacklo_epi16(__A, __B), 2261 (__v16hi)__W); 2262 } 2263 2264 static __inline__ __m256i __DEFAULT_FN_ATTRS 2265 _mm256_maskz_unpacklo_epi16(__mmask16 __U, __m256i __A, __m256i __B) { 2266 return (__m256i)__builtin_ia32_selectw_256((__mmask16)__U, 2267 (__v16hi)_mm256_unpacklo_epi16(__A, __B), 2268 (__v16hi)_mm256_setzero_si256()); 2269 } 2270 2271 static __inline__ __m128i __DEFAULT_FN_ATTRS 2272 _mm_mask_cvtepi8_epi16 (__m128i __W, __mmask32 __U, __m128i __A) 2273 { 2274 return (__m128i) __builtin_ia32_pmovsxbw128_mask ((__v16qi) __A, 2275 (__v8hi) __W, 2276 (__mmask8) __U); 2277 } 2278 2279 static __inline__ __m128i __DEFAULT_FN_ATTRS 2280 _mm_maskz_cvtepi8_epi16 (__mmask8 __U, __m128i __A) 2281 { 2282 return (__m128i) __builtin_ia32_pmovsxbw128_mask ((__v16qi) __A, 2283 (__v8hi) 2284 _mm_setzero_si128 (), 2285 (__mmask8) __U); 2286 } 2287 2288 static __inline__ __m256i __DEFAULT_FN_ATTRS 2289 _mm256_mask_cvtepi8_epi16 (__m256i __W, __mmask32 __U, __m128i __A) 2290 { 2291 return (__m256i) __builtin_ia32_pmovsxbw256_mask ((__v16qi) __A, 2292 (__v16hi) __W, 2293 (__mmask16) __U); 2294 } 2295 2296 static __inline__ __m256i __DEFAULT_FN_ATTRS 2297 _mm256_maskz_cvtepi8_epi16 (__mmask16 __U, __m128i __A) 2298 { 2299 return (__m256i) __builtin_ia32_pmovsxbw256_mask ((__v16qi) __A, 2300 (__v16hi) 2301 _mm256_setzero_si256 (), 2302 (__mmask16) __U); 2303 } 2304 2305 2306 static __inline__ __m128i __DEFAULT_FN_ATTRS 2307 _mm_mask_cvtepu8_epi16 (__m128i __W, __mmask32 __U, __m128i __A) 2308 { 2309 return (__m128i) __builtin_ia32_pmovzxbw128_mask ((__v16qi) __A, 2310 (__v8hi) __W, 2311 (__mmask8) __U); 2312 } 2313 2314 static __inline__ __m128i __DEFAULT_FN_ATTRS 2315 _mm_maskz_cvtepu8_epi16 (__mmask8 __U, __m128i __A) 2316 { 2317 return (__m128i) __builtin_ia32_pmovzxbw128_mask ((__v16qi) __A, 2318 (__v8hi) 2319 _mm_setzero_si128 (), 2320 (__mmask8) __U); 2321 } 2322 2323 static __inline__ __m256i __DEFAULT_FN_ATTRS 2324 _mm256_mask_cvtepu8_epi16 (__m256i __W, __mmask32 __U, __m128i __A) 2325 { 2326 return (__m256i) __builtin_ia32_pmovzxbw256_mask ((__v16qi) __A, 2327 (__v16hi) __W, 2328 (__mmask16) __U); 2329 } 2330 2331 static __inline__ __m256i __DEFAULT_FN_ATTRS 2332 _mm256_maskz_cvtepu8_epi16 (__mmask16 __U, __m128i __A) 2333 { 2334 return (__m256i) __builtin_ia32_pmovzxbw256_mask ((__v16qi) __A, 2335 (__v16hi) 2336 _mm256_setzero_si256 (), 2337 (__mmask16) __U); 2338 } 2339 2340 2341 #define _mm_cmp_epi8_mask(a, b, p) __extension__ ({ \ 2342 (__mmask16)__builtin_ia32_cmpb128_mask((__v16qi)(__m128i)(a), \ 2343 (__v16qi)(__m128i)(b), (int)(p), \ 2344 (__mmask16)-1); }) 2345 2346 #define _mm_mask_cmp_epi8_mask(m, a, b, p) __extension__ ({ \ 2347 (__mmask16)__builtin_ia32_cmpb128_mask((__v16qi)(__m128i)(a), \ 2348 (__v16qi)(__m128i)(b), (int)(p), \ 2349 (__mmask16)(m)); }) 2350 2351 #define _mm_cmp_epu8_mask(a, b, p) __extension__ ({ \ 2352 (__mmask16)__builtin_ia32_ucmpb128_mask((__v16qi)(__m128i)(a), \ 2353 (__v16qi)(__m128i)(b), (int)(p), \ 2354 (__mmask16)-1); }) 2355 2356 #define _mm_mask_cmp_epu8_mask(m, a, b, p) __extension__ ({ \ 2357 (__mmask16)__builtin_ia32_ucmpb128_mask((__v16qi)(__m128i)(a), \ 2358 (__v16qi)(__m128i)(b), (int)(p), \ 2359 (__mmask16)(m)); }) 2360 2361 #define _mm256_cmp_epi8_mask(a, b, p) __extension__ ({ \ 2362 (__mmask32)__builtin_ia32_cmpb256_mask((__v32qi)(__m256i)(a), \ 2363 (__v32qi)(__m256i)(b), (int)(p), \ 2364 (__mmask32)-1); }) 2365 2366 #define _mm256_mask_cmp_epi8_mask(m, a, b, p) __extension__ ({ \ 2367 (__mmask32)__builtin_ia32_cmpb256_mask((__v32qi)(__m256i)(a), \ 2368 (__v32qi)(__m256i)(b), (int)(p), \ 2369 (__mmask32)(m)); }) 2370 2371 #define _mm256_cmp_epu8_mask(a, b, p) __extension__ ({ \ 2372 (__mmask32)__builtin_ia32_ucmpb256_mask((__v32qi)(__m256i)(a), \ 2373 (__v32qi)(__m256i)(b), (int)(p), \ 2374 (__mmask32)-1); }) 2375 2376 #define _mm256_mask_cmp_epu8_mask(m, a, b, p) __extension__ ({ \ 2377 (__mmask32)__builtin_ia32_ucmpb256_mask((__v32qi)(__m256i)(a), \ 2378 (__v32qi)(__m256i)(b), (int)(p), \ 2379 (__mmask32)(m)); }) 2380 2381 #define _mm_cmp_epi16_mask(a, b, p) __extension__ ({ \ 2382 (__mmask8)__builtin_ia32_cmpw128_mask((__v8hi)(__m128i)(a), \ 2383 (__v8hi)(__m128i)(b), (int)(p), \ 2384 (__mmask8)-1); }) 2385 2386 #define _mm_mask_cmp_epi16_mask(m, a, b, p) __extension__ ({ \ 2387 (__mmask8)__builtin_ia32_cmpw128_mask((__v8hi)(__m128i)(a), \ 2388 (__v8hi)(__m128i)(b), (int)(p), \ 2389 (__mmask8)(m)); }) 2390 2391 #define _mm_cmp_epu16_mask(a, b, p) __extension__ ({ \ 2392 (__mmask8)__builtin_ia32_ucmpw128_mask((__v8hi)(__m128i)(a), \ 2393 (__v8hi)(__m128i)(b), (int)(p), \ 2394 (__mmask8)-1); }) 2395 2396 #define _mm_mask_cmp_epu16_mask(m, a, b, p) __extension__ ({ \ 2397 (__mmask8)__builtin_ia32_ucmpw128_mask((__v8hi)(__m128i)(a), \ 2398 (__v8hi)(__m128i)(b), (int)(p), \ 2399 (__mmask8)(m)); }) 2400 2401 #define _mm256_cmp_epi16_mask(a, b, p) __extension__ ({ \ 2402 (__mmask16)__builtin_ia32_cmpw256_mask((__v16hi)(__m256i)(a), \ 2403 (__v16hi)(__m256i)(b), (int)(p), \ 2404 (__mmask16)-1); }) 2405 2406 #define _mm256_mask_cmp_epi16_mask(m, a, b, p) __extension__ ({ \ 2407 (__mmask16)__builtin_ia32_cmpw256_mask((__v16hi)(__m256i)(a), \ 2408 (__v16hi)(__m256i)(b), (int)(p), \ 2409 (__mmask16)(m)); }) 2410 2411 #define _mm256_cmp_epu16_mask(a, b, p) __extension__ ({ \ 2412 (__mmask16)__builtin_ia32_ucmpw256_mask((__v16hi)(__m256i)(a), \ 2413 (__v16hi)(__m256i)(b), (int)(p), \ 2414 (__mmask16)-1); }) 2415 2416 #define _mm256_mask_cmp_epu16_mask(m, a, b, p) __extension__ ({ \ 2417 (__mmask16)__builtin_ia32_ucmpw256_mask((__v16hi)(__m256i)(a), \ 2418 (__v16hi)(__m256i)(b), (int)(p), \ 2419 (__mmask16)(m)); }) 2420 2421 #define _mm_mask_shufflehi_epi16(W, U, A, imm) __extension__ ({ \ 2422 (__m128i)__builtin_ia32_selectw_128((__mmask8)(U), \ 2423 (__v8hi)_mm_shufflehi_epi16((A), (imm)), \ 2424 (__v8hi)(__m128i)(W)); }) 2425 2426 #define _mm_maskz_shufflehi_epi16(U, A, imm) __extension__ ({ \ 2427 (__m128i)__builtin_ia32_selectw_128((__mmask8)(U), \ 2428 (__v8hi)_mm_shufflehi_epi16((A), (imm)), \ 2429 (__v8hi)_mm_setzero_hi()); }) 2430 2431 #define _mm256_mask_shufflehi_epi16(W, U, A, imm) __extension__ ({ \ 2432 (__m256i)__builtin_ia32_selectw_256((__mmask16)(U), \ 2433 (__v16hi)_mm256_shufflehi_epi16((A), (imm)), \ 2434 (__v16hi)(__m256i)(W)); }) 2435 2436 #define _mm256_maskz_shufflehi_epi16(U, A, imm) __extension__ ({ \ 2437 (__m256i)__builtin_ia32_selectw_256((__mmask16)(U), \ 2438 (__v16hi)_mm256_shufflehi_epi16((A), (imm)), \ 2439 (__v16hi)_mm256_setzero_si256()); }) 2440 2441 #define _mm_mask_shufflelo_epi16(W, U, A, imm) __extension__ ({ \ 2442 (__m128i)__builtin_ia32_selectw_128((__mmask8)(U), \ 2443 (__v8hi)_mm_shufflelo_epi16((A), (imm)), \ 2444 (__v8hi)(__m128i)(W)); }) 2445 2446 #define _mm_maskz_shufflelo_epi16(U, A, imm) __extension__ ({ \ 2447 (__m128i)__builtin_ia32_selectw_128((__mmask8)(U), \ 2448 (__v8hi)_mm_shufflelo_epi16((A), (imm)), \ 2449 (__v8hi)_mm_setzero_hi()); }) 2450 2451 #define _mm256_mask_shufflelo_epi16(W, U, A, imm) __extension__ ({ \ 2452 (__m256i)__builtin_ia32_selectw_256((__mmask16)(U), \ 2453 (__v16hi)_mm256_shufflelo_epi16((A), \ 2454 (imm)), \ 2455 (__v16hi)(__m256i)(W)); }) 2456 2457 #define _mm256_maskz_shufflelo_epi16(U, A, imm) __extension__ ({ \ 2458 (__m256i)__builtin_ia32_selectw_256((__mmask16)(U), \ 2459 (__v16hi)_mm256_shufflelo_epi16((A), \ 2460 (imm)), \ 2461 (__v16hi)_mm256_setzero_si256()); }) 2462 2463 static __inline__ __m256i __DEFAULT_FN_ATTRS 2464 _mm256_sllv_epi16 (__m256i __A, __m256i __B) 2465 { 2466 return (__m256i) __builtin_ia32_psllv16hi_mask ((__v16hi) __A, 2467 (__v16hi) __B, 2468 (__v16hi) 2469 _mm256_setzero_si256 (), 2470 (__mmask16) -1); 2471 } 2472 2473 static __inline__ __m256i __DEFAULT_FN_ATTRS 2474 _mm256_mask_sllv_epi16 (__m256i __W, __mmask16 __U, __m256i __A, 2475 __m256i __B) 2476 { 2477 return (__m256i) __builtin_ia32_psllv16hi_mask ((__v16hi) __A, 2478 (__v16hi) __B, 2479 (__v16hi) __W, 2480 (__mmask16) __U); 2481 } 2482 2483 static __inline__ __m256i __DEFAULT_FN_ATTRS 2484 _mm256_maskz_sllv_epi16 (__mmask16 __U, __m256i __A, __m256i __B) 2485 { 2486 return (__m256i) __builtin_ia32_psllv16hi_mask ((__v16hi) __A, 2487 (__v16hi) __B, 2488 (__v16hi) 2489 _mm256_setzero_si256 (), 2490 (__mmask16) __U); 2491 } 2492 2493 static __inline__ __m128i __DEFAULT_FN_ATTRS 2494 _mm_sllv_epi16 (__m128i __A, __m128i __B) 2495 { 2496 return (__m128i) __builtin_ia32_psllv8hi_mask ((__v8hi) __A, 2497 (__v8hi) __B, 2498 (__v8hi) 2499 _mm_setzero_hi (), 2500 (__mmask8) -1); 2501 } 2502 2503 static __inline__ __m128i __DEFAULT_FN_ATTRS 2504 _mm_mask_sllv_epi16 (__m128i __W, __mmask8 __U, __m128i __A, 2505 __m128i __B) 2506 { 2507 return (__m128i) __builtin_ia32_psllv8hi_mask ((__v8hi) __A, 2508 (__v8hi) __B, 2509 (__v8hi) __W, 2510 (__mmask8) __U); 2511 } 2512 2513 static __inline__ __m128i __DEFAULT_FN_ATTRS 2514 _mm_maskz_sllv_epi16 (__mmask8 __U, __m128i __A, __m128i __B) 2515 { 2516 return (__m128i) __builtin_ia32_psllv8hi_mask ((__v8hi) __A, 2517 (__v8hi) __B, 2518 (__v8hi) 2519 _mm_setzero_si128 (), 2520 (__mmask8) __U); 2521 } 2522 2523 static __inline__ __m128i __DEFAULT_FN_ATTRS 2524 _mm_mask_sll_epi16 (__m128i __W, __mmask8 __U, __m128i __A, 2525 __m128i __B) 2526 { 2527 return (__m128i) __builtin_ia32_psllw128_mask ((__v8hi) __A, 2528 (__v8hi) __B, 2529 (__v8hi) __W, 2530 (__mmask8) __U); 2531 } 2532 2533 static __inline__ __m128i __DEFAULT_FN_ATTRS 2534 _mm_maskz_sll_epi16 (__mmask8 __U, __m128i __A, __m128i __B) 2535 { 2536 return (__m128i) __builtin_ia32_psllw128_mask ((__v8hi) __A, 2537 (__v8hi) __B, 2538 (__v8hi) 2539 _mm_setzero_si128 (), 2540 (__mmask8) __U); 2541 } 2542 2543 static __inline__ __m256i __DEFAULT_FN_ATTRS 2544 _mm256_mask_sll_epi16 (__m256i __W, __mmask16 __U, __m256i __A, 2545 __m128i __B) 2546 { 2547 return (__m256i) __builtin_ia32_psllw256_mask ((__v16hi) __A, 2548 (__v8hi) __B, 2549 (__v16hi) __W, 2550 (__mmask16) __U); 2551 } 2552 2553 static __inline__ __m256i __DEFAULT_FN_ATTRS 2554 _mm256_maskz_sll_epi16 (__mmask16 __U, __m256i __A, __m128i __B) 2555 { 2556 return (__m256i) __builtin_ia32_psllw256_mask ((__v16hi) __A, 2557 (__v8hi) __B, 2558 (__v16hi) 2559 _mm256_setzero_si256 (), 2560 (__mmask16) __U); 2561 } 2562 2563 #define _mm_mask_slli_epi16(W, U, A, B) __extension__ ({ \ 2564 (__m128i)__builtin_ia32_psllwi128_mask((__v8hi)(__m128i)(A), (int)(B), \ 2565 (__v8hi)(__m128i)(W), \ 2566 (__mmask8)(U)); }) 2567 2568 #define _mm_maskz_slli_epi16(U, A, B) __extension__ ({ \ 2569 (__m128i)__builtin_ia32_psllwi128_mask((__v8hi)(__m128i)(A), (int)(B), \ 2570 (__v8hi)_mm_setzero_si128(), \ 2571 (__mmask8)(U)); }) 2572 2573 #define _mm256_mask_slli_epi16(W, U, A, B) __extension__ ({ \ 2574 (__m256i)__builtin_ia32_psllwi256_mask((__v16hi)(__m256i)(A), (int)(B), \ 2575 (__v16hi)(__m256i)(W), \ 2576 (__mmask16)(U)); }) 2577 2578 #define _mm256_maskz_slli_epi16(U, A, B) __extension__ ({ \ 2579 (__m256i)__builtin_ia32_psllwi256_mask((__v16hi)(__m256i)(A), (int)(B), \ 2580 (__v16hi)_mm256_setzero_si256(), \ 2581 (__mmask16)(U)); }) 2582 2583 2584 2585 static __inline__ __m256i __DEFAULT_FN_ATTRS 2586 _mm256_srlv_epi16 (__m256i __A, __m256i __B) 2587 { 2588 return (__m256i) __builtin_ia32_psrlv16hi_mask ((__v16hi) __A, 2589 (__v16hi) __B, 2590 (__v16hi) 2591 _mm256_setzero_si256 (), 2592 (__mmask16) -1); 2593 } 2594 2595 static __inline__ __m256i __DEFAULT_FN_ATTRS 2596 _mm256_mask_srlv_epi16 (__m256i __W, __mmask16 __U, __m256i __A, 2597 __m256i __B) 2598 { 2599 return (__m256i) __builtin_ia32_psrlv16hi_mask ((__v16hi) __A, 2600 (__v16hi) __B, 2601 (__v16hi) __W, 2602 (__mmask16) __U); 2603 } 2604 2605 static __inline__ __m256i __DEFAULT_FN_ATTRS 2606 _mm256_maskz_srlv_epi16 (__mmask16 __U, __m256i __A, __m256i __B) 2607 { 2608 return (__m256i) __builtin_ia32_psrlv16hi_mask ((__v16hi) __A, 2609 (__v16hi) __B, 2610 (__v16hi) 2611 _mm256_setzero_si256 (), 2612 (__mmask16) __U); 2613 } 2614 2615 static __inline__ __m128i __DEFAULT_FN_ATTRS 2616 _mm_srlv_epi16 (__m128i __A, __m128i __B) 2617 { 2618 return (__m128i) __builtin_ia32_psrlv8hi_mask ((__v8hi) __A, 2619 (__v8hi) __B, 2620 (__v8hi) 2621 _mm_setzero_hi (), 2622 (__mmask8) -1); 2623 } 2624 2625 static __inline__ __m128i __DEFAULT_FN_ATTRS 2626 _mm_mask_srlv_epi16 (__m128i __W, __mmask8 __U, __m128i __A, 2627 __m128i __B) 2628 { 2629 return (__m128i) __builtin_ia32_psrlv8hi_mask ((__v8hi) __A, 2630 (__v8hi) __B, 2631 (__v8hi) __W, 2632 (__mmask8) __U); 2633 } 2634 2635 static __inline__ __m128i __DEFAULT_FN_ATTRS 2636 _mm_maskz_srlv_epi16 (__mmask8 __U, __m128i __A, __m128i __B) 2637 { 2638 return (__m128i) __builtin_ia32_psrlv8hi_mask ((__v8hi) __A, 2639 (__v8hi) __B, 2640 (__v8hi) 2641 _mm_setzero_si128 (), 2642 (__mmask8) __U); 2643 } 2644 2645 static __inline__ __m256i __DEFAULT_FN_ATTRS 2646 _mm256_srav_epi16 (__m256i __A, __m256i __B) 2647 { 2648 return (__m256i) __builtin_ia32_psrav16hi_mask ((__v16hi) __A, 2649 (__v16hi) __B, 2650 (__v16hi) 2651 _mm256_setzero_si256 (), 2652 (__mmask16) -1); 2653 } 2654 2655 static __inline__ __m256i __DEFAULT_FN_ATTRS 2656 _mm256_mask_srav_epi16 (__m256i __W, __mmask16 __U, __m256i __A, 2657 __m256i __B) 2658 { 2659 return (__m256i) __builtin_ia32_psrav16hi_mask ((__v16hi) __A, 2660 (__v16hi) __B, 2661 (__v16hi) __W, 2662 (__mmask16) __U); 2663 } 2664 2665 static __inline__ __m256i __DEFAULT_FN_ATTRS 2666 _mm256_maskz_srav_epi16 (__mmask16 __U, __m256i __A, __m256i __B) 2667 { 2668 return (__m256i) __builtin_ia32_psrav16hi_mask ((__v16hi) __A, 2669 (__v16hi) __B, 2670 (__v16hi) 2671 _mm256_setzero_si256 (), 2672 (__mmask16) __U); 2673 } 2674 2675 static __inline__ __m128i __DEFAULT_FN_ATTRS 2676 _mm_srav_epi16 (__m128i __A, __m128i __B) 2677 { 2678 return (__m128i) __builtin_ia32_psrav8hi_mask ((__v8hi) __A, 2679 (__v8hi) __B, 2680 (__v8hi) 2681 _mm_setzero_hi (), 2682 (__mmask8) -1); 2683 } 2684 2685 static __inline__ __m128i __DEFAULT_FN_ATTRS 2686 _mm_mask_srav_epi16 (__m128i __W, __mmask8 __U, __m128i __A, 2687 __m128i __B) 2688 { 2689 return (__m128i) __builtin_ia32_psrav8hi_mask ((__v8hi) __A, 2690 (__v8hi) __B, 2691 (__v8hi) __W, 2692 (__mmask8) __U); 2693 } 2694 2695 static __inline__ __m128i __DEFAULT_FN_ATTRS 2696 _mm_maskz_srav_epi16 (__mmask8 __U, __m128i __A, __m128i __B) 2697 { 2698 return (__m128i) __builtin_ia32_psrav8hi_mask ((__v8hi) __A, 2699 (__v8hi) __B, 2700 (__v8hi) 2701 _mm_setzero_si128 (), 2702 (__mmask8) __U); 2703 } 2704 2705 static __inline__ __m128i __DEFAULT_FN_ATTRS 2706 _mm_mask_sra_epi16 (__m128i __W, __mmask8 __U, __m128i __A, 2707 __m128i __B) 2708 { 2709 return (__m128i) __builtin_ia32_psraw128_mask ((__v8hi) __A, 2710 (__v8hi) __B, 2711 (__v8hi) __W, 2712 (__mmask8) __U); 2713 } 2714 2715 static __inline__ __m128i __DEFAULT_FN_ATTRS 2716 _mm_maskz_sra_epi16 (__mmask8 __U, __m128i __A, __m128i __B) 2717 { 2718 return (__m128i) __builtin_ia32_psraw128_mask ((__v8hi) __A, 2719 (__v8hi) __B, 2720 (__v8hi) 2721 _mm_setzero_si128 (), 2722 (__mmask8) __U); 2723 } 2724 2725 static __inline__ __m256i __DEFAULT_FN_ATTRS 2726 _mm256_mask_sra_epi16 (__m256i __W, __mmask16 __U, __m256i __A, 2727 __m128i __B) 2728 { 2729 return (__m256i) __builtin_ia32_psraw256_mask ((__v16hi) __A, 2730 (__v8hi) __B, 2731 (__v16hi) __W, 2732 (__mmask16) __U); 2733 } 2734 2735 static __inline__ __m256i __DEFAULT_FN_ATTRS 2736 _mm256_maskz_sra_epi16 (__mmask16 __U, __m256i __A, __m128i __B) 2737 { 2738 return (__m256i) __builtin_ia32_psraw256_mask ((__v16hi) __A, 2739 (__v8hi) __B, 2740 (__v16hi) 2741 _mm256_setzero_si256 (), 2742 (__mmask16) __U); 2743 } 2744 2745 #define _mm_mask_srai_epi16(W, U, A, imm) __extension__ ({ \ 2746 (__m128i)__builtin_ia32_psrawi128_mask((__v8hi)(__m128i)(A), (int)(imm), \ 2747 (__v8hi)(__m128i)(W), \ 2748 (__mmask8)(U)); }) 2749 2750 #define _mm_maskz_srai_epi16(U, A, imm) __extension__ ({ \ 2751 (__m128i)__builtin_ia32_psrawi128_mask((__v8hi)(__m128i)(A), (int)(imm), \ 2752 (__v8hi)_mm_setzero_si128(), \ 2753 (__mmask8)(U)); }) 2754 2755 #define _mm256_mask_srai_epi16(W, U, A, imm) __extension__ ({ \ 2756 (__m256i)__builtin_ia32_psrawi256_mask((__v16hi)(__m256i)(A), (int)(imm), \ 2757 (__v16hi)(__m256i)(W), \ 2758 (__mmask16)(U)); }) 2759 2760 #define _mm256_maskz_srai_epi16(U, A, imm) __extension__ ({ \ 2761 (__m256i)__builtin_ia32_psrawi256_mask((__v16hi)(__m256i)(A), (int)(imm), \ 2762 (__v16hi)_mm256_setzero_si256(), \ 2763 (__mmask16)(U)); }) 2764 2765 static __inline__ __m128i __DEFAULT_FN_ATTRS 2766 _mm_mask_srl_epi16 (__m128i __W, __mmask8 __U, __m128i __A, 2767 __m128i __B) 2768 { 2769 return (__m128i) __builtin_ia32_psrlw128_mask ((__v8hi) __A, 2770 (__v8hi) __B, 2771 (__v8hi) __W, 2772 (__mmask8) __U); 2773 } 2774 2775 static __inline__ __m128i __DEFAULT_FN_ATTRS 2776 _mm_maskz_srl_epi16 (__mmask8 __U, __m128i __A, __m128i __B) 2777 { 2778 return (__m128i) __builtin_ia32_psrlw128_mask ((__v8hi) __A, 2779 (__v8hi) __B, 2780 (__v8hi) 2781 _mm_setzero_si128 (), 2782 (__mmask8) __U); 2783 } 2784 2785 static __inline__ __m256i __DEFAULT_FN_ATTRS 2786 _mm256_mask_srl_epi16 (__m256i __W, __mmask16 __U, __m256i __A, 2787 __m128i __B) 2788 { 2789 return (__m256i) __builtin_ia32_psrlw256_mask ((__v16hi) __A, 2790 (__v8hi) __B, 2791 (__v16hi) __W, 2792 (__mmask16) __U); 2793 } 2794 2795 static __inline__ __m256i __DEFAULT_FN_ATTRS 2796 _mm256_maskz_srl_epi16 (__mmask16 __U, __m256i __A, __m128i __B) 2797 { 2798 return (__m256i) __builtin_ia32_psrlw256_mask ((__v16hi) __A, 2799 (__v8hi) __B, 2800 (__v16hi) 2801 _mm256_setzero_si256 (), 2802 (__mmask16) __U); 2803 } 2804 2805 #define _mm_mask_srli_epi16(W, U, A, imm) __extension__ ({ \ 2806 (__m128i)__builtin_ia32_psrlwi128_mask((__v8hi)(__m128i)(A), (int)(imm), \ 2807 (__v8hi)(__m128i)(W), \ 2808 (__mmask8)(U)); }) 2809 2810 #define _mm_maskz_srli_epi16(U, A, imm) __extension__ ({ \ 2811 (__m128i)__builtin_ia32_psrlwi128_mask((__v8hi)(__m128i)(A), (int)(imm), \ 2812 (__v8hi)_mm_setzero_si128(), \ 2813 (__mmask8)(U)); }) 2814 2815 #define _mm256_mask_srli_epi16(W, U, A, imm) __extension__ ({ \ 2816 (__m256i)__builtin_ia32_psrlwi256_mask((__v16hi)(__m256i)(A), (int)(imm), \ 2817 (__v16hi)(__m256i)(W), \ 2818 (__mmask16)(U)); }) 2819 2820 #define _mm256_maskz_srli_epi16(U, A, imm) __extension__ ({ \ 2821 (__m256i)__builtin_ia32_psrlwi256_mask((__v16hi)(__m256i)(A), (int)(imm), \ 2822 (__v16hi)_mm256_setzero_si256(), \ 2823 (__mmask16)(U)); }) 2824 2825 static __inline__ __m128i __DEFAULT_FN_ATTRS 2826 _mm_mask_mov_epi16 (__m128i __W, __mmask8 __U, __m128i __A) 2827 { 2828 return (__m128i) __builtin_ia32_selectw_128 ((__mmask8) __U, 2829 (__v8hi) __A, 2830 (__v8hi) __W); 2831 } 2832 2833 static __inline__ __m128i __DEFAULT_FN_ATTRS 2834 _mm_maskz_mov_epi16 (__mmask8 __U, __m128i __A) 2835 { 2836 return (__m128i) __builtin_ia32_selectw_128 ((__mmask8) __U, 2837 (__v8hi) __A, 2838 (__v8hi) _mm_setzero_hi ()); 2839 } 2840 2841 static __inline__ __m256i __DEFAULT_FN_ATTRS 2842 _mm256_mask_mov_epi16 (__m256i __W, __mmask16 __U, __m256i __A) 2843 { 2844 return (__m256i) __builtin_ia32_selectw_256 ((__mmask16) __U, 2845 (__v16hi) __A, 2846 (__v16hi) __W); 2847 } 2848 2849 static __inline__ __m256i __DEFAULT_FN_ATTRS 2850 _mm256_maskz_mov_epi16 (__mmask16 __U, __m256i __A) 2851 { 2852 return (__m256i) __builtin_ia32_selectw_256 ((__mmask16) __U, 2853 (__v16hi) __A, 2854 (__v16hi) _mm256_setzero_si256 ()); 2855 } 2856 2857 static __inline__ __m128i __DEFAULT_FN_ATTRS 2858 _mm_mask_mov_epi8 (__m128i __W, __mmask16 __U, __m128i __A) 2859 { 2860 return (__m128i) __builtin_ia32_selectb_128 ((__mmask16) __U, 2861 (__v16qi) __A, 2862 (__v16qi) __W); 2863 } 2864 2865 static __inline__ __m128i __DEFAULT_FN_ATTRS 2866 _mm_maskz_mov_epi8 (__mmask16 __U, __m128i __A) 2867 { 2868 return (__m128i) __builtin_ia32_selectb_128 ((__mmask16) __U, 2869 (__v16qi) __A, 2870 (__v16qi) _mm_setzero_hi ()); 2871 } 2872 2873 static __inline__ __m256i __DEFAULT_FN_ATTRS 2874 _mm256_mask_mov_epi8 (__m256i __W, __mmask32 __U, __m256i __A) 2875 { 2876 return (__m256i) __builtin_ia32_selectb_256 ((__mmask32) __U, 2877 (__v32qi) __A, 2878 (__v32qi) __W); 2879 } 2880 2881 static __inline__ __m256i __DEFAULT_FN_ATTRS 2882 _mm256_maskz_mov_epi8 (__mmask32 __U, __m256i __A) 2883 { 2884 return (__m256i) __builtin_ia32_selectb_256 ((__mmask32) __U, 2885 (__v32qi) __A, 2886 (__v32qi) _mm256_setzero_si256 ()); 2887 } 2888 2889 2890 static __inline__ __m128i __DEFAULT_FN_ATTRS 2891 _mm_mask_set1_epi8 (__m128i __O, __mmask16 __M, char __A) 2892 { 2893 return (__m128i) __builtin_ia32_pbroadcastb128_gpr_mask (__A, 2894 (__v16qi) __O, 2895 __M); 2896 } 2897 2898 static __inline__ __m128i __DEFAULT_FN_ATTRS 2899 _mm_maskz_set1_epi8 (__mmask16 __M, char __A) 2900 { 2901 return (__m128i) __builtin_ia32_pbroadcastb128_gpr_mask (__A, 2902 (__v16qi) 2903 _mm_setzero_si128 (), 2904 __M); 2905 } 2906 2907 static __inline__ __m256i __DEFAULT_FN_ATTRS 2908 _mm256_mask_set1_epi8 (__m256i __O, __mmask32 __M, char __A) 2909 { 2910 return (__m256i) __builtin_ia32_pbroadcastb256_gpr_mask (__A, 2911 (__v32qi) __O, 2912 __M); 2913 } 2914 2915 static __inline__ __m256i __DEFAULT_FN_ATTRS 2916 _mm256_maskz_set1_epi8 (__mmask32 __M, char __A) 2917 { 2918 return (__m256i) __builtin_ia32_pbroadcastb256_gpr_mask (__A, 2919 (__v32qi) 2920 _mm256_setzero_si256 (), 2921 __M); 2922 } 2923 2924 static __inline__ __m128i __DEFAULT_FN_ATTRS 2925 _mm_mask_loadu_epi16 (__m128i __W, __mmask8 __U, void const *__P) 2926 { 2927 return (__m128i) __builtin_ia32_loaddquhi128_mask ((__v8hi *) __P, 2928 (__v8hi) __W, 2929 (__mmask8) __U); 2930 } 2931 2932 static __inline__ __m128i __DEFAULT_FN_ATTRS 2933 _mm_maskz_loadu_epi16 (__mmask8 __U, void const *__P) 2934 { 2935 return (__m128i) __builtin_ia32_loaddquhi128_mask ((__v8hi *) __P, 2936 (__v8hi) 2937 _mm_setzero_hi (), 2938 (__mmask8) __U); 2939 } 2940 2941 static __inline__ __m256i __DEFAULT_FN_ATTRS 2942 _mm256_mask_loadu_epi16 (__m256i __W, __mmask16 __U, void const *__P) 2943 { 2944 return (__m256i) __builtin_ia32_loaddquhi256_mask ((__v16hi *) __P, 2945 (__v16hi) __W, 2946 (__mmask16) __U); 2947 } 2948 2949 static __inline__ __m256i __DEFAULT_FN_ATTRS 2950 _mm256_maskz_loadu_epi16 (__mmask16 __U, void const *__P) 2951 { 2952 return (__m256i) __builtin_ia32_loaddquhi256_mask ((__v16hi *) __P, 2953 (__v16hi) 2954 _mm256_setzero_si256 (), 2955 (__mmask16) __U); 2956 } 2957 2958 static __inline__ __m128i __DEFAULT_FN_ATTRS 2959 _mm_mask_loadu_epi8 (__m128i __W, __mmask16 __U, void const *__P) 2960 { 2961 return (__m128i) __builtin_ia32_loaddquqi128_mask ((__v16qi *) __P, 2962 (__v16qi) __W, 2963 (__mmask16) __U); 2964 } 2965 2966 static __inline__ __m128i __DEFAULT_FN_ATTRS 2967 _mm_maskz_loadu_epi8 (__mmask16 __U, void const *__P) 2968 { 2969 return (__m128i) __builtin_ia32_loaddquqi128_mask ((__v16qi *) __P, 2970 (__v16qi) 2971 _mm_setzero_si128 (), 2972 (__mmask16) __U); 2973 } 2974 2975 static __inline__ __m256i __DEFAULT_FN_ATTRS 2976 _mm256_mask_loadu_epi8 (__m256i __W, __mmask32 __U, void const *__P) 2977 { 2978 return (__m256i) __builtin_ia32_loaddquqi256_mask ((__v32qi *) __P, 2979 (__v32qi) __W, 2980 (__mmask32) __U); 2981 } 2982 2983 static __inline__ __m256i __DEFAULT_FN_ATTRS 2984 _mm256_maskz_loadu_epi8 (__mmask32 __U, void const *__P) 2985 { 2986 return (__m256i) __builtin_ia32_loaddquqi256_mask ((__v32qi *) __P, 2987 (__v32qi) 2988 _mm256_setzero_si256 (), 2989 (__mmask32) __U); 2990 } 2991 static __inline__ void __DEFAULT_FN_ATTRS 2992 _mm_mask_storeu_epi16 (void *__P, __mmask8 __U, __m128i __A) 2993 { 2994 __builtin_ia32_storedquhi128_mask ((__v8hi *) __P, 2995 (__v8hi) __A, 2996 (__mmask8) __U); 2997 } 2998 2999 static __inline__ void __DEFAULT_FN_ATTRS 3000 _mm256_mask_storeu_epi16 (void *__P, __mmask16 __U, __m256i __A) 3001 { 3002 __builtin_ia32_storedquhi256_mask ((__v16hi *) __P, 3003 (__v16hi) __A, 3004 (__mmask16) __U); 3005 } 3006 3007 static __inline__ void __DEFAULT_FN_ATTRS 3008 _mm_mask_storeu_epi8 (void *__P, __mmask16 __U, __m128i __A) 3009 { 3010 __builtin_ia32_storedquqi128_mask ((__v16qi *) __P, 3011 (__v16qi) __A, 3012 (__mmask16) __U); 3013 } 3014 3015 static __inline__ void __DEFAULT_FN_ATTRS 3016 _mm256_mask_storeu_epi8 (void *__P, __mmask32 __U, __m256i __A) 3017 { 3018 __builtin_ia32_storedquqi256_mask ((__v32qi *) __P, 3019 (__v32qi) __A, 3020 (__mmask32) __U); 3021 } 3022 3023 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 3024 _mm_test_epi8_mask (__m128i __A, __m128i __B) 3025 { 3026 return (__mmask16) __builtin_ia32_ptestmb128 ((__v16qi) __A, 3027 (__v16qi) __B, 3028 (__mmask16) -1); 3029 } 3030 3031 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 3032 _mm_mask_test_epi8_mask (__mmask16 __U, __m128i __A, __m128i __B) 3033 { 3034 return (__mmask16) __builtin_ia32_ptestmb128 ((__v16qi) __A, 3035 (__v16qi) __B, __U); 3036 } 3037 3038 static __inline__ __mmask32 __DEFAULT_FN_ATTRS 3039 _mm256_test_epi8_mask (__m256i __A, __m256i __B) 3040 { 3041 return (__mmask32) __builtin_ia32_ptestmb256 ((__v32qi) __A, 3042 (__v32qi) __B, 3043 (__mmask32) -1); 3044 } 3045 3046 static __inline__ __mmask32 __DEFAULT_FN_ATTRS 3047 _mm256_mask_test_epi8_mask (__mmask32 __U, __m256i __A, __m256i __B) 3048 { 3049 return (__mmask32) __builtin_ia32_ptestmb256 ((__v32qi) __A, 3050 (__v32qi) __B, __U); 3051 } 3052 3053 static __inline__ __mmask8 __DEFAULT_FN_ATTRS 3054 _mm_test_epi16_mask (__m128i __A, __m128i __B) 3055 { 3056 return (__mmask8) __builtin_ia32_ptestmw128 ((__v8hi) __A, 3057 (__v8hi) __B, 3058 (__mmask8) -1); 3059 } 3060 3061 static __inline__ __mmask8 __DEFAULT_FN_ATTRS 3062 _mm_mask_test_epi16_mask (__mmask8 __U, __m128i __A, __m128i __B) 3063 { 3064 return (__mmask8) __builtin_ia32_ptestmw128 ((__v8hi) __A, 3065 (__v8hi) __B, __U); 3066 } 3067 3068 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 3069 _mm256_test_epi16_mask (__m256i __A, __m256i __B) 3070 { 3071 return (__mmask16) __builtin_ia32_ptestmw256 ((__v16hi) __A, 3072 (__v16hi) __B, 3073 (__mmask16) -1); 3074 } 3075 3076 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 3077 _mm256_mask_test_epi16_mask (__mmask16 __U, __m256i __A, __m256i __B) 3078 { 3079 return (__mmask16) __builtin_ia32_ptestmw256 ((__v16hi) __A, 3080 (__v16hi) __B, __U); 3081 } 3082 3083 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 3084 _mm_testn_epi8_mask (__m128i __A, __m128i __B) 3085 { 3086 return (__mmask16) __builtin_ia32_ptestnmb128 ((__v16qi) __A, 3087 (__v16qi) __B, 3088 (__mmask16) -1); 3089 } 3090 3091 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 3092 _mm_mask_testn_epi8_mask (__mmask16 __U, __m128i __A, __m128i __B) 3093 { 3094 return (__mmask16) __builtin_ia32_ptestnmb128 ((__v16qi) __A, 3095 (__v16qi) __B, __U); 3096 } 3097 3098 static __inline__ __mmask32 __DEFAULT_FN_ATTRS 3099 _mm256_testn_epi8_mask (__m256i __A, __m256i __B) 3100 { 3101 return (__mmask32) __builtin_ia32_ptestnmb256 ((__v32qi) __A, 3102 (__v32qi) __B, 3103 (__mmask32) -1); 3104 } 3105 3106 static __inline__ __mmask32 __DEFAULT_FN_ATTRS 3107 _mm256_mask_testn_epi8_mask (__mmask32 __U, __m256i __A, __m256i __B) 3108 { 3109 return (__mmask32) __builtin_ia32_ptestnmb256 ((__v32qi) __A, 3110 (__v32qi) __B, __U); 3111 } 3112 3113 static __inline__ __mmask8 __DEFAULT_FN_ATTRS 3114 _mm_testn_epi16_mask (__m128i __A, __m128i __B) 3115 { 3116 return (__mmask8) __builtin_ia32_ptestnmw128 ((__v8hi) __A, 3117 (__v8hi) __B, 3118 (__mmask8) -1); 3119 } 3120 3121 static __inline__ __mmask8 __DEFAULT_FN_ATTRS 3122 _mm_mask_testn_epi16_mask (__mmask8 __U, __m128i __A, __m128i __B) 3123 { 3124 return (__mmask8) __builtin_ia32_ptestnmw128 ((__v8hi) __A, 3125 (__v8hi) __B, __U); 3126 } 3127 3128 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 3129 _mm256_testn_epi16_mask (__m256i __A, __m256i __B) 3130 { 3131 return (__mmask16) __builtin_ia32_ptestnmw256 ((__v16hi) __A, 3132 (__v16hi) __B, 3133 (__mmask16) -1); 3134 } 3135 3136 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 3137 _mm256_mask_testn_epi16_mask (__mmask16 __U, __m256i __A, __m256i __B) 3138 { 3139 return (__mmask16) __builtin_ia32_ptestnmw256 ((__v16hi) __A, 3140 (__v16hi) __B, __U); 3141 } 3142 3143 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 3144 _mm_movepi8_mask (__m128i __A) 3145 { 3146 return (__mmask16) __builtin_ia32_cvtb2mask128 ((__v16qi) __A); 3147 } 3148 3149 static __inline__ __mmask32 __DEFAULT_FN_ATTRS 3150 _mm256_movepi8_mask (__m256i __A) 3151 { 3152 return (__mmask32) __builtin_ia32_cvtb2mask256 ((__v32qi) __A); 3153 } 3154 3155 static __inline__ __mmask8 __DEFAULT_FN_ATTRS 3156 _mm_movepi16_mask (__m128i __A) 3157 { 3158 return (__mmask8) __builtin_ia32_cvtw2mask128 ((__v8hi) __A); 3159 } 3160 3161 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 3162 _mm256_movepi16_mask (__m256i __A) 3163 { 3164 return (__mmask16) __builtin_ia32_cvtw2mask256 ((__v16hi) __A); 3165 } 3166 3167 static __inline__ __m128i __DEFAULT_FN_ATTRS 3168 _mm_movm_epi8 (__mmask16 __A) 3169 { 3170 return (__m128i) __builtin_ia32_cvtmask2b128 (__A); 3171 } 3172 3173 static __inline__ __m256i __DEFAULT_FN_ATTRS 3174 _mm256_movm_epi8 (__mmask32 __A) 3175 { 3176 return (__m256i) __builtin_ia32_cvtmask2b256 (__A); 3177 } 3178 3179 static __inline__ __m128i __DEFAULT_FN_ATTRS 3180 _mm_movm_epi16 (__mmask8 __A) 3181 { 3182 return (__m128i) __builtin_ia32_cvtmask2w128 (__A); 3183 } 3184 3185 static __inline__ __m256i __DEFAULT_FN_ATTRS 3186 _mm256_movm_epi16 (__mmask16 __A) 3187 { 3188 return (__m256i) __builtin_ia32_cvtmask2w256 (__A); 3189 } 3190 3191 static __inline__ __m128i __DEFAULT_FN_ATTRS 3192 _mm_mask_broadcastb_epi8 (__m128i __O, __mmask16 __M, __m128i __A) 3193 { 3194 return (__m128i)__builtin_ia32_selectb_128(__M, 3195 (__v16qi) _mm_broadcastb_epi8(__A), 3196 (__v16qi) __O); 3197 } 3198 3199 static __inline__ __m128i __DEFAULT_FN_ATTRS 3200 _mm_maskz_broadcastb_epi8 (__mmask16 __M, __m128i __A) 3201 { 3202 return (__m128i)__builtin_ia32_selectb_128(__M, 3203 (__v16qi) _mm_broadcastb_epi8(__A), 3204 (__v16qi) _mm_setzero_si128()); 3205 } 3206 3207 static __inline__ __m256i __DEFAULT_FN_ATTRS 3208 _mm256_mask_broadcastb_epi8 (__m256i __O, __mmask32 __M, __m128i __A) 3209 { 3210 return (__m256i)__builtin_ia32_selectb_256(__M, 3211 (__v32qi) _mm256_broadcastb_epi8(__A), 3212 (__v32qi) __O); 3213 } 3214 3215 static __inline__ __m256i __DEFAULT_FN_ATTRS 3216 _mm256_maskz_broadcastb_epi8 (__mmask32 __M, __m128i __A) 3217 { 3218 return (__m256i)__builtin_ia32_selectb_256(__M, 3219 (__v32qi) _mm256_broadcastb_epi8(__A), 3220 (__v32qi) _mm256_setzero_si256()); 3221 } 3222 3223 static __inline__ __m128i __DEFAULT_FN_ATTRS 3224 _mm_mask_broadcastw_epi16 (__m128i __O, __mmask8 __M, __m128i __A) 3225 { 3226 return (__m128i)__builtin_ia32_selectw_128(__M, 3227 (__v8hi) _mm_broadcastw_epi16(__A), 3228 (__v8hi) __O); 3229 } 3230 3231 static __inline__ __m128i __DEFAULT_FN_ATTRS 3232 _mm_maskz_broadcastw_epi16 (__mmask8 __M, __m128i __A) 3233 { 3234 return (__m128i)__builtin_ia32_selectw_128(__M, 3235 (__v8hi) _mm_broadcastw_epi16(__A), 3236 (__v8hi) _mm_setzero_si128()); 3237 } 3238 3239 static __inline__ __m256i __DEFAULT_FN_ATTRS 3240 _mm256_mask_broadcastw_epi16 (__m256i __O, __mmask16 __M, __m128i __A) 3241 { 3242 return (__m256i)__builtin_ia32_selectw_256(__M, 3243 (__v16hi) _mm256_broadcastw_epi16(__A), 3244 (__v16hi) __O); 3245 } 3246 3247 static __inline__ __m256i __DEFAULT_FN_ATTRS 3248 _mm256_maskz_broadcastw_epi16 (__mmask16 __M, __m128i __A) 3249 { 3250 return (__m256i)__builtin_ia32_selectw_256(__M, 3251 (__v16hi) _mm256_broadcastw_epi16(__A), 3252 (__v16hi) _mm256_setzero_si256()); 3253 } 3254 3255 static __inline__ __m256i __DEFAULT_FN_ATTRS 3256 _mm256_mask_set1_epi16 (__m256i __O, __mmask16 __M, short __A) 3257 { 3258 return (__m256i) __builtin_ia32_pbroadcastw256_gpr_mask (__A, 3259 (__v16hi) __O, 3260 __M); 3261 } 3262 3263 static __inline__ __m256i __DEFAULT_FN_ATTRS 3264 _mm256_maskz_set1_epi16 (__mmask16 __M, short __A) 3265 { 3266 return (__m256i) __builtin_ia32_pbroadcastw256_gpr_mask (__A, 3267 (__v16hi) _mm256_setzero_si256 (), 3268 __M); 3269 } 3270 3271 static __inline__ __m128i __DEFAULT_FN_ATTRS 3272 _mm_mask_set1_epi16 (__m128i __O, __mmask8 __M, short __A) 3273 { 3274 return (__m128i) __builtin_ia32_pbroadcastw128_gpr_mask (__A, 3275 (__v8hi) __O, 3276 __M); 3277 } 3278 3279 static __inline__ __m128i __DEFAULT_FN_ATTRS 3280 _mm_maskz_set1_epi16 (__mmask8 __M, short __A) 3281 { 3282 return (__m128i) __builtin_ia32_pbroadcastw128_gpr_mask (__A, 3283 (__v8hi) _mm_setzero_si128 (), 3284 __M); 3285 } 3286 3287 static __inline__ __m128i __DEFAULT_FN_ATTRS 3288 _mm_permutexvar_epi16 (__m128i __A, __m128i __B) 3289 { 3290 return (__m128i) __builtin_ia32_permvarhi128_mask ((__v8hi) __B, 3291 (__v8hi) __A, 3292 (__v8hi) _mm_undefined_si128 (), 3293 (__mmask8) -1); 3294 } 3295 3296 static __inline__ __m128i __DEFAULT_FN_ATTRS 3297 _mm_maskz_permutexvar_epi16 (__mmask8 __M, __m128i __A, __m128i __B) 3298 { 3299 return (__m128i) __builtin_ia32_permvarhi128_mask ((__v8hi) __B, 3300 (__v8hi) __A, 3301 (__v8hi) _mm_setzero_si128 (), 3302 (__mmask8) __M); 3303 } 3304 3305 static __inline__ __m128i __DEFAULT_FN_ATTRS 3306 _mm_mask_permutexvar_epi16 (__m128i __W, __mmask8 __M, __m128i __A, 3307 __m128i __B) 3308 { 3309 return (__m128i) __builtin_ia32_permvarhi128_mask ((__v8hi) __B, 3310 (__v8hi) __A, 3311 (__v8hi) __W, 3312 (__mmask8) __M); 3313 } 3314 3315 static __inline__ __m256i __DEFAULT_FN_ATTRS 3316 _mm256_permutexvar_epi16 (__m256i __A, __m256i __B) 3317 { 3318 return (__m256i) __builtin_ia32_permvarhi256_mask ((__v16hi) __B, 3319 (__v16hi) __A, 3320 (__v16hi) _mm256_undefined_si256 (), 3321 (__mmask16) -1); 3322 } 3323 3324 static __inline__ __m256i __DEFAULT_FN_ATTRS 3325 _mm256_maskz_permutexvar_epi16 (__mmask16 __M, __m256i __A, 3326 __m256i __B) 3327 { 3328 return (__m256i) __builtin_ia32_permvarhi256_mask ((__v16hi) __B, 3329 (__v16hi) __A, 3330 (__v16hi) _mm256_setzero_si256 (), 3331 (__mmask16) __M); 3332 } 3333 3334 static __inline__ __m256i __DEFAULT_FN_ATTRS 3335 _mm256_mask_permutexvar_epi16 (__m256i __W, __mmask16 __M, __m256i __A, 3336 __m256i __B) 3337 { 3338 return (__m256i) __builtin_ia32_permvarhi256_mask ((__v16hi) __B, 3339 (__v16hi) __A, 3340 (__v16hi) __W, 3341 (__mmask16) __M); 3342 } 3343 3344 #define _mm_mask_alignr_epi8(W, U, A, B, N) __extension__ ({ \ 3345 (__m128i)__builtin_ia32_palignr128_mask((__v16qi)(__m128i)(A), \ 3346 (__v16qi)(__m128i)(B), (int)(N), \ 3347 (__v16qi)(__m128i)(W), \ 3348 (__mmask16)(U)); }) 3349 3350 #define _mm_maskz_alignr_epi8(U, A, B, N) __extension__ ({ \ 3351 (__m128i)__builtin_ia32_palignr128_mask((__v16qi)(__m128i)(A), \ 3352 (__v16qi)(__m128i)(B), (int)(N), \ 3353 (__v16qi)_mm_setzero_si128(), \ 3354 (__mmask16)(U)); }) 3355 3356 #define _mm256_mask_alignr_epi8(W, U, A, B, N) __extension__ ({ \ 3357 (__m256i)__builtin_ia32_palignr256_mask((__v32qi)(__m256i)(A), \ 3358 (__v32qi)(__m256i)(B), (int)(N), \ 3359 (__v32qi)(__m256i)(W), \ 3360 (__mmask32)(U)); }) 3361 3362 #define _mm256_maskz_alignr_epi8(U, A, B, N) __extension__ ({ \ 3363 (__m256i)__builtin_ia32_palignr256_mask((__v32qi)(__m256i)(A), \ 3364 (__v32qi)(__m256i)(B), (int)(N), \ 3365 (__v32qi)_mm256_setzero_si256(), \ 3366 (__mmask32)(U)); }) 3367 3368 #define _mm_dbsad_epu8(A, B, imm) __extension__ ({ \ 3369 (__m128i)__builtin_ia32_dbpsadbw128_mask((__v16qi)(__m128i)(A), \ 3370 (__v16qi)(__m128i)(B), (int)(imm), \ 3371 (__v8hi)_mm_setzero_hi(), \ 3372 (__mmask8)-1); }) 3373 3374 #define _mm_mask_dbsad_epu8(W, U, A, B, imm) __extension__ ({ \ 3375 (__m128i)__builtin_ia32_dbpsadbw128_mask((__v16qi)(__m128i)(A), \ 3376 (__v16qi)(__m128i)(B), (int)(imm), \ 3377 (__v8hi)(__m128i)(W), \ 3378 (__mmask8)(U)); }) 3379 3380 #define _mm_maskz_dbsad_epu8(U, A, B, imm) __extension__ ({ \ 3381 (__m128i)__builtin_ia32_dbpsadbw128_mask((__v16qi)(__m128i)(A), \ 3382 (__v16qi)(__m128i)(B), (int)(imm), \ 3383 (__v8hi)_mm_setzero_si128(), \ 3384 (__mmask8)(U)); }) 3385 3386 #define _mm256_dbsad_epu8(A, B, imm) __extension__ ({ \ 3387 (__m256i)__builtin_ia32_dbpsadbw256_mask((__v32qi)(__m256i)(A), \ 3388 (__v32qi)(__m256i)(B), (int)(imm), \ 3389 (__v16hi)_mm256_setzero_si256(), \ 3390 (__mmask16)-1); }) 3391 3392 #define _mm256_mask_dbsad_epu8(W, U, A, B, imm) __extension__ ({ \ 3393 (__m256i)__builtin_ia32_dbpsadbw256_mask((__v32qi)(__m256i)(A), \ 3394 (__v32qi)(__m256i)(B), (int)(imm), \ 3395 (__v16hi)(__m256i)(W), \ 3396 (__mmask16)(U)); }) 3397 3398 #define _mm256_maskz_dbsad_epu8(U, A, B, imm) __extension__ ({ \ 3399 (__m256i)__builtin_ia32_dbpsadbw256_mask((__v32qi)(__m256i)(A), \ 3400 (__v32qi)(__m256i)(B), (int)(imm), \ 3401 (__v16hi)_mm256_setzero_si256(), \ 3402 (__mmask16)(U)); }) 3403 3404 #undef __DEFAULT_FN_ATTRS 3405 3406 #endif /* __AVX512VLBWINTRIN_H */ 3407
