1 /*===---- avx512vlbwintrin.h - AVX512VL and AVX512BW intrinsics ------------=== 2 * 3 * Permission is hereby granted, free of charge, to any person obtaining a copy 4 * of this software and associated documentation files (the "Software"), to deal 5 * in the Software without restriction, including without limitation the rights 6 * to use, copy, modify, merge, publish, distribute, sublicense, and/or sell 7 * copies of the Software, and to permit persons to whom the Software is 8 * furnished to do so, subject to the following conditions: 9 * 10 * The above copyright notice and this permission notice shall be included in 11 * all copies or substantial portions of the Software. 12 * 13 * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR 14 * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY, 15 * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE 16 * AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER 17 * LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, 18 * OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN 19 * THE SOFTWARE. 20 * 21 *===-----------------------------------------------------------------------=== 22 */ 23 24 #ifndef __IMMINTRIN_H 25 #error "Never use <avx512vlbwintrin.h> directly; include <immintrin.h> instead." 26 #endif 27 28 #ifndef __AVX512VLBWINTRIN_H 29 #define __AVX512VLBWINTRIN_H 30 31 /* Define the default attributes for the functions in this file. */ 32 #define __DEFAULT_FN_ATTRS __attribute__((__always_inline__, __nodebug__, __target__("avx512vl,avx512bw"))) 33 34 /* Integer compare */ 35 36 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 37 _mm_cmpeq_epi8_mask(__m128i __a, __m128i __b) { 38 return (__mmask16)__builtin_ia32_pcmpeqb128_mask((__v16qi)__a, (__v16qi)__b, 39 (__mmask16)-1); 40 } 41 42 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 43 _mm_mask_cmpeq_epi8_mask(__mmask16 __u, __m128i __a, __m128i __b) { 44 return (__mmask16)__builtin_ia32_pcmpeqb128_mask((__v16qi)__a, (__v16qi)__b, 45 __u); 46 } 47 48 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 49 _mm_cmpeq_epu8_mask(__m128i __a, __m128i __b) { 50 return (__mmask16)__builtin_ia32_ucmpb128_mask((__v16qi)__a, (__v16qi)__b, 0, 51 (__mmask16)-1); 52 } 53 54 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 55 _mm_mask_cmpeq_epu8_mask(__mmask16 __u, __m128i __a, __m128i __b) { 56 return (__mmask16)__builtin_ia32_ucmpb128_mask((__v16qi)__a, (__v16qi)__b, 0, 57 __u); 58 } 59 60 static __inline__ __mmask32 __DEFAULT_FN_ATTRS 61 _mm256_cmpeq_epi8_mask(__m256i __a, __m256i __b) { 62 return (__mmask32)__builtin_ia32_pcmpeqb256_mask((__v32qi)__a, (__v32qi)__b, 63 (__mmask32)-1); 64 } 65 66 static __inline__ __mmask32 __DEFAULT_FN_ATTRS 67 _mm256_mask_cmpeq_epi8_mask(__mmask32 __u, __m256i __a, __m256i __b) { 68 return (__mmask32)__builtin_ia32_pcmpeqb256_mask((__v32qi)__a, (__v32qi)__b, 69 __u); 70 } 71 72 static __inline__ __mmask32 __DEFAULT_FN_ATTRS 73 _mm256_cmpeq_epu8_mask(__m256i __a, __m256i __b) { 74 return (__mmask32)__builtin_ia32_ucmpb256_mask((__v32qi)__a, (__v32qi)__b, 0, 75 (__mmask32)-1); 76 } 77 78 static __inline__ __mmask32 __DEFAULT_FN_ATTRS 79 _mm256_mask_cmpeq_epu8_mask(__mmask32 __u, __m256i __a, __m256i __b) { 80 return (__mmask32)__builtin_ia32_ucmpb256_mask((__v32qi)__a, (__v32qi)__b, 0, 81 __u); 82 } 83 84 static __inline__ __mmask8 __DEFAULT_FN_ATTRS 85 _mm_cmpeq_epi16_mask(__m128i __a, __m128i __b) { 86 return (__mmask8)__builtin_ia32_pcmpeqw128_mask((__v8hi)__a, (__v8hi)__b, 87 (__mmask8)-1); 88 } 89 90 static __inline__ __mmask8 __DEFAULT_FN_ATTRS 91 _mm_mask_cmpeq_epi16_mask(__mmask8 __u, __m128i __a, __m128i __b) { 92 return (__mmask8)__builtin_ia32_pcmpeqw128_mask((__v8hi)__a, (__v8hi)__b, 93 __u); 94 } 95 96 static __inline__ __mmask8 __DEFAULT_FN_ATTRS 97 _mm_cmpeq_epu16_mask(__m128i __a, __m128i __b) { 98 return (__mmask8)__builtin_ia32_ucmpw128_mask((__v8hi)__a, (__v8hi)__b, 0, 99 (__mmask8)-1); 100 } 101 102 static __inline__ __mmask8 __DEFAULT_FN_ATTRS 103 _mm_mask_cmpeq_epu16_mask(__mmask8 __u, __m128i __a, __m128i __b) { 104 return (__mmask8)__builtin_ia32_ucmpw128_mask((__v8hi)__a, (__v8hi)__b, 0, 105 __u); 106 } 107 108 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 109 _mm256_cmpeq_epi16_mask(__m256i __a, __m256i __b) { 110 return (__mmask16)__builtin_ia32_pcmpeqw256_mask((__v16hi)__a, (__v16hi)__b, 111 (__mmask16)-1); 112 } 113 114 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 115 _mm256_mask_cmpeq_epi16_mask(__mmask16 __u, __m256i __a, __m256i __b) { 116 return (__mmask16)__builtin_ia32_pcmpeqw256_mask((__v16hi)__a, (__v16hi)__b, 117 __u); 118 } 119 120 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 121 _mm256_cmpeq_epu16_mask(__m256i __a, __m256i __b) { 122 return (__mmask16)__builtin_ia32_ucmpw256_mask((__v16hi)__a, (__v16hi)__b, 0, 123 (__mmask16)-1); 124 } 125 126 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 127 _mm256_mask_cmpeq_epu16_mask(__mmask16 __u, __m256i __a, __m256i __b) { 128 return (__mmask16)__builtin_ia32_ucmpw256_mask((__v16hi)__a, (__v16hi)__b, 0, 129 __u); 130 } 131 132 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 133 _mm_cmpge_epi8_mask(__m128i __a, __m128i __b) { 134 return (__mmask16)__builtin_ia32_cmpb128_mask((__v16qi)__a, (__v16qi)__b, 5, 135 (__mmask16)-1); 136 } 137 138 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 139 _mm_mask_cmpge_epi8_mask(__mmask16 __u, __m128i __a, __m128i __b) { 140 return (__mmask16)__builtin_ia32_cmpb128_mask((__v16qi)__a, (__v16qi)__b, 5, 141 __u); 142 } 143 144 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 145 _mm_cmpge_epu8_mask(__m128i __a, __m128i __b) { 146 return (__mmask16)__builtin_ia32_ucmpb128_mask((__v16qi)__a, (__v16qi)__b, 5, 147 (__mmask16)-1); 148 } 149 150 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 151 _mm_mask_cmpge_epu8_mask(__mmask16 __u, __m128i __a, __m128i __b) { 152 return (__mmask16)__builtin_ia32_ucmpb128_mask((__v16qi)__a, (__v16qi)__b, 5, 153 __u); 154 } 155 156 static __inline__ __mmask32 __DEFAULT_FN_ATTRS 157 _mm256_cmpge_epi8_mask(__m256i __a, __m256i __b) { 158 return (__mmask32)__builtin_ia32_cmpb256_mask((__v32qi)__a, (__v32qi)__b, 5, 159 (__mmask32)-1); 160 } 161 162 static __inline__ __mmask32 __DEFAULT_FN_ATTRS 163 _mm256_mask_cmpge_epi8_mask(__mmask32 __u, __m256i __a, __m256i __b) { 164 return (__mmask32)__builtin_ia32_cmpb256_mask((__v32qi)__a, (__v32qi)__b, 5, 165 __u); 166 } 167 168 static __inline__ __mmask32 __DEFAULT_FN_ATTRS 169 _mm256_cmpge_epu8_mask(__m256i __a, __m256i __b) { 170 return (__mmask32)__builtin_ia32_ucmpb256_mask((__v32qi)__a, (__v32qi)__b, 5, 171 (__mmask32)-1); 172 } 173 174 static __inline__ __mmask32 __DEFAULT_FN_ATTRS 175 _mm256_mask_cmpge_epu8_mask(__mmask32 __u, __m256i __a, __m256i __b) { 176 return (__mmask32)__builtin_ia32_ucmpb256_mask((__v32qi)__a, (__v32qi)__b, 5, 177 __u); 178 } 179 180 static __inline__ __mmask8 __DEFAULT_FN_ATTRS 181 _mm_cmpge_epi16_mask(__m128i __a, __m128i __b) { 182 return (__mmask8)__builtin_ia32_cmpw128_mask((__v8hi)__a, (__v8hi)__b, 5, 183 (__mmask8)-1); 184 } 185 186 static __inline__ __mmask8 __DEFAULT_FN_ATTRS 187 _mm_mask_cmpge_epi16_mask(__mmask8 __u, __m128i __a, __m128i __b) { 188 return (__mmask8)__builtin_ia32_cmpw128_mask((__v8hi)__a, (__v8hi)__b, 5, 189 __u); 190 } 191 192 static __inline__ __mmask8 __DEFAULT_FN_ATTRS 193 _mm_cmpge_epu16_mask(__m128i __a, __m128i __b) { 194 return (__mmask8)__builtin_ia32_ucmpw128_mask((__v8hi)__a, (__v8hi)__b, 5, 195 (__mmask8)-1); 196 } 197 198 static __inline__ __mmask8 __DEFAULT_FN_ATTRS 199 _mm_mask_cmpge_epu16_mask(__mmask8 __u, __m128i __a, __m128i __b) { 200 return (__mmask8)__builtin_ia32_ucmpw128_mask((__v8hi)__a, (__v8hi)__b, 5, 201 __u); 202 } 203 204 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 205 _mm256_cmpge_epi16_mask(__m256i __a, __m256i __b) { 206 return (__mmask16)__builtin_ia32_cmpw256_mask((__v16hi)__a, (__v16hi)__b, 5, 207 (__mmask16)-1); 208 } 209 210 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 211 _mm256_mask_cmpge_epi16_mask(__mmask16 __u, __m256i __a, __m256i __b) { 212 return (__mmask16)__builtin_ia32_cmpw256_mask((__v16hi)__a, (__v16hi)__b, 5, 213 __u); 214 } 215 216 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 217 _mm256_cmpge_epu16_mask(__m256i __a, __m256i __b) { 218 return (__mmask16)__builtin_ia32_ucmpw256_mask((__v16hi)__a, (__v16hi)__b, 5, 219 (__mmask16)-1); 220 } 221 222 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 223 _mm256_mask_cmpge_epu16_mask(__mmask16 __u, __m256i __a, __m256i __b) { 224 return (__mmask16)__builtin_ia32_ucmpw256_mask((__v16hi)__a, (__v16hi)__b, 5, 225 __u); 226 } 227 228 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 229 _mm_cmpgt_epi8_mask(__m128i __a, __m128i __b) { 230 return (__mmask16)__builtin_ia32_pcmpgtb128_mask((__v16qi)__a, (__v16qi)__b, 231 (__mmask16)-1); 232 } 233 234 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 235 _mm_mask_cmpgt_epi8_mask(__mmask16 __u, __m128i __a, __m128i __b) { 236 return (__mmask16)__builtin_ia32_pcmpgtb128_mask((__v16qi)__a, (__v16qi)__b, 237 __u); 238 } 239 240 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 241 _mm_cmpgt_epu8_mask(__m128i __a, __m128i __b) { 242 return (__mmask16)__builtin_ia32_ucmpb128_mask((__v16qi)__a, (__v16qi)__b, 6, 243 (__mmask16)-1); 244 } 245 246 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 247 _mm_mask_cmpgt_epu8_mask(__mmask16 __u, __m128i __a, __m128i __b) { 248 return (__mmask16)__builtin_ia32_ucmpb128_mask((__v16qi)__a, (__v16qi)__b, 6, 249 __u); 250 } 251 252 static __inline__ __mmask32 __DEFAULT_FN_ATTRS 253 _mm256_cmpgt_epi8_mask(__m256i __a, __m256i __b) { 254 return (__mmask32)__builtin_ia32_pcmpgtb256_mask((__v32qi)__a, (__v32qi)__b, 255 (__mmask32)-1); 256 } 257 258 static __inline__ __mmask32 __DEFAULT_FN_ATTRS 259 _mm256_mask_cmpgt_epi8_mask(__mmask32 __u, __m256i __a, __m256i __b) { 260 return (__mmask32)__builtin_ia32_pcmpgtb256_mask((__v32qi)__a, (__v32qi)__b, 261 __u); 262 } 263 264 static __inline__ __mmask32 __DEFAULT_FN_ATTRS 265 _mm256_cmpgt_epu8_mask(__m256i __a, __m256i __b) { 266 return (__mmask32)__builtin_ia32_ucmpb256_mask((__v32qi)__a, (__v32qi)__b, 6, 267 (__mmask32)-1); 268 } 269 270 static __inline__ __mmask32 __DEFAULT_FN_ATTRS 271 _mm256_mask_cmpgt_epu8_mask(__mmask32 __u, __m256i __a, __m256i __b) { 272 return (__mmask32)__builtin_ia32_ucmpb256_mask((__v32qi)__a, (__v32qi)__b, 6, 273 __u); 274 } 275 276 static __inline__ __mmask8 __DEFAULT_FN_ATTRS 277 _mm_cmpgt_epi16_mask(__m128i __a, __m128i __b) { 278 return (__mmask8)__builtin_ia32_pcmpgtw128_mask((__v8hi)__a, (__v8hi)__b, 279 (__mmask8)-1); 280 } 281 282 static __inline__ __mmask8 __DEFAULT_FN_ATTRS 283 _mm_mask_cmpgt_epi16_mask(__mmask8 __u, __m128i __a, __m128i __b) { 284 return (__mmask8)__builtin_ia32_pcmpgtw128_mask((__v8hi)__a, (__v8hi)__b, 285 __u); 286 } 287 288 static __inline__ __mmask8 __DEFAULT_FN_ATTRS 289 _mm_cmpgt_epu16_mask(__m128i __a, __m128i __b) { 290 return (__mmask8)__builtin_ia32_ucmpw128_mask((__v8hi)__a, (__v8hi)__b, 6, 291 (__mmask8)-1); 292 } 293 294 static __inline__ __mmask8 __DEFAULT_FN_ATTRS 295 _mm_mask_cmpgt_epu16_mask(__mmask8 __u, __m128i __a, __m128i __b) { 296 return (__mmask8)__builtin_ia32_ucmpw128_mask((__v8hi)__a, (__v8hi)__b, 6, 297 __u); 298 } 299 300 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 301 _mm256_cmpgt_epi16_mask(__m256i __a, __m256i __b) { 302 return (__mmask16)__builtin_ia32_pcmpgtw256_mask((__v16hi)__a, (__v16hi)__b, 303 (__mmask16)-1); 304 } 305 306 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 307 _mm256_mask_cmpgt_epi16_mask(__mmask16 __u, __m256i __a, __m256i __b) { 308 return (__mmask16)__builtin_ia32_pcmpgtw256_mask((__v16hi)__a, (__v16hi)__b, 309 __u); 310 } 311 312 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 313 _mm256_cmpgt_epu16_mask(__m256i __a, __m256i __b) { 314 return (__mmask16)__builtin_ia32_ucmpw256_mask((__v16hi)__a, (__v16hi)__b, 6, 315 (__mmask16)-1); 316 } 317 318 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 319 _mm256_mask_cmpgt_epu16_mask(__mmask16 __u, __m256i __a, __m256i __b) { 320 return (__mmask16)__builtin_ia32_ucmpw256_mask((__v16hi)__a, (__v16hi)__b, 6, 321 __u); 322 } 323 324 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 325 _mm_cmple_epi8_mask(__m128i __a, __m128i __b) { 326 return (__mmask16)__builtin_ia32_cmpb128_mask((__v16qi)__a, (__v16qi)__b, 2, 327 (__mmask16)-1); 328 } 329 330 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 331 _mm_mask_cmple_epi8_mask(__mmask16 __u, __m128i __a, __m128i __b) { 332 return (__mmask16)__builtin_ia32_cmpb128_mask((__v16qi)__a, (__v16qi)__b, 2, 333 __u); 334 } 335 336 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 337 _mm_cmple_epu8_mask(__m128i __a, __m128i __b) { 338 return (__mmask16)__builtin_ia32_ucmpb128_mask((__v16qi)__a, (__v16qi)__b, 2, 339 (__mmask16)-1); 340 } 341 342 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 343 _mm_mask_cmple_epu8_mask(__mmask16 __u, __m128i __a, __m128i __b) { 344 return (__mmask16)__builtin_ia32_ucmpb128_mask((__v16qi)__a, (__v16qi)__b, 2, 345 __u); 346 } 347 348 static __inline__ __mmask32 __DEFAULT_FN_ATTRS 349 _mm256_cmple_epi8_mask(__m256i __a, __m256i __b) { 350 return (__mmask32)__builtin_ia32_cmpb256_mask((__v32qi)__a, (__v32qi)__b, 2, 351 (__mmask32)-1); 352 } 353 354 static __inline__ __mmask32 __DEFAULT_FN_ATTRS 355 _mm256_mask_cmple_epi8_mask(__mmask32 __u, __m256i __a, __m256i __b) { 356 return (__mmask32)__builtin_ia32_cmpb256_mask((__v32qi)__a, (__v32qi)__b, 2, 357 __u); 358 } 359 360 static __inline__ __mmask32 __DEFAULT_FN_ATTRS 361 _mm256_cmple_epu8_mask(__m256i __a, __m256i __b) { 362 return (__mmask32)__builtin_ia32_ucmpb256_mask((__v32qi)__a, (__v32qi)__b, 2, 363 (__mmask32)-1); 364 } 365 366 static __inline__ __mmask32 __DEFAULT_FN_ATTRS 367 _mm256_mask_cmple_epu8_mask(__mmask32 __u, __m256i __a, __m256i __b) { 368 return (__mmask32)__builtin_ia32_ucmpb256_mask((__v32qi)__a, (__v32qi)__b, 2, 369 __u); 370 } 371 372 static __inline__ __mmask8 __DEFAULT_FN_ATTRS 373 _mm_cmple_epi16_mask(__m128i __a, __m128i __b) { 374 return (__mmask8)__builtin_ia32_cmpw128_mask((__v8hi)__a, (__v8hi)__b, 2, 375 (__mmask8)-1); 376 } 377 378 static __inline__ __mmask8 __DEFAULT_FN_ATTRS 379 _mm_mask_cmple_epi16_mask(__mmask8 __u, __m128i __a, __m128i __b) { 380 return (__mmask8)__builtin_ia32_cmpw128_mask((__v8hi)__a, (__v8hi)__b, 2, 381 __u); 382 } 383 384 static __inline__ __mmask8 __DEFAULT_FN_ATTRS 385 _mm_cmple_epu16_mask(__m128i __a, __m128i __b) { 386 return (__mmask8)__builtin_ia32_ucmpw128_mask((__v8hi)__a, (__v8hi)__b, 2, 387 (__mmask8)-1); 388 } 389 390 static __inline__ __mmask8 __DEFAULT_FN_ATTRS 391 _mm_mask_cmple_epu16_mask(__mmask8 __u, __m128i __a, __m128i __b) { 392 return (__mmask8)__builtin_ia32_ucmpw128_mask((__v8hi)__a, (__v8hi)__b, 2, 393 __u); 394 } 395 396 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 397 _mm256_cmple_epi16_mask(__m256i __a, __m256i __b) { 398 return (__mmask16)__builtin_ia32_cmpw256_mask((__v16hi)__a, (__v16hi)__b, 2, 399 (__mmask16)-1); 400 } 401 402 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 403 _mm256_mask_cmple_epi16_mask(__mmask16 __u, __m256i __a, __m256i __b) { 404 return (__mmask16)__builtin_ia32_cmpw256_mask((__v16hi)__a, (__v16hi)__b, 2, 405 __u); 406 } 407 408 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 409 _mm256_cmple_epu16_mask(__m256i __a, __m256i __b) { 410 return (__mmask16)__builtin_ia32_ucmpw256_mask((__v16hi)__a, (__v16hi)__b, 2, 411 (__mmask16)-1); 412 } 413 414 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 415 _mm256_mask_cmple_epu16_mask(__mmask16 __u, __m256i __a, __m256i __b) { 416 return (__mmask16)__builtin_ia32_ucmpw256_mask((__v16hi)__a, (__v16hi)__b, 2, 417 __u); 418 } 419 420 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 421 _mm_cmplt_epi8_mask(__m128i __a, __m128i __b) { 422 return (__mmask16)__builtin_ia32_cmpb128_mask((__v16qi)__a, (__v16qi)__b, 1, 423 (__mmask16)-1); 424 } 425 426 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 427 _mm_mask_cmplt_epi8_mask(__mmask16 __u, __m128i __a, __m128i __b) { 428 return (__mmask16)__builtin_ia32_cmpb128_mask((__v16qi)__a, (__v16qi)__b, 1, 429 __u); 430 } 431 432 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 433 _mm_cmplt_epu8_mask(__m128i __a, __m128i __b) { 434 return (__mmask16)__builtin_ia32_ucmpb128_mask((__v16qi)__a, (__v16qi)__b, 1, 435 (__mmask16)-1); 436 } 437 438 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 439 _mm_mask_cmplt_epu8_mask(__mmask16 __u, __m128i __a, __m128i __b) { 440 return (__mmask16)__builtin_ia32_ucmpb128_mask((__v16qi)__a, (__v16qi)__b, 1, 441 __u); 442 } 443 444 static __inline__ __mmask32 __DEFAULT_FN_ATTRS 445 _mm256_cmplt_epi8_mask(__m256i __a, __m256i __b) { 446 return (__mmask32)__builtin_ia32_cmpb256_mask((__v32qi)__a, (__v32qi)__b, 1, 447 (__mmask32)-1); 448 } 449 450 static __inline__ __mmask32 __DEFAULT_FN_ATTRS 451 _mm256_mask_cmplt_epi8_mask(__mmask32 __u, __m256i __a, __m256i __b) { 452 return (__mmask32)__builtin_ia32_cmpb256_mask((__v32qi)__a, (__v32qi)__b, 1, 453 __u); 454 } 455 456 static __inline__ __mmask32 __DEFAULT_FN_ATTRS 457 _mm256_cmplt_epu8_mask(__m256i __a, __m256i __b) { 458 return (__mmask32)__builtin_ia32_ucmpb256_mask((__v32qi)__a, (__v32qi)__b, 1, 459 (__mmask32)-1); 460 } 461 462 static __inline__ __mmask32 __DEFAULT_FN_ATTRS 463 _mm256_mask_cmplt_epu8_mask(__mmask32 __u, __m256i __a, __m256i __b) { 464 return (__mmask32)__builtin_ia32_ucmpb256_mask((__v32qi)__a, (__v32qi)__b, 1, 465 __u); 466 } 467 468 static __inline__ __mmask8 __DEFAULT_FN_ATTRS 469 _mm_cmplt_epi16_mask(__m128i __a, __m128i __b) { 470 return (__mmask8)__builtin_ia32_cmpw128_mask((__v8hi)__a, (__v8hi)__b, 1, 471 (__mmask8)-1); 472 } 473 474 static __inline__ __mmask8 __DEFAULT_FN_ATTRS 475 _mm_mask_cmplt_epi16_mask(__mmask8 __u, __m128i __a, __m128i __b) { 476 return (__mmask8)__builtin_ia32_cmpw128_mask((__v8hi)__a, (__v8hi)__b, 1, 477 __u); 478 } 479 480 static __inline__ __mmask8 __DEFAULT_FN_ATTRS 481 _mm_cmplt_epu16_mask(__m128i __a, __m128i __b) { 482 return (__mmask8)__builtin_ia32_ucmpw128_mask((__v8hi)__a, (__v8hi)__b, 1, 483 (__mmask8)-1); 484 } 485 486 static __inline__ __mmask8 __DEFAULT_FN_ATTRS 487 _mm_mask_cmplt_epu16_mask(__mmask8 __u, __m128i __a, __m128i __b) { 488 return (__mmask8)__builtin_ia32_ucmpw128_mask((__v8hi)__a, (__v8hi)__b, 1, 489 __u); 490 } 491 492 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 493 _mm256_cmplt_epi16_mask(__m256i __a, __m256i __b) { 494 return (__mmask16)__builtin_ia32_cmpw256_mask((__v16hi)__a, (__v16hi)__b, 1, 495 (__mmask16)-1); 496 } 497 498 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 499 _mm256_mask_cmplt_epi16_mask(__mmask16 __u, __m256i __a, __m256i __b) { 500 return (__mmask16)__builtin_ia32_cmpw256_mask((__v16hi)__a, (__v16hi)__b, 1, 501 __u); 502 } 503 504 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 505 _mm256_cmplt_epu16_mask(__m256i __a, __m256i __b) { 506 return (__mmask16)__builtin_ia32_ucmpw256_mask((__v16hi)__a, (__v16hi)__b, 1, 507 (__mmask16)-1); 508 } 509 510 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 511 _mm256_mask_cmplt_epu16_mask(__mmask16 __u, __m256i __a, __m256i __b) { 512 return (__mmask16)__builtin_ia32_ucmpw256_mask((__v16hi)__a, (__v16hi)__b, 1, 513 __u); 514 } 515 516 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 517 _mm_cmpneq_epi8_mask(__m128i __a, __m128i __b) { 518 return (__mmask16)__builtin_ia32_cmpb128_mask((__v16qi)__a, (__v16qi)__b, 4, 519 (__mmask16)-1); 520 } 521 522 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 523 _mm_mask_cmpneq_epi8_mask(__mmask16 __u, __m128i __a, __m128i __b) { 524 return (__mmask16)__builtin_ia32_cmpb128_mask((__v16qi)__a, (__v16qi)__b, 4, 525 __u); 526 } 527 528 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 529 _mm_cmpneq_epu8_mask(__m128i __a, __m128i __b) { 530 return (__mmask16)__builtin_ia32_ucmpb128_mask((__v16qi)__a, (__v16qi)__b, 4, 531 (__mmask16)-1); 532 } 533 534 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 535 _mm_mask_cmpneq_epu8_mask(__mmask16 __u, __m128i __a, __m128i __b) { 536 return (__mmask16)__builtin_ia32_ucmpb128_mask((__v16qi)__a, (__v16qi)__b, 4, 537 __u); 538 } 539 540 static __inline__ __mmask32 __DEFAULT_FN_ATTRS 541 _mm256_cmpneq_epi8_mask(__m256i __a, __m256i __b) { 542 return (__mmask32)__builtin_ia32_cmpb256_mask((__v32qi)__a, (__v32qi)__b, 4, 543 (__mmask32)-1); 544 } 545 546 static __inline__ __mmask32 __DEFAULT_FN_ATTRS 547 _mm256_mask_cmpneq_epi8_mask(__mmask32 __u, __m256i __a, __m256i __b) { 548 return (__mmask32)__builtin_ia32_cmpb256_mask((__v32qi)__a, (__v32qi)__b, 4, 549 __u); 550 } 551 552 static __inline__ __mmask32 __DEFAULT_FN_ATTRS 553 _mm256_cmpneq_epu8_mask(__m256i __a, __m256i __b) { 554 return (__mmask32)__builtin_ia32_ucmpb256_mask((__v32qi)__a, (__v32qi)__b, 4, 555 (__mmask32)-1); 556 } 557 558 static __inline__ __mmask32 __DEFAULT_FN_ATTRS 559 _mm256_mask_cmpneq_epu8_mask(__mmask32 __u, __m256i __a, __m256i __b) { 560 return (__mmask32)__builtin_ia32_ucmpb256_mask((__v32qi)__a, (__v32qi)__b, 4, 561 __u); 562 } 563 564 static __inline__ __mmask8 __DEFAULT_FN_ATTRS 565 _mm_cmpneq_epi16_mask(__m128i __a, __m128i __b) { 566 return (__mmask8)__builtin_ia32_cmpw128_mask((__v8hi)__a, (__v8hi)__b, 4, 567 (__mmask8)-1); 568 } 569 570 static __inline__ __mmask8 __DEFAULT_FN_ATTRS 571 _mm_mask_cmpneq_epi16_mask(__mmask8 __u, __m128i __a, __m128i __b) { 572 return (__mmask8)__builtin_ia32_cmpw128_mask((__v8hi)__a, (__v8hi)__b, 4, 573 __u); 574 } 575 576 static __inline__ __mmask8 __DEFAULT_FN_ATTRS 577 _mm_cmpneq_epu16_mask(__m128i __a, __m128i __b) { 578 return (__mmask8)__builtin_ia32_ucmpw128_mask((__v8hi)__a, (__v8hi)__b, 4, 579 (__mmask8)-1); 580 } 581 582 static __inline__ __mmask8 __DEFAULT_FN_ATTRS 583 _mm_mask_cmpneq_epu16_mask(__mmask8 __u, __m128i __a, __m128i __b) { 584 return (__mmask8)__builtin_ia32_ucmpw128_mask((__v8hi)__a, (__v8hi)__b, 4, 585 __u); 586 } 587 588 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 589 _mm256_cmpneq_epi16_mask(__m256i __a, __m256i __b) { 590 return (__mmask16)__builtin_ia32_cmpw256_mask((__v16hi)__a, (__v16hi)__b, 4, 591 (__mmask16)-1); 592 } 593 594 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 595 _mm256_mask_cmpneq_epi16_mask(__mmask16 __u, __m256i __a, __m256i __b) { 596 return (__mmask16)__builtin_ia32_cmpw256_mask((__v16hi)__a, (__v16hi)__b, 4, 597 __u); 598 } 599 600 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 601 _mm256_cmpneq_epu16_mask(__m256i __a, __m256i __b) { 602 return (__mmask16)__builtin_ia32_ucmpw256_mask((__v16hi)__a, (__v16hi)__b, 4, 603 (__mmask16)-1); 604 } 605 606 static __inline__ __mmask16 __DEFAULT_FN_ATTRS 607 _mm256_mask_cmpneq_epu16_mask(__mmask16 __u, __m256i __a, __m256i __b) { 608 return (__mmask16)__builtin_ia32_ucmpw256_mask((__v16hi)__a, (__v16hi)__b, 4, 609 __u); 610 } 611 612 static __inline__ __m256i __DEFAULT_FN_ATTRS 613 _mm256_mask_add_epi8 (__m256i __W, __mmask32 __U, __m256i __A, __m256i __B){ 614 return (__m256i) __builtin_ia32_paddb256_mask ((__v32qi) __A, 615 (__v32qi) __B, 616 (__v32qi) __W, 617 (__mmask32) __U); 618 } 619 620 static __inline__ __m256i __DEFAULT_FN_ATTRS 621 _mm256_maskz_add_epi8 (__mmask32 __U, __m256i __A, __m256i __B) { 622 return (__m256i) __builtin_ia32_paddb256_mask ((__v32qi) __A, 623 (__v32qi) __B, 624 (__v32qi) 625 _mm256_setzero_si256 (), 626 (__mmask32) __U); 627 } 628 629 static __inline__ __m256i __DEFAULT_FN_ATTRS 630 _mm256_mask_add_epi16 (__m256i __W, __mmask16 __U, __m256i __A, __m256i __B) { 631 return (__m256i) __builtin_ia32_paddw256_mask ((__v16hi) __A, 632 (__v16hi) __B, 633 (__v16hi) __W, 634 (__mmask16) __U); 635 } 636 637 static __inline__ __m256i __DEFAULT_FN_ATTRS 638 _mm256_maskz_add_epi16 (__mmask16 __U, __m256i __A, __m256i __B) { 639 return (__m256i) __builtin_ia32_paddw256_mask ((__v16hi) __A, 640 (__v16hi) __B, 641 (__v16hi) 642 _mm256_setzero_si256 (), 643 (__mmask16) __U); 644 } 645 646 static __inline__ __m256i __DEFAULT_FN_ATTRS 647 _mm256_mask_sub_epi8 (__m256i __W, __mmask32 __U, __m256i __A, __m256i __B) { 648 return (__m256i) __builtin_ia32_psubb256_mask ((__v32qi) __A, 649 (__v32qi) __B, 650 (__v32qi) __W, 651 (__mmask32) __U); 652 } 653 654 static __inline__ __m256i __DEFAULT_FN_ATTRS 655 _mm256_maskz_sub_epi8 (__mmask32 __U, __m256i __A, __m256i __B) { 656 return (__m256i) __builtin_ia32_psubb256_mask ((__v32qi) __A, 657 (__v32qi) __B, 658 (__v32qi) 659 _mm256_setzero_si256 (), 660 (__mmask32) __U); 661 } 662 663 static __inline__ __m256i __DEFAULT_FN_ATTRS 664 _mm256_mask_sub_epi16 (__m256i __W, __mmask16 __U, __m256i __A, __m256i __B) { 665 return (__m256i) __builtin_ia32_psubw256_mask ((__v16hi) __A, 666 (__v16hi) __B, 667 (__v16hi) __W, 668 (__mmask16) __U); 669 } 670 671 static __inline__ __m256i __DEFAULT_FN_ATTRS 672 _mm256_maskz_sub_epi16 (__mmask16 __U, __m256i __A, __m256i __B) { 673 return (__m256i) __builtin_ia32_psubw256_mask ((__v16hi) __A, 674 (__v16hi) __B, 675 (__v16hi) 676 _mm256_setzero_si256 (), 677 (__mmask16) __U); 678 } 679 static __inline__ __m128i __DEFAULT_FN_ATTRS 680 _mm_mask_add_epi8 (__m128i __W, __mmask16 __U, __m128i __A, __m128i __B) { 681 return (__m128i) __builtin_ia32_paddb128_mask ((__v16qi) __A, 682 (__v16qi) __B, 683 (__v16qi) __W, 684 (__mmask16) __U); 685 } 686 687 static __inline__ __m128i __DEFAULT_FN_ATTRS 688 _mm_maskz_add_epi8 (__mmask16 __U, __m128i __A, __m128i __B) { 689 return (__m128i) __builtin_ia32_paddb128_mask ((__v16qi) __A, 690 (__v16qi) __B, 691 (__v16qi) 692 _mm_setzero_si128 (), 693 (__mmask16) __U); 694 } 695 696 static __inline__ __m128i __DEFAULT_FN_ATTRS 697 _mm_mask_add_epi16 (__m128i __W, __mmask8 __U, __m128i __A, __m128i __B) { 698 return (__m128i) __builtin_ia32_paddw128_mask ((__v8hi) __A, 699 (__v8hi) __B, 700 (__v8hi) __W, 701 (__mmask8) __U); 702 } 703 704 static __inline__ __m128i __DEFAULT_FN_ATTRS 705 _mm_maskz_add_epi16 (__mmask8 __U, __m128i __A, __m128i __B) { 706 return (__m128i) __builtin_ia32_paddw128_mask ((__v8hi) __A, 707 (__v8hi) __B, 708 (__v8hi) 709 _mm_setzero_si128 (), 710 (__mmask8) __U); 711 } 712 713 static __inline__ __m128i __DEFAULT_FN_ATTRS 714 _mm_mask_sub_epi8 (__m128i __W, __mmask16 __U, __m128i __A, __m128i __B) { 715 return (__m128i) __builtin_ia32_psubb128_mask ((__v16qi) __A, 716 (__v16qi) __B, 717 (__v16qi) __W, 718 (__mmask16) __U); 719 } 720 721 static __inline__ __m128i __DEFAULT_FN_ATTRS 722 _mm_maskz_sub_epi8 (__mmask16 __U, __m128i __A, __m128i __B) { 723 return (__m128i) __builtin_ia32_psubb128_mask ((__v16qi) __A, 724 (__v16qi) __B, 725 (__v16qi) 726 _mm_setzero_si128 (), 727 (__mmask16) __U); 728 } 729 730 static __inline__ __m128i __DEFAULT_FN_ATTRS 731 _mm_mask_sub_epi16 (__m128i __W, __mmask8 __U, __m128i __A, __m128i __B) { 732 return (__m128i) __builtin_ia32_psubw128_mask ((__v8hi) __A, 733 (__v8hi) __B, 734 (__v8hi) __W, 735 (__mmask8) __U); 736 } 737 738 static __inline__ __m128i __DEFAULT_FN_ATTRS 739 _mm_maskz_sub_epi16 (__mmask8 __U, __m128i __A, __m128i __B) { 740 return (__m128i) __builtin_ia32_psubw128_mask ((__v8hi) __A, 741 (__v8hi) __B, 742 (__v8hi) 743 _mm_setzero_si128 (), 744 (__mmask8) __U); 745 } 746 747 static __inline__ __m256i __DEFAULT_FN_ATTRS 748 _mm256_mask_mullo_epi16 (__m256i __W, __mmask16 __U, __m256i __A, __m256i __B) { 749 return (__m256i) __builtin_ia32_pmullw256_mask ((__v16hi) __A, 750 (__v16hi) __B, 751 (__v16hi) __W, 752 (__mmask16) __U); 753 } 754 755 static __inline__ __m256i __DEFAULT_FN_ATTRS 756 _mm256_maskz_mullo_epi16 (__mmask16 __U, __m256i __A, __m256i __B) { 757 return (__m256i) __builtin_ia32_pmullw256_mask ((__v16hi) __A, 758 (__v16hi) __B, 759 (__v16hi) 760 _mm256_setzero_si256 (), 761 (__mmask16) __U); 762 } 763 764 static __inline__ __m128i __DEFAULT_FN_ATTRS 765 _mm_mask_mullo_epi16 (__m128i __W, __mmask8 __U, __m128i __A, __m128i __B) { 766 return (__m128i) __builtin_ia32_pmullw128_mask ((__v8hi) __A, 767 (__v8hi) __B, 768 (__v8hi) __W, 769 (__mmask8) __U); 770 } 771 772 static __inline__ __m128i __DEFAULT_FN_ATTRS 773 _mm_maskz_mullo_epi16 (__mmask8 __U, __m128i __A, __m128i __B) { 774 return (__m128i) __builtin_ia32_pmullw128_mask ((__v8hi) __A, 775 (__v8hi) __B, 776 (__v8hi) 777 _mm_setzero_si128 (), 778 (__mmask8) __U); 779 } 780 781 static __inline__ __m128i __DEFAULT_FN_ATTRS 782 _mm_mask_blend_epi8 (__mmask16 __U, __m128i __A, __m128i __W) 783 { 784 return (__m128i) __builtin_ia32_blendmb_128_mask ((__v16qi) __A, 785 (__v16qi) __W, 786 (__mmask16) __U); 787 } 788 789 static __inline__ __m256i __DEFAULT_FN_ATTRS 790 _mm256_mask_blend_epi8 (__mmask32 __U, __m256i __A, __m256i __W) 791 { 792 return (__m256i) __builtin_ia32_blendmb_256_mask ((__v32qi) __A, 793 (__v32qi) __W, 794 (__mmask32) __U); 795 } 796 797 static __inline__ __m128i __DEFAULT_FN_ATTRS 798 _mm_mask_blend_epi16 (__mmask8 __U, __m128i __A, __m128i __W) 799 { 800 return (__m128i) __builtin_ia32_blendmw_128_mask ((__v8hi) __A, 801 (__v8hi) __W, 802 (__mmask8) __U); 803 } 804 805 static __inline__ __m256i __DEFAULT_FN_ATTRS 806 _mm256_mask_blend_epi16 (__mmask16 __U, __m256i __A, __m256i __W) 807 { 808 return (__m256i) __builtin_ia32_blendmw_256_mask ((__v16hi) __A, 809 (__v16hi) __W, 810 (__mmask16) __U); 811 } 812 813 static __inline__ __m128i __DEFAULT_FN_ATTRS 814 _mm_mask_abs_epi8 (__m128i __W, __mmask16 __U, __m128i __A) 815 { 816 return (__m128i) __builtin_ia32_pabsb128_mask ((__v16qi) __A, 817 (__v16qi) __W, 818 (__mmask16) __U); 819 } 820 821 static __inline__ __m128i __DEFAULT_FN_ATTRS 822 _mm_maskz_abs_epi8 (__mmask16 __U, __m128i __A) 823 { 824 return (__m128i) __builtin_ia32_pabsb128_mask ((__v16qi) __A, 825 (__v16qi) _mm_setzero_si128 (), 826 (__mmask16) __U); 827 } 828 829 static __inline__ __m256i __DEFAULT_FN_ATTRS 830 _mm256_mask_abs_epi8 (__m256i __W, __mmask32 __U, __m256i __A) 831 { 832 return (__m256i) __builtin_ia32_pabsb256_mask ((__v32qi) __A, 833 (__v32qi) __W, 834 (__mmask32) __U); 835 } 836 837 static __inline__ __m256i __DEFAULT_FN_ATTRS 838 _mm256_maskz_abs_epi8 (__mmask32 __U, __m256i __A) 839 { 840 return (__m256i) __builtin_ia32_pabsb256_mask ((__v32qi) __A, 841 (__v32qi) _mm256_setzero_si256 (), 842 (__mmask32) __U); 843 } 844 845 static __inline__ __m128i __DEFAULT_FN_ATTRS 846 _mm_mask_abs_epi16 (__m128i __W, __mmask8 __U, __m128i __A) 847 { 848 return (__m128i) __builtin_ia32_pabsw128_mask ((__v8hi) __A, 849 (__v8hi) __W, 850 (__mmask8) __U); 851 } 852 853 static __inline__ __m128i __DEFAULT_FN_ATTRS 854 _mm_maskz_abs_epi16 (__mmask8 __U, __m128i __A) 855 { 856 return (__m128i) __builtin_ia32_pabsw128_mask ((__v8hi) __A, 857 (__v8hi) _mm_setzero_si128 (), 858 (__mmask8) __U); 859 } 860 861 static __inline__ __m256i __DEFAULT_FN_ATTRS 862 _mm256_mask_abs_epi16 (__m256i __W, __mmask16 __U, __m256i __A) 863 { 864 return (__m256i) __builtin_ia32_pabsw256_mask ((__v16hi) __A, 865 (__v16hi) __W, 866 (__mmask16) __U); 867 } 868 869 static __inline__ __m256i __DEFAULT_FN_ATTRS 870 _mm256_maskz_abs_epi16 (__mmask16 __U, __m256i __A) 871 { 872 return (__m256i) __builtin_ia32_pabsw256_mask ((__v16hi) __A, 873 (__v16hi) _mm256_setzero_si256 (), 874 (__mmask16) __U); 875 } 876 877 static __inline__ __m128i __DEFAULT_FN_ATTRS 878 _mm_maskz_packs_epi32 (__mmask8 __M, __m128i __A, __m128i __B) 879 { 880 return (__m128i) __builtin_ia32_packssdw128_mask ((__v4si) __A, 881 (__v4si) __B, 882 (__v8hi) _mm_setzero_si128 (), __M); 883 } 884 885 static __inline__ __m128i __DEFAULT_FN_ATTRS 886 _mm_mask_packs_epi32 (__m128i __W, __mmask16 __M, __m128i __A, 887 __m128i __B) 888 { 889 return (__m128i) __builtin_ia32_packssdw128_mask ((__v4si) __A, 890 (__v4si) __B, 891 (__v8hi) __W, __M); 892 } 893 894 static __inline__ __m256i __DEFAULT_FN_ATTRS 895 _mm256_maskz_packs_epi32 (__mmask16 __M, __m256i __A, __m256i __B) 896 { 897 return (__m256i) __builtin_ia32_packssdw256_mask ((__v8si) __A, 898 (__v8si) __B, 899 (__v16hi) _mm256_setzero_si256 (), 900 __M); 901 } 902 903 static __inline__ __m256i __DEFAULT_FN_ATTRS 904 _mm256_mask_packs_epi32 (__m256i __W, __mmask16 __M, __m256i __A, 905 __m256i __B) 906 { 907 return (__m256i) __builtin_ia32_packssdw256_mask ((__v8si) __A, 908 (__v8si) __B, 909 (__v16hi) __W, __M); 910 } 911 912 static __inline__ __m128i __DEFAULT_FN_ATTRS 913 _mm_maskz_packs_epi16 (__mmask16 __M, __m128i __A, __m128i __B) 914 { 915 return (__m128i) __builtin_ia32_packsswb128_mask ((__v8hi) __A, 916 (__v8hi) __B, 917 (__v16qi) _mm_setzero_si128 (), 918 __M); 919 } 920 921 static __inline__ __m128i __DEFAULT_FN_ATTRS 922 _mm_mask_packs_epi16 (__m128i __W, __mmask16 __M, __m128i __A, 923 __m128i __B) 924 { 925 return (__m128i) __builtin_ia32_packsswb128_mask ((__v8hi) __A, 926 (__v8hi) __B, 927 (__v16qi) __W, 928 __M); 929 } 930 931 static __inline__ __m256i __DEFAULT_FN_ATTRS 932 _mm256_maskz_packs_epi16 (__mmask32 __M, __m256i __A, __m256i __B) 933 { 934 return (__m256i) __builtin_ia32_packsswb256_mask ((__v16hi) __A, 935 (__v16hi) __B, 936 (__v32qi) _mm256_setzero_si256 (), 937 __M); 938 } 939 940 static __inline__ __m256i __DEFAULT_FN_ATTRS 941 _mm256_mask_packs_epi16 (__m256i __W, __mmask32 __M, __m256i __A, 942 __m256i __B) 943 { 944 return (__m256i) __builtin_ia32_packsswb256_mask ((__v16hi) __A, 945 (__v16hi) __B, 946 (__v32qi) __W, 947 __M); 948 } 949 950 static __inline__ __m128i __DEFAULT_FN_ATTRS 951 _mm_maskz_packus_epi32 (__mmask8 __M, __m128i __A, __m128i __B) 952 { 953 return (__m128i) __builtin_ia32_packusdw128_mask ((__v4si) __A, 954 (__v4si) __B, 955 (__v8hi) _mm_setzero_si128 (), 956 __M); 957 } 958 959 static __inline__ __m128i __DEFAULT_FN_ATTRS 960 _mm_mask_packus_epi32 (__m128i __W, __mmask16 __M, __m128i __A, 961 __m128i __B) 962 { 963 return (__m128i) __builtin_ia32_packusdw128_mask ((__v4si) __A, 964 (__v4si) __B, 965 (__v8hi) __W, __M); 966 } 967 968 static __inline__ __m256i __DEFAULT_FN_ATTRS 969 _mm256_maskz_packus_epi32 (__mmask16 __M, __m256i __A, __m256i __B) 970 { 971 return (__m256i) __builtin_ia32_packusdw256_mask ((__v8si) __A, 972 (__v8si) __B, 973 (__v16hi) _mm256_setzero_si256 (), 974 __M); 975 } 976 977 static __inline__ __m256i __DEFAULT_FN_ATTRS 978 _mm256_mask_packus_epi32 (__m256i __W, __mmask16 __M, __m256i __A, 979 __m256i __B) 980 { 981 return (__m256i) __builtin_ia32_packusdw256_mask ((__v8si) __A, 982 (__v8si) __B, 983 (__v16hi) __W, 984 __M); 985 } 986 987 static __inline__ __m128i __DEFAULT_FN_ATTRS 988 _mm_maskz_packus_epi16 (__mmask16 __M, __m128i __A, __m128i __B) 989 { 990 return (__m128i) __builtin_ia32_packuswb128_mask ((__v8hi) __A, 991 (__v8hi) __B, 992 (__v16qi) _mm_setzero_si128 (), 993 __M); 994 } 995 996 static __inline__ __m128i __DEFAULT_FN_ATTRS 997 _mm_mask_packus_epi16 (__m128i __W, __mmask16 __M, __m128i __A, 998 __m128i __B) 999 { 1000 return (__m128i) __builtin_ia32_packuswb128_mask ((__v8hi) __A, 1001 (__v8hi) __B, 1002 (__v16qi) __W, 1003 __M); 1004 } 1005 1006 static __inline__ __m256i __DEFAULT_FN_ATTRS 1007 _mm256_maskz_packus_epi16 (__mmask32 __M, __m256i __A, __m256i __B) 1008 { 1009 return (__m256i) __builtin_ia32_packuswb256_mask ((__v16hi) __A, 1010 (__v16hi) __B, 1011 (__v32qi) _mm256_setzero_si256 (), 1012 __M); 1013 } 1014 1015 static __inline__ __m256i __DEFAULT_FN_ATTRS 1016 _mm256_mask_packus_epi16 (__m256i __W, __mmask32 __M, __m256i __A, 1017 __m256i __B) 1018 { 1019 return (__m256i) __builtin_ia32_packuswb256_mask ((__v16hi) __A, 1020 (__v16hi) __B, 1021 (__v32qi) __W, 1022 __M); 1023 } 1024 1025 static __inline__ __m128i __DEFAULT_FN_ATTRS 1026 _mm_mask_adds_epi8 (__m128i __W, __mmask16 __U, __m128i __A, 1027 __m128i __B) 1028 { 1029 return (__m128i) __builtin_ia32_paddsb128_mask ((__v16qi) __A, 1030 (__v16qi) __B, 1031 (__v16qi) __W, 1032 (__mmask16) __U); 1033 } 1034 1035 static __inline__ __m128i __DEFAULT_FN_ATTRS 1036 _mm_maskz_adds_epi8 (__mmask16 __U, __m128i __A, __m128i __B) 1037 { 1038 return (__m128i) __builtin_ia32_paddsb128_mask ((__v16qi) __A, 1039 (__v16qi) __B, 1040 (__v16qi) _mm_setzero_si128 (), 1041 (__mmask16) __U); 1042 } 1043 1044 static __inline__ __m256i __DEFAULT_FN_ATTRS 1045 _mm256_mask_adds_epi8 (__m256i __W, __mmask32 __U, __m256i __A, 1046 __m256i __B) 1047 { 1048 return (__m256i) __builtin_ia32_paddsb256_mask ((__v32qi) __A, 1049 (__v32qi) __B, 1050 (__v32qi) __W, 1051 (__mmask32) __U); 1052 } 1053 1054 static __inline__ __m256i __DEFAULT_FN_ATTRS 1055 _mm256_maskz_adds_epi8 (__mmask32 __U, __m256i __A, __m256i __B) 1056 { 1057 return (__m256i) __builtin_ia32_paddsb256_mask ((__v32qi) __A, 1058 (__v32qi) __B, 1059 (__v32qi) _mm256_setzero_si256 (), 1060 (__mmask32) __U); 1061 } 1062 1063 static __inline__ __m128i __DEFAULT_FN_ATTRS 1064 _mm_mask_adds_epi16 (__m128i __W, __mmask8 __U, __m128i __A, 1065 __m128i __B) 1066 { 1067 return (__m128i) __builtin_ia32_paddsw128_mask ((__v8hi) __A, 1068 (__v8hi) __B, 1069 (__v8hi) __W, 1070 (__mmask8) __U); 1071 } 1072 1073 static __inline__ __m128i __DEFAULT_FN_ATTRS 1074 _mm_maskz_adds_epi16 (__mmask8 __U, __m128i __A, __m128i __B) 1075 { 1076 return (__m128i) __builtin_ia32_paddsw128_mask ((__v8hi) __A, 1077 (__v8hi) __B, 1078 (__v8hi) _mm_setzero_si128 (), 1079 (__mmask8) __U); 1080 } 1081 1082 static __inline__ __m256i __DEFAULT_FN_ATTRS 1083 _mm256_mask_adds_epi16 (__m256i __W, __mmask16 __U, __m256i __A, 1084 __m256i __B) 1085 { 1086 return (__m256i) __builtin_ia32_paddsw256_mask ((__v16hi) __A, 1087 (__v16hi) __B, 1088 (__v16hi) __W, 1089 (__mmask16) __U); 1090 } 1091 1092 static __inline__ __m256i __DEFAULT_FN_ATTRS 1093 _mm256_maskz_adds_epi16 (__mmask16 __U, __m256i __A, __m256i __B) 1094 { 1095 return (__m256i) __builtin_ia32_paddsw256_mask ((__v16hi) __A, 1096 (__v16hi) __B, 1097 (__v16hi) _mm256_setzero_si256 (), 1098 (__mmask16) __U); 1099 } 1100 1101 static __inline__ __m128i __DEFAULT_FN_ATTRS 1102 _mm_mask_adds_epu8 (__m128i __W, __mmask16 __U, __m128i __A, 1103 __m128i __B) 1104 { 1105 return (__m128i) __builtin_ia32_paddusb128_mask ((__v16qi) __A, 1106 (__v16qi) __B, 1107 (__v16qi) __W, 1108 (__mmask16) __U); 1109 } 1110 1111 static __inline__ __m128i __DEFAULT_FN_ATTRS 1112 _mm_maskz_adds_epu8 (__mmask16 __U, __m128i __A, __m128i __B) 1113 { 1114 return (__m128i) __builtin_ia32_paddusb128_mask ((__v16qi) __A, 1115 (__v16qi) __B, 1116 (__v16qi) _mm_setzero_si128 (), 1117 (__mmask16) __U); 1118 } 1119 1120 static __inline__ __m256i __DEFAULT_FN_ATTRS 1121 _mm256_mask_adds_epu8 (__m256i __W, __mmask32 __U, __m256i __A, 1122 __m256i __B) 1123 { 1124 return (__m256i) __builtin_ia32_paddusb256_mask ((__v32qi) __A, 1125 (__v32qi) __B, 1126 (__v32qi) __W, 1127 (__mmask32) __U); 1128 } 1129 1130 static __inline__ __m256i __DEFAULT_FN_ATTRS 1131 _mm256_maskz_adds_epu8 (__mmask32 __U, __m256i __A, __m256i __B) 1132 { 1133 return (__m256i) __builtin_ia32_paddusb256_mask ((__v32qi) __A, 1134 (__v32qi) __B, 1135 (__v32qi) _mm256_setzero_si256 (), 1136 (__mmask32) __U); 1137 } 1138 1139 static __inline__ __m128i __DEFAULT_FN_ATTRS 1140 _mm_mask_adds_epu16 (__m128i __W, __mmask8 __U, __m128i __A, 1141 __m128i __B) 1142 { 1143 return (__m128i) __builtin_ia32_paddusw128_mask ((__v8hi) __A, 1144 (__v8hi) __B, 1145 (__v8hi) __W, 1146 (__mmask8) __U); 1147 } 1148 1149 static __inline__ __m128i __DEFAULT_FN_ATTRS 1150 _mm_maskz_adds_epu16 (__mmask8 __U, __m128i __A, __m128i __B) 1151 { 1152 return (__m128i) __builtin_ia32_paddusw128_mask ((__v8hi) __A, 1153 (__v8hi) __B, 1154 (__v8hi) _mm_setzero_si128 (), 1155 (__mmask8) __U); 1156 } 1157 1158 static __inline__ __m256i __DEFAULT_FN_ATTRS 1159 _mm256_mask_adds_epu16 (__m256i __W, __mmask16 __U, __m256i __A, 1160 __m256i __B) 1161 { 1162 return (__m256i) __builtin_ia32_paddusw256_mask ((__v16hi) __A, 1163 (__v16hi) __B, 1164 (__v16hi) __W, 1165 (__mmask16) __U); 1166 } 1167 1168 static __inline__ __m256i __DEFAULT_FN_ATTRS 1169 _mm256_maskz_adds_epu16 (__mmask16 __U, __m256i __A, __m256i __B) 1170 { 1171 return (__m256i) __builtin_ia32_paddusw256_mask ((__v16hi) __A, 1172 (__v16hi) __B, 1173 (__v16hi) _mm256_setzero_si256 (), 1174 (__mmask16) __U); 1175 } 1176 1177 static __inline__ __m128i __DEFAULT_FN_ATTRS 1178 _mm_mask_avg_epu8 (__m128i __W, __mmask16 __U, __m128i __A, 1179 __m128i __B) 1180 { 1181 return (__m128i) __builtin_ia32_pavgb128_mask ((__v16qi) __A, 1182 (__v16qi) __B, 1183 (__v16qi) __W, 1184 (__mmask16) __U); 1185 } 1186 1187 static __inline__ __m128i __DEFAULT_FN_ATTRS 1188 _mm_maskz_avg_epu8 (__mmask16 __U, __m128i __A, __m128i __B) 1189 { 1190 return (__m128i) __builtin_ia32_pavgb128_mask ((__v16qi) __A, 1191 (__v16qi) __B, 1192 (__v16qi) _mm_setzero_si128 (), 1193 (__mmask16) __U); 1194 } 1195 1196 static __inline__ __m256i __DEFAULT_FN_ATTRS 1197 _mm256_mask_avg_epu8 (__m256i __W, __mmask32 __U, __m256i __A, 1198 __m256i __B) 1199 { 1200 return (__m256i) __builtin_ia32_pavgb256_mask ((__v32qi) __A, 1201 (__v32qi) __B, 1202 (__v32qi) __W, 1203 (__mmask32) __U); 1204 } 1205 1206 static __inline__ __m256i __DEFAULT_FN_ATTRS 1207 _mm256_maskz_avg_epu8 (__mmask32 __U, __m256i __A, __m256i __B) 1208 { 1209 return (__m256i) __builtin_ia32_pavgb256_mask ((__v32qi) __A, 1210 (__v32qi) __B, 1211 (__v32qi) _mm256_setzero_si256 (), 1212 (__mmask32) __U); 1213 } 1214 1215 static __inline__ __m128i __DEFAULT_FN_ATTRS 1216 _mm_mask_avg_epu16 (__m128i __W, __mmask8 __U, __m128i __A, 1217 __m128i __B) 1218 { 1219 return (__m128i) __builtin_ia32_pavgw128_mask ((__v8hi) __A, 1220 (__v8hi) __B, 1221 (__v8hi) __W, 1222 (__mmask8) __U); 1223 } 1224 1225 static __inline__ __m128i __DEFAULT_FN_ATTRS 1226 _mm_maskz_avg_epu16 (__mmask8 __U, __m128i __A, __m128i __B) 1227 { 1228 return (__m128i) __builtin_ia32_pavgw128_mask ((__v8hi) __A, 1229 (__v8hi) __B, 1230 (__v8hi) _mm_setzero_si128 (), 1231 (__mmask8) __U); 1232 } 1233 1234 static __inline__ __m256i __DEFAULT_FN_ATTRS 1235 _mm256_mask_avg_epu16 (__m256i __W, __mmask16 __U, __m256i __A, 1236 __m256i __B) 1237 { 1238 return (__m256i) __builtin_ia32_pavgw256_mask ((__v16hi) __A, 1239 (__v16hi) __B, 1240 (__v16hi) __W, 1241 (__mmask16) __U); 1242 } 1243 1244 static __inline__ __m256i __DEFAULT_FN_ATTRS 1245 _mm256_maskz_avg_epu16 (__mmask16 __U, __m256i __A, __m256i __B) 1246 { 1247 return (__m256i) __builtin_ia32_pavgw256_mask ((__v16hi) __A, 1248 (__v16hi) __B, 1249 (__v16hi) _mm256_setzero_si256 (), 1250 (__mmask16) __U); 1251 } 1252 1253 static __inline__ __m128i __DEFAULT_FN_ATTRS 1254 _mm_maskz_max_epi8 (__mmask16 __M, __m128i __A, __m128i __B) 1255 { 1256 return (__m128i) __builtin_ia32_pmaxsb128_mask ((__v16qi) __A, 1257 (__v16qi) __B, 1258 (__v16qi) _mm_setzero_si128 (), 1259 (__mmask16) __M); 1260 } 1261 1262 static __inline__ __m128i __DEFAULT_FN_ATTRS 1263 _mm_mask_max_epi8 (__m128i __W, __mmask16 __M, __m128i __A, 1264 __m128i __B) 1265 { 1266 return (__m128i) __builtin_ia32_pmaxsb128_mask ((__v16qi) __A, 1267 (__v16qi) __B, 1268 (__v16qi) __W, 1269 (__mmask16) __M); 1270 } 1271 1272 static __inline__ __m256i __DEFAULT_FN_ATTRS 1273 _mm256_maskz_max_epi8 (__mmask32 __M, __m256i __A, __m256i __B) 1274 { 1275 return (__m256i) __builtin_ia32_pmaxsb256_mask ((__v32qi) __A, 1276 (__v32qi) __B, 1277 (__v32qi) _mm256_setzero_si256 (), 1278 (__mmask32) __M); 1279 } 1280 1281 static __inline__ __m256i __DEFAULT_FN_ATTRS 1282 _mm256_mask_max_epi8 (__m256i __W, __mmask32 __M, __m256i __A, 1283 __m256i __B) 1284 { 1285 return (__m256i) __builtin_ia32_pmaxsb256_mask ((__v32qi) __A, 1286 (__v32qi) __B, 1287 (__v32qi) __W, 1288 (__mmask32) __M); 1289 } 1290 1291 static __inline__ __m128i __DEFAULT_FN_ATTRS 1292 _mm_maskz_max_epi16 (__mmask8 __M, __m128i __A, __m128i __B) 1293 { 1294 return (__m128i) __builtin_ia32_pmaxsw128_mask ((__v8hi) __A, 1295 (__v8hi) __B, 1296 (__v8hi) _mm_setzero_si128 (), 1297 (__mmask8) __M); 1298 } 1299 1300 static __inline__ __m128i __DEFAULT_FN_ATTRS 1301 _mm_mask_max_epi16 (__m128i __W, __mmask8 __M, __m128i __A, 1302 __m128i __B) 1303 { 1304 return (__m128i) __builtin_ia32_pmaxsw128_mask ((__v8hi) __A, 1305 (__v8hi) __B, 1306 (__v8hi) __W, 1307 (__mmask8) __M); 1308 } 1309 1310 static __inline__ __m256i __DEFAULT_FN_ATTRS 1311 _mm256_maskz_max_epi16 (__mmask16 __M, __m256i __A, __m256i __B) 1312 { 1313 return (__m256i) __builtin_ia32_pmaxsw256_mask ((__v16hi) __A, 1314 (__v16hi) __B, 1315 (__v16hi) _mm256_setzero_si256 (), 1316 (__mmask16) __M); 1317 } 1318 1319 static __inline__ __m256i __DEFAULT_FN_ATTRS 1320 _mm256_mask_max_epi16 (__m256i __W, __mmask16 __M, __m256i __A, 1321 __m256i __B) 1322 { 1323 return (__m256i) __builtin_ia32_pmaxsw256_mask ((__v16hi) __A, 1324 (__v16hi) __B, 1325 (__v16hi) __W, 1326 (__mmask16) __M); 1327 } 1328 1329 static __inline__ __m128i __DEFAULT_FN_ATTRS 1330 _mm_maskz_max_epu8 (__mmask16 __M, __m128i __A, __m128i __B) 1331 { 1332 return (__m128i) __builtin_ia32_pmaxub128_mask ((__v16qi) __A, 1333 (__v16qi) __B, 1334 (__v16qi) _mm_setzero_si128 (), 1335 (__mmask16) __M); 1336 } 1337 1338 static __inline__ __m128i __DEFAULT_FN_ATTRS 1339 _mm_mask_max_epu8 (__m128i __W, __mmask16 __M, __m128i __A, 1340 __m128i __B) 1341 { 1342 return (__m128i) __builtin_ia32_pmaxub128_mask ((__v16qi) __A, 1343 (__v16qi) __B, 1344 (__v16qi) __W, 1345 (__mmask16) __M); 1346 } 1347 1348 static __inline__ __m256i __DEFAULT_FN_ATTRS 1349 _mm256_maskz_max_epu8 (__mmask32 __M, __m256i __A, __m256i __B) 1350 { 1351 return (__m256i) __builtin_ia32_pmaxub256_mask ((__v32qi) __A, 1352 (__v32qi) __B, 1353 (__v32qi) _mm256_setzero_si256 (), 1354 (__mmask32) __M); 1355 } 1356 1357 static __inline__ __m256i __DEFAULT_FN_ATTRS 1358 _mm256_mask_max_epu8 (__m256i __W, __mmask32 __M, __m256i __A, 1359 __m256i __B) 1360 { 1361 return (__m256i) __builtin_ia32_pmaxub256_mask ((__v32qi) __A, 1362 (__v32qi) __B, 1363 (__v32qi) __W, 1364 (__mmask32) __M); 1365 } 1366 1367 static __inline__ __m128i __DEFAULT_FN_ATTRS 1368 _mm_maskz_max_epu16 (__mmask8 __M, __m128i __A, __m128i __B) 1369 { 1370 return (__m128i) __builtin_ia32_pmaxuw128_mask ((__v8hi) __A, 1371 (__v8hi) __B, 1372 (__v8hi) _mm_setzero_si128 (), 1373 (__mmask8) __M); 1374 } 1375 1376 static __inline__ __m128i __DEFAULT_FN_ATTRS 1377 _mm_mask_max_epu16 (__m128i __W, __mmask8 __M, __m128i __A, 1378 __m128i __B) 1379 { 1380 return (__m128i) __builtin_ia32_pmaxuw128_mask ((__v8hi) __A, 1381 (__v8hi) __B, 1382 (__v8hi) __W, 1383 (__mmask8) __M); 1384 } 1385 1386 static __inline__ __m256i __DEFAULT_FN_ATTRS 1387 _mm256_maskz_max_epu16 (__mmask16 __M, __m256i __A, __m256i __B) 1388 { 1389 return (__m256i) __builtin_ia32_pmaxuw256_mask ((__v16hi) __A, 1390 (__v16hi) __B, 1391 (__v16hi) _mm256_setzero_si256 (), 1392 (__mmask16) __M); 1393 } 1394 1395 static __inline__ __m256i __DEFAULT_FN_ATTRS 1396 _mm256_mask_max_epu16 (__m256i __W, __mmask16 __M, __m256i __A, 1397 __m256i __B) 1398 { 1399 return (__m256i) __builtin_ia32_pmaxuw256_mask ((__v16hi) __A, 1400 (__v16hi) __B, 1401 (__v16hi) __W, 1402 (__mmask16) __M); 1403 } 1404 1405 static __inline__ __m128i __DEFAULT_FN_ATTRS 1406 _mm_maskz_min_epi8 (__mmask16 __M, __m128i __A, __m128i __B) 1407 { 1408 return (__m128i) __builtin_ia32_pminsb128_mask ((__v16qi) __A, 1409 (__v16qi) __B, 1410 (__v16qi) _mm_setzero_si128 (), 1411 (__mmask16) __M); 1412 } 1413 1414 static __inline__ __m128i __DEFAULT_FN_ATTRS 1415 _mm_mask_min_epi8 (__m128i __W, __mmask16 __M, __m128i __A, 1416 __m128i __B) 1417 { 1418 return (__m128i) __builtin_ia32_pminsb128_mask ((__v16qi) __A, 1419 (__v16qi) __B, 1420 (__v16qi) __W, 1421 (__mmask16) __M); 1422 } 1423 1424 static __inline__ __m256i __DEFAULT_FN_ATTRS 1425 _mm256_maskz_min_epi8 (__mmask32 __M, __m256i __A, __m256i __B) 1426 { 1427 return (__m256i) __builtin_ia32_pminsb256_mask ((__v32qi) __A, 1428 (__v32qi) __B, 1429 (__v32qi) _mm256_setzero_si256 (), 1430 (__mmask32) __M); 1431 } 1432 1433 static __inline__ __m256i __DEFAULT_FN_ATTRS 1434 _mm256_mask_min_epi8 (__m256i __W, __mmask32 __M, __m256i __A, 1435 __m256i __B) 1436 { 1437 return (__m256i) __builtin_ia32_pminsb256_mask ((__v32qi) __A, 1438 (__v32qi) __B, 1439 (__v32qi) __W, 1440 (__mmask32) __M); 1441 } 1442 1443 static __inline__ __m128i __DEFAULT_FN_ATTRS 1444 _mm_maskz_min_epi16 (__mmask8 __M, __m128i __A, __m128i __B) 1445 { 1446 return (__m128i) __builtin_ia32_pminsw128_mask ((__v8hi) __A, 1447 (__v8hi) __B, 1448 (__v8hi) _mm_setzero_si128 (), 1449 (__mmask8) __M); 1450 } 1451 1452 static __inline__ __m128i __DEFAULT_FN_ATTRS 1453 _mm_mask_min_epi16 (__m128i __W, __mmask8 __M, __m128i __A, 1454 __m128i __B) 1455 { 1456 return (__m128i) __builtin_ia32_pminsw128_mask ((__v8hi) __A, 1457 (__v8hi) __B, 1458 (__v8hi) __W, 1459 (__mmask8) __M); 1460 } 1461 1462 static __inline__ __m256i __DEFAULT_FN_ATTRS 1463 _mm256_maskz_min_epi16 (__mmask16 __M, __m256i __A, __m256i __B) 1464 { 1465 return (__m256i) __builtin_ia32_pminsw256_mask ((__v16hi) __A, 1466 (__v16hi) __B, 1467 (__v16hi) _mm256_setzero_si256 (), 1468 (__mmask16) __M); 1469 } 1470 1471 static __inline__ __m256i __DEFAULT_FN_ATTRS 1472 _mm256_mask_min_epi16 (__m256i __W, __mmask16 __M, __m256i __A, 1473 __m256i __B) 1474 { 1475 return (__m256i) __builtin_ia32_pminsw256_mask ((__v16hi) __A, 1476 (__v16hi) __B, 1477 (__v16hi) __W, 1478 (__mmask16) __M); 1479 } 1480 1481 static __inline__ __m128i __DEFAULT_FN_ATTRS 1482 _mm_maskz_min_epu8 (__mmask16 __M, __m128i __A, __m128i __B) 1483 { 1484 return (__m128i) __builtin_ia32_pminub128_mask ((__v16qi) __A, 1485 (__v16qi) __B, 1486 (__v16qi) _mm_setzero_si128 (), 1487 (__mmask16) __M); 1488 } 1489 1490 static __inline__ __m128i __DEFAULT_FN_ATTRS 1491 _mm_mask_min_epu8 (__m128i __W, __mmask16 __M, __m128i __A, 1492 __m128i __B) 1493 { 1494 return (__m128i) __builtin_ia32_pminub128_mask ((__v16qi) __A, 1495 (__v16qi) __B, 1496 (__v16qi) __W, 1497 (__mmask16) __M); 1498 } 1499 1500 static __inline__ __m256i __DEFAULT_FN_ATTRS 1501 _mm256_maskz_min_epu8 (__mmask32 __M, __m256i __A, __m256i __B) 1502 { 1503 return (__m256i) __builtin_ia32_pminub256_mask ((__v32qi) __A, 1504 (__v32qi) __B, 1505 (__v32qi) _mm256_setzero_si256 (), 1506 (__mmask32) __M); 1507 } 1508 1509 static __inline__ __m256i __DEFAULT_FN_ATTRS 1510 _mm256_mask_min_epu8 (__m256i __W, __mmask32 __M, __m256i __A, 1511 __m256i __B) 1512 { 1513 return (__m256i) __builtin_ia32_pminub256_mask ((__v32qi) __A, 1514 (__v32qi) __B, 1515 (__v32qi) __W, 1516 (__mmask32) __M); 1517 } 1518 1519 static __inline__ __m128i __DEFAULT_FN_ATTRS 1520 _mm_maskz_min_epu16 (__mmask8 __M, __m128i __A, __m128i __B) 1521 { 1522 return (__m128i) __builtin_ia32_pminuw128_mask ((__v8hi) __A, 1523 (__v8hi) __B, 1524 (__v8hi) _mm_setzero_si128 (), 1525 (__mmask8) __M); 1526 } 1527 1528 static __inline__ __m128i __DEFAULT_FN_ATTRS 1529 _mm_mask_min_epu16 (__m128i __W, __mmask8 __M, __m128i __A, 1530 __m128i __B) 1531 { 1532 return (__m128i) __builtin_ia32_pminuw128_mask ((__v8hi) __A, 1533 (__v8hi) __B, 1534 (__v8hi) __W, 1535 (__mmask8) __M); 1536 } 1537 1538 static __inline__ __m256i __DEFAULT_FN_ATTRS 1539 _mm256_maskz_min_epu16 (__mmask16 __M, __m256i __A, __m256i __B) 1540 { 1541 return (__m256i) __builtin_ia32_pminuw256_mask ((__v16hi) __A, 1542 (__v16hi) __B, 1543 (__v16hi) _mm256_setzero_si256 (), 1544 (__mmask16) __M); 1545 } 1546 1547 static __inline__ __m256i __DEFAULT_FN_ATTRS 1548 _mm256_mask_min_epu16 (__m256i __W, __mmask16 __M, __m256i __A, 1549 __m256i __B) 1550 { 1551 return (__m256i) __builtin_ia32_pminuw256_mask ((__v16hi) __A, 1552 (__v16hi) __B, 1553 (__v16hi) __W, 1554 (__mmask16) __M); 1555 } 1556 1557 static __inline__ __m128i __DEFAULT_FN_ATTRS 1558 _mm_mask_shuffle_epi8 (__m128i __W, __mmask16 __U, __m128i __A, 1559 __m128i __B) 1560 { 1561 return (__m128i) __builtin_ia32_pshufb128_mask ((__v16qi) __A, 1562 (__v16qi) __B, 1563 (__v16qi) __W, 1564 (__mmask16) __U); 1565 } 1566 1567 static __inline__ __m128i __DEFAULT_FN_ATTRS 1568 _mm_maskz_shuffle_epi8 (__mmask16 __U, __m128i __A, __m128i __B) 1569 { 1570 return (__m128i) __builtin_ia32_pshufb128_mask ((__v16qi) __A, 1571 (__v16qi) __B, 1572 (__v16qi) _mm_setzero_si128 (), 1573 (__mmask16) __U); 1574 } 1575 1576 static __inline__ __m256i __DEFAULT_FN_ATTRS 1577 _mm256_mask_shuffle_epi8 (__m256i __W, __mmask32 __U, __m256i __A, 1578 __m256i __B) 1579 { 1580 return (__m256i) __builtin_ia32_pshufb256_mask ((__v32qi) __A, 1581 (__v32qi) __B, 1582 (__v32qi) __W, 1583 (__mmask32) __U); 1584 } 1585 1586 static __inline__ __m256i __DEFAULT_FN_ATTRS 1587 _mm256_maskz_shuffle_epi8 (__mmask32 __U, __m256i __A, __m256i __B) 1588 { 1589 return (__m256i) __builtin_ia32_pshufb256_mask ((__v32qi) __A, 1590 (__v32qi) __B, 1591 (__v32qi) _mm256_setzero_si256 (), 1592 (__mmask32) __U); 1593 } 1594 1595 static __inline__ __m128i __DEFAULT_FN_ATTRS 1596 _mm_mask_subs_epi8 (__m128i __W, __mmask16 __U, __m128i __A, 1597 __m128i __B) 1598 { 1599 return (__m128i) __builtin_ia32_psubsb128_mask ((__v16qi) __A, 1600 (__v16qi) __B, 1601 (__v16qi) __W, 1602 (__mmask16) __U); 1603 } 1604 1605 static __inline__ __m128i __DEFAULT_FN_ATTRS 1606 _mm_maskz_subs_epi8 (__mmask16 __U, __m128i __A, __m128i __B) 1607 { 1608 return (__m128i) __builtin_ia32_psubsb128_mask ((__v16qi) __A, 1609 (__v16qi) __B, 1610 (__v16qi) _mm_setzero_si128 (), 1611 (__mmask16) __U); 1612 } 1613 1614 static __inline__ __m256i __DEFAULT_FN_ATTRS 1615 _mm256_mask_subs_epi8 (__m256i __W, __mmask32 __U, __m256i __A, 1616 __m256i __B) 1617 { 1618 return (__m256i) __builtin_ia32_psubsb256_mask ((__v32qi) __A, 1619 (__v32qi) __B, 1620 (__v32qi) __W, 1621 (__mmask32) __U); 1622 } 1623 1624 static __inline__ __m256i __DEFAULT_FN_ATTRS 1625 _mm256_maskz_subs_epi8 (__mmask32 __U, __m256i __A, __m256i __B) 1626 { 1627 return (__m256i) __builtin_ia32_psubsb256_mask ((__v32qi) __A, 1628 (__v32qi) __B, 1629 (__v32qi) _mm256_setzero_si256 (), 1630 (__mmask32) __U); 1631 } 1632 1633 static __inline__ __m128i __DEFAULT_FN_ATTRS 1634 _mm_mask_subs_epi16 (__m128i __W, __mmask8 __U, __m128i __A, 1635 __m128i __B) 1636 { 1637 return (__m128i) __builtin_ia32_psubsw128_mask ((__v8hi) __A, 1638 (__v8hi) __B, 1639 (__v8hi) __W, 1640 (__mmask8) __U); 1641 } 1642 1643 static __inline__ __m128i __DEFAULT_FN_ATTRS 1644 _mm_maskz_subs_epi16 (__mmask8 __U, __m128i __A, __m128i __B) 1645 { 1646 return (__m128i) __builtin_ia32_psubsw128_mask ((__v8hi) __A, 1647 (__v8hi) __B, 1648 (__v8hi) _mm_setzero_si128 (), 1649 (__mmask8) __U); 1650 } 1651 1652 static __inline__ __m256i __DEFAULT_FN_ATTRS 1653 _mm256_mask_subs_epi16 (__m256i __W, __mmask16 __U, __m256i __A, 1654 __m256i __B) 1655 { 1656 return (__m256i) __builtin_ia32_psubsw256_mask ((__v16hi) __A, 1657 (__v16hi) __B, 1658 (__v16hi) __W, 1659 (__mmask16) __U); 1660 } 1661 1662 static __inline__ __m256i __DEFAULT_FN_ATTRS 1663 _mm256_maskz_subs_epi16 (__mmask16 __U, __m256i __A, __m256i __B) 1664 { 1665 return (__m256i) __builtin_ia32_psubsw256_mask ((__v16hi) __A, 1666 (__v16hi) __B, 1667 (__v16hi) _mm256_setzero_si256 (), 1668 (__mmask16) __U); 1669 } 1670 1671 static __inline__ __m128i __DEFAULT_FN_ATTRS 1672 _mm_mask_subs_epu8 (__m128i __W, __mmask16 __U, __m128i __A, 1673 __m128i __B) 1674 { 1675 return (__m128i) __builtin_ia32_psubusb128_mask ((__v16qi) __A, 1676 (__v16qi) __B, 1677 (__v16qi) __W, 1678 (__mmask16) __U); 1679 } 1680 1681 static __inline__ __m128i __DEFAULT_FN_ATTRS 1682 _mm_maskz_subs_epu8 (__mmask16 __U, __m128i __A, __m128i __B) 1683 { 1684 return (__m128i) __builtin_ia32_psubusb128_mask ((__v16qi) __A, 1685 (__v16qi) __B, 1686 (__v16qi) _mm_setzero_si128 (), 1687 (__mmask16) __U); 1688 } 1689 1690 static __inline__ __m256i __DEFAULT_FN_ATTRS 1691 _mm256_mask_subs_epu8 (__m256i __W, __mmask32 __U, __m256i __A, 1692 __m256i __B) 1693 { 1694 return (__m256i) __builtin_ia32_psubusb256_mask ((__v32qi) __A, 1695 (__v32qi) __B, 1696 (__v32qi) __W, 1697 (__mmask32) __U); 1698 } 1699 1700 static __inline__ __m256i __DEFAULT_FN_ATTRS 1701 _mm256_maskz_subs_epu8 (__mmask32 __U, __m256i __A, __m256i __B) 1702 { 1703 return (__m256i) __builtin_ia32_psubusb256_mask ((__v32qi) __A, 1704 (__v32qi) __B, 1705 (__v32qi) _mm256_setzero_si256 (), 1706 (__mmask32) __U); 1707 } 1708 1709 static __inline__ __m128i __DEFAULT_FN_ATTRS 1710 _mm_mask_subs_epu16 (__m128i __W, __mmask8 __U, __m128i __A, 1711 __m128i __B) 1712 { 1713 return (__m128i) __builtin_ia32_psubusw128_mask ((__v8hi) __A, 1714 (__v8hi) __B, 1715 (__v8hi) __W, 1716 (__mmask8) __U); 1717 } 1718 1719 static __inline__ __m128i __DEFAULT_FN_ATTRS 1720 _mm_maskz_subs_epu16 (__mmask8 __U, __m128i __A, __m128i __B) 1721 { 1722 return (__m128i) __builtin_ia32_psubusw128_mask ((__v8hi) __A, 1723 (__v8hi) __B, 1724 (__v8hi) _mm_setzero_si128 (), 1725 (__mmask8) __U); 1726 } 1727 1728 static __inline__ __m256i __DEFAULT_FN_ATTRS 1729 _mm256_mask_subs_epu16 (__m256i __W, __mmask16 __U, __m256i __A, 1730 __m256i __B) 1731 { 1732 return (__m256i) __builtin_ia32_psubusw256_mask ((__v16hi) __A, 1733 (__v16hi) __B, 1734 (__v16hi) __W, 1735 (__mmask16) __U); 1736 } 1737 1738 static __inline__ __m256i __DEFAULT_FN_ATTRS 1739 _mm256_maskz_subs_epu16 (__mmask16 __U, __m256i __A, __m256i __B) 1740 { 1741 return (__m256i) __builtin_ia32_psubusw256_mask ((__v16hi) __A, 1742 (__v16hi) __B, 1743 (__v16hi) _mm256_setzero_si256 (), 1744 (__mmask16) __U); 1745 } 1746 1747 static __inline__ __m128i __DEFAULT_FN_ATTRS 1748 _mm_mask2_permutex2var_epi16 (__m128i __A, __m128i __I, __mmask8 __U, 1749 __m128i __B) 1750 { 1751 return (__m128i) __builtin_ia32_vpermi2varhi128_mask ((__v8hi) __A, 1752 (__v8hi) __I /* idx */ , 1753 (__v8hi) __B, 1754 (__mmask8) __U); 1755 } 1756 1757 static __inline__ __m256i __DEFAULT_FN_ATTRS 1758 _mm256_mask2_permutex2var_epi16 (__m256i __A, __m256i __I, 1759 __mmask16 __U, __m256i __B) 1760 { 1761 return (__m256i) __builtin_ia32_vpermi2varhi256_mask ((__v16hi) __A, 1762 (__v16hi) __I /* idx */ , 1763 (__v16hi) __B, 1764 (__mmask16) __U); 1765 } 1766 1767 static __inline__ __m128i __DEFAULT_FN_ATTRS 1768 _mm_permutex2var_epi16 (__m128i __A, __m128i __I, __m128i __B) 1769 { 1770 return (__m128i) __builtin_ia32_vpermt2varhi128_mask ((__v8hi) __I/* idx */, 1771 (__v8hi) __A, 1772 (__v8hi) __B, 1773 (__mmask8) -1); 1774 } 1775 1776 static __inline__ __m128i __DEFAULT_FN_ATTRS 1777 _mm_mask_permutex2var_epi16 (__m128i __A, __mmask8 __U, __m128i __I, 1778 __m128i __B) 1779 { 1780 return (__m128i) __builtin_ia32_vpermt2varhi128_mask ((__v8hi) __I/* idx */, 1781 (__v8hi) __A, 1782 (__v8hi) __B, 1783 (__mmask8) __U); 1784 } 1785 1786 static __inline__ __m128i __DEFAULT_FN_ATTRS 1787 _mm_maskz_permutex2var_epi16 (__mmask8 __U, __m128i __A, __m128i __I, 1788 __m128i __B) 1789 { 1790 return (__m128i) __builtin_ia32_vpermt2varhi128_maskz ((__v8hi) __I/* idx */, 1791 (__v8hi) __A, 1792 (__v8hi) __B, 1793 (__mmask8) __U); 1794 } 1795 1796 static __inline__ __m256i __DEFAULT_FN_ATTRS 1797 _mm256_permutex2var_epi16 (__m256i __A, __m256i __I, __m256i __B) 1798 { 1799 return (__m256i) __builtin_ia32_vpermt2varhi256_mask ((__v16hi) __I/* idx */, 1800 (__v16hi) __A, 1801 (__v16hi) __B, 1802 (__mmask16) -1); 1803 } 1804 1805 static __inline__ __m256i __DEFAULT_FN_ATTRS 1806 _mm256_mask_permutex2var_epi16 (__m256i __A, __mmask16 __U, 1807 __m256i __I, __m256i __B) 1808 { 1809 return (__m256i) __builtin_ia32_vpermt2varhi256_mask ((__v16hi) __I/* idx */, 1810 (__v16hi) __A, 1811 (__v16hi) __B, 1812 (__mmask16) __U); 1813 } 1814 1815 static __inline__ __m256i __DEFAULT_FN_ATTRS 1816 _mm256_maskz_permutex2var_epi16 (__mmask16 __U, __m256i __A, 1817 __m256i __I, __m256i __B) 1818 { 1819 return (__m256i) __builtin_ia32_vpermt2varhi256_maskz ((__v16hi) __I/* idx */, 1820 (__v16hi) __A, 1821 (__v16hi) __B, 1822 (__mmask16) __U); 1823 } 1824 1825 static __inline__ __m128i __DEFAULT_FN_ATTRS 1826 _mm_mask_maddubs_epi16 (__m128i __W, __mmask8 __U, __m128i __X, __m128i __Y) { 1827 return (__m128i) __builtin_ia32_pmaddubsw128_mask ((__v16qi) __X, 1828 (__v16qi) __Y, 1829 (__v8hi) __W, 1830 (__mmask8) __U); 1831 } 1832 1833 static __inline__ __m128i __DEFAULT_FN_ATTRS 1834 _mm_maskz_maddubs_epi16 (__mmask8 __U, __m128i __X, __m128i __Y) { 1835 return (__m128i) __builtin_ia32_pmaddubsw128_mask ((__v16qi) __X, 1836 (__v16qi) __Y, 1837 (__v8hi) _mm_setzero_si128(), 1838 (__mmask8) __U); 1839 } 1840 1841 static __inline__ __m256i __DEFAULT_FN_ATTRS 1842 _mm256_mask_maddubs_epi16 (__m256i __W, __mmask16 __U, __m256i __X, 1843 __m256i __Y) { 1844 return (__m256i) __builtin_ia32_pmaddubsw256_mask ((__v32qi) __X, 1845 (__v32qi) __Y, 1846 (__v16hi) __W, 1847 (__mmask16) __U); 1848 } 1849 1850 static __inline__ __m256i __DEFAULT_FN_ATTRS 1851 _mm256_maskz_maddubs_epi16 (__mmask16 __U, __m256i __X, __m256i __Y) { 1852 return (__m256i) __builtin_ia32_pmaddubsw256_mask ((__v32qi) __X, 1853 (__v32qi) __Y, 1854 (__v16hi) _mm256_setzero_si256(), 1855 (__mmask16) __U); 1856 } 1857 1858 static __inline__ __m128i __DEFAULT_FN_ATTRS 1859 _mm_mask_madd_epi16 (__m128i __W, __mmask8 __U, __m128i __A, 1860 __m128i __B) { 1861 return (__m128i) __builtin_ia32_pmaddwd128_mask ((__v8hi) __A, 1862 (__v8hi) __B, 1863 (__v4si) __W, 1864 (__mmask8) __U); 1865 } 1866 1867 static __inline__ __m128i __DEFAULT_FN_ATTRS 1868 _mm_maskz_madd_epi16 (__mmask8 __U, __m128i __A, __m128i __B) { 1869 return (__m128i) __builtin_ia32_pmaddwd128_mask ((__v8hi) __A, 1870 (__v8hi) __B, 1871 (__v4si) _mm_setzero_si128(), 1872 (__mmask8) __U); 1873 } 1874 1875 static __inline__ __m256i __DEFAULT_FN_ATTRS 1876 _mm256_mask_madd_epi16 (__m256i __W, __mmask8 __U, __m256i __A, __m256i __B) { 1877 return (__m256i) __builtin_ia32_pmaddwd256_mask ((__v16hi) __A, 1878 (__v16hi) __B, 1879 (__v8si) __W, 1880 (__mmask8) __U); 1881 } 1882 1883 static __inline__ __m256i __DEFAULT_FN_ATTRS 1884 _mm256_maskz_madd_epi16 (__mmask8 __U, __m256i __A, __m256i __B) { 1885 return (__m256i) __builtin_ia32_pmaddwd256_mask ((__v16hi) __A, 1886 (__v16hi) __B, 1887 (__v8si) _mm256_setzero_si256(), 1888 (__mmask8) __U); 1889 } 1890 1891 static __inline__ __m128i __DEFAULT_FN_ATTRS 1892 _mm_cvtsepi16_epi8 (__m128i __A) { 1893 return (__m128i) __builtin_ia32_pmovswb128_mask ((__v8hi) __A, 1894 (__v16qi) _mm_setzero_si128(), 1895 (__mmask8) -1); 1896 } 1897 1898 static __inline__ __m128i __DEFAULT_FN_ATTRS 1899 _mm_mask_cvtsepi16_epi8 (__m128i __O, __mmask8 __M, __m128i __A) { 1900 return (__m128i) __builtin_ia32_pmovswb128_mask ((__v8hi) __A, 1901 (__v16qi) __O, 1902 __M); 1903 } 1904 1905 static __inline__ __m128i __DEFAULT_FN_ATTRS 1906 _mm_maskz_cvtsepi16_epi8 (__mmask8 __M, __m128i __A) { 1907 return (__m128i) __builtin_ia32_pmovswb128_mask ((__v8hi) __A, 1908 (__v16qi) _mm_setzero_si128(), 1909 __M); 1910 } 1911 1912 static __inline__ __m128i __DEFAULT_FN_ATTRS 1913 _mm256_cvtsepi16_epi8 (__m256i __A) { 1914 return (__m128i) __builtin_ia32_pmovswb256_mask ((__v16hi) __A, 1915 (__v16qi) _mm_setzero_si128(), 1916 (__mmask16) -1); 1917 } 1918 1919 static __inline__ __m128i __DEFAULT_FN_ATTRS 1920 _mm256_mask_cvtsepi16_epi8 (__m128i __O, __mmask16 __M, __m256i __A) { 1921 return (__m128i) __builtin_ia32_pmovswb256_mask ((__v16hi) __A, 1922 (__v16qi) __O, 1923 __M); 1924 } 1925 1926 static __inline__ __m128i __DEFAULT_FN_ATTRS 1927 _mm256_maskz_cvtsepi16_epi8 (__mmask16 __M, __m256i __A) { 1928 return (__m128i) __builtin_ia32_pmovswb256_mask ((__v16hi) __A, 1929 (__v16qi) _mm_setzero_si128(), 1930 __M); 1931 } 1932 1933 static __inline__ __m128i __DEFAULT_FN_ATTRS 1934 _mm_cvtusepi16_epi8 (__m128i __A) { 1935 return (__m128i) __builtin_ia32_pmovuswb128_mask ((__v8hi) __A, 1936 (__v16qi) _mm_setzero_si128(), 1937 (__mmask8) -1); 1938 } 1939 1940 static __inline__ __m128i __DEFAULT_FN_ATTRS 1941 _mm_mask_cvtusepi16_epi8 (__m128i __O, __mmask8 __M, __m128i __A) { 1942 return (__m128i) __builtin_ia32_pmovuswb128_mask ((__v8hi) __A, 1943 (__v16qi) __O, 1944 __M); 1945 } 1946 1947 static __inline__ __m128i __DEFAULT_FN_ATTRS 1948 _mm_maskz_cvtusepi16_epi8 (__mmask8 __M, __m128i __A) { 1949 return (__m128i) __builtin_ia32_pmovuswb128_mask ((__v8hi) __A, 1950 (__v16qi) _mm_setzero_si128(), 1951 __M); 1952 } 1953 1954 static __inline__ __m128i __DEFAULT_FN_ATTRS 1955 _mm256_cvtusepi16_epi8 (__m256i __A) { 1956 return (__m128i) __builtin_ia32_pmovuswb256_mask ((__v16hi) __A, 1957 (__v16qi) _mm_setzero_si128(), 1958 (__mmask16) -1); 1959 } 1960 1961 static __inline__ __m128i __DEFAULT_FN_ATTRS 1962 _mm256_mask_cvtusepi16_epi8 (__m128i __O, __mmask16 __M, __m256i __A) { 1963 return (__m128i) __builtin_ia32_pmovuswb256_mask ((__v16hi) __A, 1964 (__v16qi) __O, 1965 __M); 1966 } 1967 1968 static __inline__ __m128i __DEFAULT_FN_ATTRS 1969 _mm256_maskz_cvtusepi16_epi8 (__mmask16 __M, __m256i __A) { 1970 return (__m128i) __builtin_ia32_pmovuswb256_mask ((__v16hi) __A, 1971 (__v16qi) _mm_setzero_si128(), 1972 __M); 1973 } 1974 1975 static __inline__ __m128i __DEFAULT_FN_ATTRS 1976 _mm_cvtepi16_epi8 (__m128i __A) { 1977 1978 return (__m128i) __builtin_ia32_pmovwb128_mask ((__v8hi) __A, 1979 (__v16qi) _mm_setzero_si128(), 1980 (__mmask8) -1); 1981 } 1982 1983 static __inline__ __m128i __DEFAULT_FN_ATTRS 1984 _mm_mask_cvtepi16_epi8 (__m128i __O, __mmask8 __M, __m128i __A) { 1985 return (__m128i) __builtin_ia32_pmovwb128_mask ((__v8hi) __A, 1986 (__v16qi) __O, 1987 __M); 1988 } 1989 1990 static __inline__ __m128i __DEFAULT_FN_ATTRS 1991 _mm_maskz_cvtepi16_epi8 (__mmask8 __M, __m128i __A) { 1992 return (__m128i) __builtin_ia32_pmovwb128_mask ((__v8hi) __A, 1993 (__v16qi) _mm_setzero_si128(), 1994 __M); 1995 } 1996 1997 static __inline__ __m128i __DEFAULT_FN_ATTRS 1998 _mm256_cvtepi16_epi8 (__m256i __A) { 1999 return (__m128i) __builtin_ia32_pmovwb256_mask ((__v16hi) __A, 2000 (__v16qi) _mm_setzero_si128(), 2001 (__mmask16) -1); 2002 } 2003 2004 static __inline__ __m128i __DEFAULT_FN_ATTRS 2005 _mm256_mask_cvtepi16_epi8 (__m128i __O, __mmask16 __M, __m256i __A) { 2006 return (__m128i) __builtin_ia32_pmovwb256_mask ((__v16hi) __A, 2007 (__v16qi) __O, 2008 __M); 2009 } 2010 2011 static __inline__ __m128i __DEFAULT_FN_ATTRS 2012 _mm256_maskz_cvtepi16_epi8 (__mmask16 __M, __m256i __A) { 2013 return (__m128i) __builtin_ia32_pmovwb256_mask ((__v16hi) __A, 2014 (__v16qi) _mm_setzero_si128(), 2015 __M); 2016 } 2017 2018 static __inline__ __m128i __DEFAULT_FN_ATTRS 2019 _mm_mask_mulhrs_epi16 (__m128i __W, __mmask8 __U, __m128i __X, __m128i __Y) { 2020 return (__m128i) __builtin_ia32_pmulhrsw128_mask ((__v8hi) __X, 2021 (__v8hi) __Y, 2022 (__v8hi) __W, 2023 (__mmask8) __U); 2024 } 2025 2026 static __inline__ __m128i __DEFAULT_FN_ATTRS 2027 _mm_maskz_mulhrs_epi16 (__mmask8 __U, __m128i __X, __m128i __Y) { 2028 return (__m128i) __builtin_ia32_pmulhrsw128_mask ((__v8hi) __X, 2029 (__v8hi) __Y, 2030 (__v8hi) _mm_setzero_si128(), 2031 (__mmask8) __U); 2032 } 2033 2034 static __inline__ __m256i __DEFAULT_FN_ATTRS 2035 _mm256_mask_mulhrs_epi16 (__m256i __W, __mmask16 __U, __m256i __X, __m256i __Y) { 2036 return (__m256i) __builtin_ia32_pmulhrsw256_mask ((__v16hi) __X, 2037 (__v16hi) __Y, 2038 (__v16hi) __W, 2039 (__mmask16) __U); 2040 } 2041 2042 static __inline__ __m256i __DEFAULT_FN_ATTRS 2043 _mm256_maskz_mulhrs_epi16 (__mmask16 __U, __m256i __X, __m256i __Y) { 2044 return (__m256i) __builtin_ia32_pmulhrsw256_mask ((__v16hi) __X, 2045 (__v16hi) __Y, 2046 (__v16hi) _mm256_setzero_si256(), 2047 (__mmask16) __U); 2048 } 2049 2050 static __inline__ __m128i __DEFAULT_FN_ATTRS 2051 _mm_mask_mulhi_epu16 (__m128i __W, __mmask8 __U, __m128i __A, 2052 __m128i __B) { 2053 return (__m128i) __builtin_ia32_pmulhuw128_mask ((__v8hi) __A, 2054 (__v8hi) __B, 2055 (__v8hi) __W, 2056 (__mmask8) __U); 2057 } 2058 2059 static __inline__ __m128i __DEFAULT_FN_ATTRS 2060 _mm_maskz_mulhi_epu16 (__mmask8 __U, __m128i __A, __m128i __B) { 2061 return (__m128i) __builtin_ia32_pmulhuw128_mask ((__v8hi) __A, 2062 (__v8hi) __B, 2063 (__v8hi) _mm_setzero_si128(), 2064 (__mmask8) __U); 2065 } 2066 2067 static __inline__ __m256i __DEFAULT_FN_ATTRS 2068 _mm256_mask_mulhi_epu16 (__m256i __W, __mmask16 __U, __m256i __A, 2069 __m256i __B) { 2070 return (__m256i) __builtin_ia32_pmulhuw256_mask ((__v16hi) __A, 2071 (__v16hi) __B, 2072 (__v16hi) __W, 2073 (__mmask16) __U); 2074 } 2075 2076 static __inline__ __m256i __DEFAULT_FN_ATTRS 2077 _mm256_maskz_mulhi_epu16 (__mmask16 __U, __m256i __A, __m256i __B) { 2078 return (__m256i) __builtin_ia32_pmulhuw256_mask ((__v16hi) __A, 2079 (__v16hi) __B, 2080 (__v16hi) _mm256_setzero_si256(), 2081 (__mmask16) __U); 2082 } 2083 2084 static __inline__ __m128i __DEFAULT_FN_ATTRS 2085 _mm_mask_mulhi_epi16 (__m128i __W, __mmask8 __U, __m128i __A, 2086 __m128i __B) { 2087 return (__m128i) __builtin_ia32_pmulhw128_mask ((__v8hi) __A, 2088 (__v8hi) __B, 2089 (__v8hi) __W, 2090 (__mmask8) __U); 2091 } 2092 2093 static __inline__ __m128i __DEFAULT_FN_ATTRS 2094 _mm_maskz_mulhi_epi16 (__mmask8 __U, __m128i __A, __m128i __B) { 2095 return (__m128i) __builtin_ia32_pmulhw128_mask ((__v8hi) __A, 2096 (__v8hi) __B, 2097 (__v8hi) _mm_setzero_si128(), 2098 (__mmask8) __U); 2099 } 2100 2101 static __inline__ __m256i __DEFAULT_FN_ATTRS 2102 _mm256_mask_mulhi_epi16 (__m256i __W, __mmask16 __U, __m256i __A, 2103 __m256i __B) { 2104 return (__m256i) __builtin_ia32_pmulhw256_mask ((__v16hi) __A, 2105 (__v16hi) __B, 2106 (__v16hi) __W, 2107 (__mmask16) __U); 2108 } 2109 2110 static __inline__ __m256i __DEFAULT_FN_ATTRS 2111 _mm256_maskz_mulhi_epi16 (__mmask16 __U, __m256i __A, __m256i __B) { 2112 return (__m256i) __builtin_ia32_pmulhw256_mask ((__v16hi) __A, 2113 (__v16hi) __B, 2114 (__v16hi) _mm256_setzero_si256(), 2115 (__mmask16) __U); 2116 } 2117 2118 static __inline__ __m128i __DEFAULT_FN_ATTRS 2119 _mm_mask_unpackhi_epi8 (__m128i __W, __mmask16 __U, __m128i __A, 2120 __m128i __B) { 2121 return (__m128i) __builtin_ia32_punpckhbw128_mask ((__v16qi) __A, 2122 (__v16qi) __B, 2123 (__v16qi) __W, 2124 (__mmask16) __U); 2125 } 2126 2127 static __inline__ __m128i __DEFAULT_FN_ATTRS 2128 _mm_maskz_unpackhi_epi8 (__mmask16 __U, __m128i __A, __m128i __B) { 2129 return (__m128i) __builtin_ia32_punpckhbw128_mask ((__v16qi) __A, 2130 (__v16qi) __B, 2131 (__v16qi) _mm_setzero_si128(), 2132 (__mmask16) __U); 2133 } 2134 2135 static __inline__ __m256i __DEFAULT_FN_ATTRS 2136 _mm256_mask_unpackhi_epi8 (__m256i __W, __mmask32 __U, __m256i __A, 2137 __m256i __B) { 2138 return (__m256i) __builtin_ia32_punpckhbw256_mask ((__v32qi) __A, 2139 (__v32qi) __B, 2140 (__v32qi) __W, 2141 (__mmask32) __U); 2142 } 2143 2144 static __inline__ __m256i __DEFAULT_FN_ATTRS 2145 _mm256_maskz_unpackhi_epi8 (__mmask32 __U, __m256i __A, __m256i __B) { 2146 return (__m256i) __builtin_ia32_punpckhbw256_mask ((__v32qi) __A, 2147 (__v32qi) __B, 2148 (__v32qi) _mm256_setzero_si256(), 2149 (__mmask32) __U); 2150 } 2151 2152 static __inline__ __m128i __DEFAULT_FN_ATTRS 2153 _mm_mask_unpackhi_epi16 (__m128i __W, __mmask8 __U, __m128i __A, 2154 __m128i __B) { 2155 return (__m128i) __builtin_ia32_punpckhwd128_mask ((__v8hi) __A, 2156 (__v8hi) __B, 2157 (__v8hi) __W, 2158 (__mmask8) __U); 2159 } 2160 2161 static __inline__ __m128i __DEFAULT_FN_ATTRS 2162 _mm_maskz_unpackhi_epi16 (__mmask8 __U, __m128i __A, __m128i __B) { 2163 return (__m128i) __builtin_ia32_punpckhwd128_mask ((__v8hi) __A, 2164 (__v8hi) __B, 2165 (__v8hi) _mm_setzero_si128(), 2166 (__mmask8) __U); 2167 } 2168 2169 static __inline__ __m256i __DEFAULT_FN_ATTRS 2170 _mm256_mask_unpackhi_epi16 (__m256i __W, __mmask16 __U, __m256i __A, 2171 __m256i __B) { 2172 return (__m256i) __builtin_ia32_punpckhwd256_mask ((__v16hi) __A, 2173 (__v16hi) __B, 2174 (__v16hi) __W, 2175 (__mmask16) __U); 2176 } 2177 2178 static __inline__ __m256i __DEFAULT_FN_ATTRS 2179 _mm256_maskz_unpackhi_epi16 (__mmask16 __U, __m256i __A, __m256i __B) { 2180 return (__m256i) __builtin_ia32_punpckhwd256_mask ((__v16hi) __A, 2181 (__v16hi) __B, 2182 (__v16hi) _mm256_setzero_si256(), 2183 (__mmask16) __U); 2184 } 2185 2186 static __inline__ __m128i __DEFAULT_FN_ATTRS 2187 _mm_mask_unpacklo_epi8 (__m128i __W, __mmask16 __U, __m128i __A, 2188 __m128i __B) { 2189 return (__m128i) __builtin_ia32_punpcklbw128_mask ((__v16qi) __A, 2190 (__v16qi) __B, 2191 (__v16qi) __W, 2192 (__mmask16) __U); 2193 } 2194 2195 static __inline__ __m128i __DEFAULT_FN_ATTRS 2196 _mm_maskz_unpacklo_epi8 (__mmask16 __U, __m128i __A, __m128i __B) { 2197 return (__m128i) __builtin_ia32_punpcklbw128_mask ((__v16qi) __A, 2198 (__v16qi) __B, 2199 (__v16qi) _mm_setzero_si128(), 2200 (__mmask16) __U); 2201 } 2202 2203 static __inline__ __m256i __DEFAULT_FN_ATTRS 2204 _mm256_mask_unpacklo_epi8 (__m256i __W, __mmask32 __U, __m256i __A, 2205 __m256i __B) { 2206 return (__m256i) __builtin_ia32_punpcklbw256_mask ((__v32qi) __A, 2207 (__v32qi) __B, 2208 (__v32qi) __W, 2209 (__mmask32) __U); 2210 } 2211 2212 static __inline__ __m256i __DEFAULT_FN_ATTRS 2213 _mm256_maskz_unpacklo_epi8 (__mmask32 __U, __m256i __A, __m256i __B) { 2214 return (__m256i) __builtin_ia32_punpcklbw256_mask ((__v32qi) __A, 2215 (__v32qi) __B, 2216 (__v32qi) _mm256_setzero_si256(), 2217 (__mmask32) __U); 2218 } 2219 2220 static __inline__ __m128i __DEFAULT_FN_ATTRS 2221 _mm_mask_unpacklo_epi16 (__m128i __W, __mmask8 __U, __m128i __A, 2222 __m128i __B) { 2223 return (__m128i) __builtin_ia32_punpcklwd128_mask ((__v8hi) __A, 2224 (__v8hi) __B, 2225 (__v8hi) __W, 2226 (__mmask8) __U); 2227 } 2228 2229 static __inline__ __m128i __DEFAULT_FN_ATTRS 2230 _mm_maskz_unpacklo_epi16 (__mmask8 __U, __m128i __A, __m128i __B) { 2231 return (__m128i) __builtin_ia32_punpcklwd128_mask ((__v8hi) __A, 2232 (__v8hi) __B, 2233 (__v8hi) _mm_setzero_si128(), 2234 (__mmask8) __U); 2235 } 2236 2237 static __inline__ __m256i __DEFAULT_FN_ATTRS 2238 _mm256_mask_unpacklo_epi16 (__m256i __W, __mmask16 __U, __m256i __A, 2239 __m256i __B) { 2240 return (__m256i) __builtin_ia32_punpcklwd256_mask ((__v16hi) __A, 2241 (__v16hi) __B, 2242 (__v16hi) __W, 2243 (__mmask16) __U); 2244 } 2245 2246 static __inline__ __m256i __DEFAULT_FN_ATTRS 2247 _mm256_maskz_unpacklo_epi16 (__mmask16 __U, __m256i __A, __m256i __B) { 2248 return (__m256i) __builtin_ia32_punpcklwd256_mask ((__v16hi) __A, 2249 (__v16hi) __B, 2250 (__v16hi) _mm256_setzero_si256(), 2251 (__mmask16) __U); 2252 } 2253 2254 #define _mm_cmp_epi8_mask(a, b, p) __extension__ ({ \ 2255 (__mmask16)__builtin_ia32_cmpb128_mask((__v16qi)(__m128i)(a), \ 2256 (__v16qi)(__m128i)(b), \ 2257 (p), (__mmask16)-1); }) 2258 2259 #define _mm_mask_cmp_epi8_mask(m, a, b, p) __extension__ ({ \ 2260 (__mmask16)__builtin_ia32_cmpb128_mask((__v16qi)(__m128i)(a), \ 2261 (__v16qi)(__m128i)(b), \ 2262 (p), (__mmask16)(m)); }) 2263 2264 #define _mm_cmp_epu8_mask(a, b, p) __extension__ ({ \ 2265 (__mmask16)__builtin_ia32_ucmpb128_mask((__v16qi)(__m128i)(a), \ 2266 (__v16qi)(__m128i)(b), \ 2267 (p), (__mmask16)-1); }) 2268 2269 #define _mm_mask_cmp_epu8_mask(m, a, b, p) __extension__ ({ \ 2270 (__mmask16)__builtin_ia32_ucmpb128_mask((__v16qi)(__m128i)(a), \ 2271 (__v16qi)(__m128i)(b), \ 2272 (p), (__mmask16)(m)); }) 2273 2274 #define _mm256_cmp_epi8_mask(a, b, p) __extension__ ({ \ 2275 (__mmask32)__builtin_ia32_cmpb256_mask((__v32qi)(__m256i)(a), \ 2276 (__v32qi)(__m256i)(b), \ 2277 (p), (__mmask32)-1); }) 2278 2279 #define _mm256_mask_cmp_epi8_mask(m, a, b, p) __extension__ ({ \ 2280 (__mmask32)__builtin_ia32_cmpb256_mask((__v32qi)(__m256i)(a), \ 2281 (__v32qi)(__m256i)(b), \ 2282 (p), (__mmask32)(m)); }) 2283 2284 #define _mm256_cmp_epu8_mask(a, b, p) __extension__ ({ \ 2285 (__mmask32)__builtin_ia32_ucmpb256_mask((__v32qi)(__m256i)(a), \ 2286 (__v32qi)(__m256i)(b), \ 2287 (p), (__mmask32)-1); }) 2288 2289 #define _mm256_mask_cmp_epu8_mask(m, a, b, p) __extension__ ({ \ 2290 (__mmask32)__builtin_ia32_ucmpb256_mask((__v32qi)(__m256i)(a), \ 2291 (__v32qi)(__m256i)(b), \ 2292 (p), (__mmask32)(m)); }) 2293 2294 #define _mm_cmp_epi16_mask(a, b, p) __extension__ ({ \ 2295 (__mmask8)__builtin_ia32_cmpw128_mask((__v8hi)(__m128i)(a), \ 2296 (__v8hi)(__m128i)(b), \ 2297 (p), (__mmask8)-1); }) 2298 2299 #define _mm_mask_cmp_epi16_mask(m, a, b, p) __extension__ ({ \ 2300 (__mmask8)__builtin_ia32_cmpw128_mask((__v8hi)(__m128i)(a), \ 2301 (__v8hi)(__m128i)(b), \ 2302 (p), (__mmask8)(m)); }) 2303 2304 #define _mm_cmp_epu16_mask(a, b, p) __extension__ ({ \ 2305 (__mmask8)__builtin_ia32_ucmpw128_mask((__v8hi)(__m128i)(a), \ 2306 (__v8hi)(__m128i)(b), \ 2307 (p), (__mmask8)-1); }) 2308 2309 #define _mm_mask_cmp_epu16_mask(m, a, b, p) __extension__ ({ \ 2310 (__mmask8)__builtin_ia32_ucmpw128_mask((__v8hi)(__m128i)(a), \ 2311 (__v8hi)(__m128i)(b), \ 2312 (p), (__mmask8)(m)); }) 2313 2314 #define _mm256_cmp_epi16_mask(a, b, p) __extension__ ({ \ 2315 (__mmask16)__builtin_ia32_cmpw256_mask((__v16hi)(__m256i)(a), \ 2316 (__v16hi)(__m256i)(b), \ 2317 (p), (__mmask16)-1); }) 2318 2319 #define _mm256_mask_cmp_epi16_mask(m, a, b, p) __extension__ ({ \ 2320 (__mmask16)__builtin_ia32_cmpw256_mask((__v16hi)(__m256i)(a), \ 2321 (__v16hi)(__m256i)(b), \ 2322 (p), (__mmask16)(m)); }) 2323 2324 #define _mm256_cmp_epu16_mask(a, b, p) __extension__ ({ \ 2325 (__mmask16)__builtin_ia32_ucmpw256_mask((__v16hi)(__m256i)(a), \ 2326 (__v16hi)(__m256i)(b), \ 2327 (p), (__mmask16)-1); }) 2328 2329 #define _mm256_mask_cmp_epu16_mask(m, a, b, p) __extension__ ({ \ 2330 (__mmask16)__builtin_ia32_ucmpw256_mask((__v16hi)(__m256i)(a), \ 2331 (__v16hi)(__m256i)(b), \ 2332 (p), (__mmask16)(m)); }) 2333 2334 #undef __DEFAULT_FN_ATTRS 2335 2336 #endif /* __AVX512VLBWINTRIN_H */ 2337
