Mercurial > vec
diff src/impl/x86/sse2.c @ 31:bf6ad516f1e6
Backed out changeset c6c99ab1088a
author | Paper <paper@tflc.us> |
---|---|
date | Fri, 25 Apr 2025 17:40:33 -0400 |
parents | c6c99ab1088a |
children | 99e4539f922f |
line wrap: on
line diff
--- a/src/impl/x86/sse2.c Fri Apr 25 17:40:30 2025 -0400 +++ b/src/impl/x86/sse2.c Fri Apr 25 17:40:33 2025 -0400 @@ -23,110 +23,10 @@ **/ #include "vec/impl/x86/sse2.h" +#include "vec/impl/generic.h" #include <emmintrin.h> -#define VEC_SSE2_DEFINE_IMPL_DATA(sign, bits, size) \ - union v##sign##int##bits##x##size##_impl_data { \ - v##sign##int##bits##x##size vec; \ - __m128i sse; \ - }; \ - \ - VEC_STATIC_ASSERT(VEC_ALIGNOF(__m128i) <= VEC_ALIGNOF(v##sign##int##bits##x##size), "vec: v" #sign "int" #bits "x" #size " alignment needs to be expanded to fit intrinsic type size"); \ - VEC_STATIC_ASSERT(sizeof(__m128i) <= sizeof(v##sign##int##bits##x##size), "vec: v" #sign "int" #bits "x" #size " needs to be expanded to fit intrinsic type size"); - -VEC_SSE2_DEFINE_IMPL_DATA( , 8, 16) -VEC_SSE2_DEFINE_IMPL_DATA(u, 8, 16) -VEC_SSE2_DEFINE_IMPL_DATA( , 16, 8) -VEC_SSE2_DEFINE_IMPL_DATA(u, 16, 8) -VEC_SSE2_DEFINE_IMPL_DATA( , 32, 4) -VEC_SSE2_DEFINE_IMPL_DATA(u, 32, 4) -VEC_SSE2_DEFINE_IMPL_DATA( , 64, 2) -VEC_SSE2_DEFINE_IMPL_DATA(u, 64, 2) - -/* eh */ -#define MM_SET1_8(x) _mm_set1_epi8(x) -#define MM_SET1_16(x) _mm_set1_epi16(x) -#define MM_SET1_32(x) _mm_set1_epi32(x) -#define MM_SET1_64(x) _mm_set1_epi64x(x) - -/* ------------------------------------------------------------------------ */ - -/* unfortunately doing this for SSE2 is PREPROCESSOR HELL */ -#define VEC_SSE2_MINMAX_8x16_TEMPLATE(SIGN, OP, VALS, ADDITIONAL1, ADDITIONAL2) \ - VEC_FUNC_IMPL v##SIGN##int8x16 v##SIGN##int8x16_sse2_##OP(v##SIGN##int8x16 vec1, v##SIGN##int8x16 vec2) \ - { \ - union v##SIGN##int8x16_impl_data *vec1d = (union v##SIGN##int8x16_impl_data *)&vec1; \ - union v##SIGN##int8x16_impl_data *vec2d = (union v##SIGN##int8x16_impl_data *)&vec2; \ - VALS \ - \ - ADDITIONAL1 \ - \ - vec1d->sse = _mm_##OP##_epu8(vec1d->sse, vec2d->sse); \ - \ - ADDITIONAL2 \ - \ - return vec1d->vec; \ - } - -/* conveniently, this looks like K&R C ;) */ -#define VEC_SSE2_MINMAX_8x16(OP) \ - VEC_SSE2_MINMAX_8x16_TEMPLATE(/* nothing */, OP, \ - __m128i xor_val = _mm_set1_epi8(0x80u); \ - , { \ - vec1d->sse = _mm_xor_si128(vec1d->sse, xor_val); \ - vec2d->sse = _mm_xor_si128(vec2d->sse, xor_val); \ - }, \ - { \ - vec1d->sse = _mm_xor_si128(vec1d->sse, xor_val); \ - }) - -#define VEC_SSE2_MINMAX_u8x16(OP) \ - VEC_SSE2_MINMAX_8x16_TEMPLATE(u, OP, /* nothing */, /* nothing */, /* nothing */) - -#define VEC_SSE2_MINMAX_16x8_TEMPLATE(SIGN, OP, VALS, ADDITIONAL1, ADDITIONAL2) \ - VEC_FUNC_IMPL v##SIGN##int16x8 v##SIGN##int16x8_sse2_##OP(v##SIGN##int16x8 vec1, v##SIGN##int16x8 vec2) \ - { \ - union v##SIGN##int16x8_impl_data *vec1d = (union v##SIGN##int16x8_impl_data *)&vec1; \ - union v##SIGN##int16x8_impl_data *vec2d = (union v##SIGN##int16x8_impl_data *)&vec2; \ - VALS \ - \ - ADDITIONAL1 \ - \ - vec1d->sse = _mm_##OP##_epi16(vec1d->sse, vec2d->sse); \ - \ - ADDITIONAL2 \ - \ - return vec1d->vec; \ - } - -#define VEC_SSE2_MINMAX_16x8(OP) \ - VEC_SSE2_MINMAX_16x8_TEMPLATE(/* nothing */, OP, /* nothing */, /* nothing */, /* nothing */) - -#define VEC_SSE2_MINMAX_u16x8(OP) \ - VEC_SSE2_MINMAX_16x8_TEMPLATE(u, OP, \ - __m128i xor_val = _mm_set1_epi16(0x8000u); \ - , { \ - vec1d->sse = _mm_xor_si128(vec1d->sse, xor_val); \ - vec2d->sse = _mm_xor_si128(vec2d->sse, xor_val); \ - }, \ - { \ - vec1d->sse = _mm_xor_si128(vec1d->sse, xor_val); \ - }) - -#define VEC_SSE2_MINMAX_32x4(OP) /* none */ -#define VEC_SSE2_MINMAX_64x2(OP) /* none */ -#define VEC_SSE2_MINMAX_u32x4(OP) /* none */ -#define VEC_SSE2_MINMAX_u64x2(OP) /* none */ - -#define VEC_SSE2_STRUCT_MINMAX_8x16(OP, SIGN) v##SIGN##int8x16_sse2_##OP -#define VEC_SSE2_STRUCT_MINMAX_16x8(OP, SIGN) v##SIGN##int16x8_sse2_##OP -#define VEC_SSE2_STRUCT_MINMAX_32x4(OP, SIGN) NULL -#define VEC_SSE2_STRUCT_MINMAX_64x2(OP, SIGN) NULL - -/* ------------------------------------------------------------------------ */ -/* multiplication */ - #define VEC_SSE2_OPERATION_8x16(op, sign) \ do { \ /* unpack and multiply */ \ @@ -192,58 +92,45 @@ return vec1d->vec; \ } while (0) -/* ------------------------------------------------------------------------ */ -/* comparison */ - -/* helper funcs */ -#define VEC_xSSE2_CMP(name, op, sign, bits, size, first, second, VARS, TRANS1, TRANS2) \ - VEC_FUNC_IMPL v##sign##int##bits##x##size v##sign##int##bits##x##size##_sse2_##name(v##sign##int##bits##x##size vec1, v##sign##int##bits##x##size vec2) \ - { \ - union v##sign##int##bits##x##size##_impl_data *vec1d = (union v##sign##int##bits##x##size##_impl_data *)&vec1; \ - union v##sign##int##bits##x##size##_impl_data *vec2d = (union v##sign##int##bits##x##size##_impl_data *)&vec2; \ - VARS \ +#define VEC_SSE2_CMPEQ_8x16(sign) \ + do { \ + union v##sign##int8x16_impl_data *vec1d = (union v##sign##int8x16_impl_data *)&vec1; \ + union v##sign##int8x16_impl_data *vec2d = (union v##sign##int8x16_impl_data *)&vec2; \ \ - TRANS1 \ - \ - vec1d->sse = _mm_##op##_epi##bits(vec##first##d->sse, vec##second##d->sse); \ - \ - TRANS2 \ + vec1d->sse = _mm_cmpeq_epi8(vec1d->sse, vec2d->sse); \ + return vec1d->vec; \ + } while (0) + +#define VEC_SSE2_CMPEQ_16x8(sign) \ + do { \ + union v##sign##int16x8_impl_data *vec1d = (union v##sign##int16x8_impl_data *)&vec1; \ + union v##sign##int16x8_impl_data *vec2d = (union v##sign##int16x8_impl_data *)&vec2; \ \ + vec1d->sse = _mm_cmpeq_epi16(vec1d->sse, vec2d->sse); \ return vec1d->vec; \ - } - -#define VEC_SSE2_CMP(name, op, bits, size, first, second) \ - VEC_xSSE2_CMP(name, op, /* nothing */, bits, size, first, second, /* nothing */, /* nothing */, /* nothing */) + } while (0) -#define VEC_uSSE2_CMP(name, op, bits, size, first, second) \ - VEC_xSSE2_CMP(name, op, u, bits, size, first, second, \ - __m128i xor_val = MM_SET1_##bits(1u << (bits - 1)); \ - , { \ - vec1d->sse = _mm_xor_si128(vec1d->sse, xor_val); \ - vec2d->sse = _mm_xor_si128(vec2d->sse, xor_val); \ - }, \ - { \ - /* nothing */ \ - }) +#define VEC_SSE2_CMPEQ_32x4(sign) \ + do { \ + union v##sign##int32x4_impl_data *vec1d = (union v##sign##int32x4_impl_data *)&vec1; \ + union v##sign##int32x4_impl_data *vec2d = (union v##sign##int32x4_impl_data *)&vec2; \ + \ + vec1d->sse = _mm_cmpeq_epi32(vec1d->sse, vec2d->sse); \ + return vec1d->vec; \ + } while (0) -/* these are the same for unsigned and signed, for obvious reasons. */ -#define VEC_SSE2_CMPEQ_8x16(sign) VEC_xSSE2_CMP(cmpeq, cmpeq, sign, 8, 16, 1, 2, , ,) -#define VEC_SSE2_CMPEQ_16x8(sign) VEC_xSSE2_CMP(cmpeq, cmpeq, sign, 16, 8, 1, 2, , ,) -#define VEC_SSE2_CMPEQ_32x4(sign) VEC_xSSE2_CMP(cmpeq, cmpeq, sign, 32, 4, 1, 2, , ,) - -/* SSE2 doesn't have an intrinsic for 64x2 equality comparison, - * so how can we take a 32x4 comparison result and turn it into - * a 64x2 comparison result? - * - * well, Intel conveniently provided an operation where we can - * shuffle around 32-bit integers (_mm_shuffle_epi32). - * - * this means all we have to do is simply do the 32-bit operation, - * shuffle the parts, and then return a bitwise AND of the result. */ +// SSE2 doesn't have an intrinsic for 64x2 equality comparison, +// so how can we take a 32x4 comparison result and turn it into +// a 64x2 comparison result? +// +// well, Intel conveniently provided an operation where we can +// shuffle around 32-bit integers (_mm_shuffle_epi32). +// +// this means all we have to do is simply do the 32-bit operation, +// shuffle the parts, and then return a bitwise AND of the result. #define VEC_SSE2_CMPEQ_64x2(sign) \ - VEC_FUNC_IMPL v##sign##int64x2 v##sign##int64x2_sse2_cmpeq(v##sign##int64x2 vec1, v##sign##int64x2 vec2) \ - { \ + do { \ union v##sign##int64x2_impl_data *vec1d = (union v##sign##int64x2_impl_data *)&vec1; \ union v##sign##int64x2_impl_data *vec2d = (union v##sign##int64x2_impl_data *)&vec2; \ \ @@ -253,60 +140,42 @@ vec1d->sse = _mm_and_si128(vec1d->sse, vec2d->sse); \ \ return vec1d->vec; \ - } - -/* ------------------------------------------------------------------------ */ - -#define VEC_SSE2_CMPLT_8x16(sign) VEC_##sign##SSE2_CMP(cmplt, cmpgt, 8, 16, 2, 1) -#define VEC_SSE2_CMPLT_16x8(sign) VEC_##sign##SSE2_CMP(cmplt, cmpgt, 16, 8, 2, 1) -#define VEC_SSE2_CMPLT_32x4(sign) VEC_##sign##SSE2_CMP(cmplt, cmpgt, 32, 4, 2, 1) -#define VEC_SSE2_CMPLT_64x2(sign) /* nothing */ - -#define VEC_SSE2_CMPGT_8x16(sign) VEC_##sign##SSE2_CMP(cmpgt, cmpgt, 8, 16, 1, 2) -#define VEC_SSE2_CMPGT_16x8(sign) VEC_##sign##SSE2_CMP(cmpgt, cmpgt, 16, 8, 1, 2) -#define VEC_SSE2_CMPGT_32x4(sign) VEC_##sign##SSE2_CMP(cmpgt, cmpgt, 32, 4, 1, 2) -#define VEC_SSE2_CMPGT_64x2(sign) /* nothing */ - -#define VEC_SSE2_STRUCT_CMP_8x16(name, sign) v##sign##int8x16_sse2_##name -#define VEC_SSE2_STRUCT_CMP_16x8(name, sign) v##sign##int16x8_sse2_##name -#define VEC_SSE2_STRUCT_CMP_32x4(name, sign) v##sign##int32x4_sse2_##name -#define VEC_SSE2_STRUCT_CMP_64x2(name, sign) NULL - -/* ------------------------------------------------------------------------ */ + } while (0) #define VEC_SSE2_DEFINE_OPERATIONS_SIGN(sign, bits, size) \ - VEC_FUNC_IMPL v##sign##int##bits##x##size v##sign##int##bits##x##size##_sse2_splat(vec_##sign##int##bits x) \ - { \ - union v##sign##int##bits##x##size##_impl_data vec; \ - vec.sse = MM_SET1_##bits(x); \ - return vec.vec; \ - } \ + union v##sign##int##bits##x##size##_impl_data { \ + v##sign##int##bits##x##size vec; \ + __m128i sse; \ + }; \ \ - VEC_FUNC_IMPL v##sign##int##bits##x##size v##sign##int##bits##x##size##_sse2_load_aligned(const vec_##sign##int##bits in[size]) \ + VEC_STATIC_ASSERT(VEC_ALIGNOF(__m128i) <= VEC_ALIGNOF(v##sign##int##bits##x##size), "vec: v" #sign "int" #bits "x" #size " alignment needs to be expanded to fit intrinsic type size"); \ + VEC_STATIC_ASSERT(sizeof(__m128i) <= sizeof(v##sign##int##bits##x##size), "vec: v" #sign "int" #bits "x" #size " needs to be expanded to fit intrinsic type size"); \ + \ + v##sign##int##bits##x##size v##sign##int##bits##x##size##_sse2_load_aligned(const vec_##sign##int##bits in[size]) \ { \ union v##sign##int##bits##x##size##_impl_data vec; \ vec.sse = _mm_load_si128((const __m128i *)in); \ return vec.vec; \ } \ \ - VEC_FUNC_IMPL v##sign##int##bits##x##size v##sign##int##bits##x##size##_sse2_load(const vec_##sign##int##bits in[size]) \ + v##sign##int##bits##x##size v##sign##int##bits##x##size##_sse2_load(const vec_##sign##int##bits in[size]) \ { \ union v##sign##int##bits##x##size##_impl_data vec; \ vec.sse = _mm_loadu_si128((const __m128i *)in); \ return vec.vec; \ } \ \ - VEC_FUNC_IMPL void v##sign##int##bits##x##size##_sse2_store_aligned(v##sign##int##bits##x##size vec, vec_##sign##int##bits out[size]) \ + void v##sign##int##bits##x##size##_sse2_store_aligned(v##sign##int##bits##x##size vec, vec_##sign##int##bits out[size]) \ { \ _mm_store_si128((__m128i *)out, ((union v##sign##int##bits##x##size##_impl_data *)&vec)->sse); \ } \ \ - VEC_FUNC_IMPL void v##sign##int##bits##x##size##_sse2_store(v##sign##int##bits##x##size vec, vec_##sign##int##bits out[size]) \ + void v##sign##int##bits##x##size##_sse2_store(v##sign##int##bits##x##size vec, vec_##sign##int##bits out[size]) \ { \ _mm_storeu_si128((__m128i *)out, ((union v##sign##int##bits##x##size##_impl_data *)&vec)->sse); \ } \ \ - VEC_FUNC_IMPL v##sign##int##bits##x##size v##sign##int##bits##x##size##_sse2_add(v##sign##int##bits##x##size vec1, v##sign##int##bits##x##size vec2) \ + v##sign##int##bits##x##size v##sign##int##bits##x##size##_sse2_add(v##sign##int##bits##x##size vec1, v##sign##int##bits##x##size vec2) \ { \ union v##sign##int##bits##x##size##_impl_data *vec1d = (union v##sign##int##bits##x##size##_impl_data *)&vec1; \ union v##sign##int##bits##x##size##_impl_data *vec2d = (union v##sign##int##bits##x##size##_impl_data *)&vec2; \ @@ -315,7 +184,7 @@ return vec1d->vec; \ } \ \ - VEC_FUNC_IMPL v##sign##int##bits##x##size v##sign##int##bits##x##size##_sse2_sub(v##sign##int##bits##x##size vec1, v##sign##int##bits##x##size vec2) \ + v##sign##int##bits##x##size v##sign##int##bits##x##size##_sse2_sub(v##sign##int##bits##x##size vec1, v##sign##int##bits##x##size vec2) \ { \ union v##sign##int##bits##x##size##_impl_data *vec1d = (union v##sign##int##bits##x##size##_impl_data *)&vec1; \ union v##sign##int##bits##x##size##_impl_data *vec2d = (union v##sign##int##bits##x##size##_impl_data *)&vec2; \ @@ -324,12 +193,12 @@ return vec1d->vec; \ } \ \ - VEC_FUNC_IMPL v##sign##int##bits##x##size v##sign##int##bits##x##size##_sse2_mul(v##sign##int##bits##x##size vec1, v##sign##int##bits##x##size vec2) \ + v##sign##int##bits##x##size v##sign##int##bits##x##size##_sse2_mul(v##sign##int##bits##x##size vec1, v##sign##int##bits##x##size vec2) \ { \ VEC_SSE2_MUL_##bits##x##size(sign); \ } \ \ - VEC_FUNC_IMPL v##sign##int##bits##x##size v##sign##int##bits##x##size##_sse2_and(v##sign##int##bits##x##size vec1, v##sign##int##bits##x##size vec2) \ + v##sign##int##bits##x##size v##sign##int##bits##x##size##_sse2_and(v##sign##int##bits##x##size vec1, v##sign##int##bits##x##size vec2) \ { \ union v##sign##int##bits##x##size##_impl_data *vec1d = (union v##sign##int##bits##x##size##_impl_data *)&vec1; \ union v##sign##int##bits##x##size##_impl_data *vec2d = (union v##sign##int##bits##x##size##_impl_data *)&vec2; \ @@ -338,7 +207,7 @@ return vec1d->vec; \ } \ \ - VEC_FUNC_IMPL v##sign##int##bits##x##size v##sign##int##bits##x##size##_sse2_or(v##sign##int##bits##x##size vec1, v##sign##int##bits##x##size vec2) \ + v##sign##int##bits##x##size v##sign##int##bits##x##size##_sse2_or(v##sign##int##bits##x##size vec1, v##sign##int##bits##x##size vec2) \ { \ union v##sign##int##bits##x##size##_impl_data *vec1d = (union v##sign##int##bits##x##size##_impl_data *)&vec1; \ union v##sign##int##bits##x##size##_impl_data *vec2d = (union v##sign##int##bits##x##size##_impl_data *)&vec2; \ @@ -347,7 +216,7 @@ return vec1d->vec; \ } \ \ - VEC_FUNC_IMPL v##sign##int##bits##x##size v##sign##int##bits##x##size##_sse2_xor(v##sign##int##bits##x##size vec1, v##sign##int##bits##x##size vec2) \ + v##sign##int##bits##x##size v##sign##int##bits##x##size##_sse2_xor(v##sign##int##bits##x##size vec1, v##sign##int##bits##x##size vec2) \ { \ union v##sign##int##bits##x##size##_impl_data *vec1d = (union v##sign##int##bits##x##size##_impl_data *)&vec1; \ union v##sign##int##bits##x##size##_impl_data *vec2d = (union v##sign##int##bits##x##size##_impl_data *)&vec2; \ @@ -356,30 +225,34 @@ return vec1d->vec; \ } \ \ - VEC_SSE2_CMPEQ_##bits##x##size(sign); \ - VEC_SSE2_CMPLT_##bits##x##size(sign); \ - VEC_SSE2_CMPGT_##bits##x##size(sign); \ - \ - VEC_SSE2_MINMAX_##sign##bits##x##size(min) \ - VEC_SSE2_MINMAX_##sign##bits##x##size(max) \ + v##sign##int##bits##x##size v##sign##int##bits##x##size##_sse2_cmpeq(v##sign##int##bits##x##size vec1, v##sign##int##bits##x##size vec2) \ + { \ + VEC_SSE2_CMPEQ_##bits##x##size(sign); \ + } \ \ const v##sign##int##bits##x##size##_impl v##sign##int##bits##x##size##_impl_sse2 = { \ - .splat = v##sign##int##bits##x##size##_sse2_splat, \ - .load_aligned = v##sign##int##bits##x##size##_sse2_load_aligned, \ - .load = v##sign##int##bits##x##size##_sse2_load, \ - .store_aligned = v##sign##int##bits##x##size##_sse2_store_aligned, \ - .store = v##sign##int##bits##x##size##_sse2_store, \ - .add = v##sign##int##bits##x##size##_sse2_add, \ - .sub = v##sign##int##bits##x##size##_sse2_sub, \ - .mul = v##sign##int##bits##x##size##_sse2_mul, \ - .band = v##sign##int##bits##x##size##_sse2_and, \ - .bor = v##sign##int##bits##x##size##_sse2_or, \ - .bxor = v##sign##int##bits##x##size##_sse2_xor, \ - .cmpeq = v##sign##int##bits##x##size##_sse2_cmpeq, \ - .cmplt = VEC_SSE2_STRUCT_CMP_##bits##x##size(cmplt, sign), \ - .cmpgt = VEC_SSE2_STRUCT_CMP_##bits##x##size(cmpgt, sign), \ - .min = VEC_SSE2_STRUCT_MINMAX_##bits##x##size(min, sign), \ - .max = VEC_SSE2_STRUCT_MINMAX_##bits##x##size(max, sign), \ + v##sign##int##bits##x##size##_generic_splat, \ + v##sign##int##bits##x##size##_sse2_load_aligned, \ + v##sign##int##bits##x##size##_sse2_load, \ + v##sign##int##bits##x##size##_sse2_store_aligned, \ + v##sign##int##bits##x##size##_sse2_store, \ + v##sign##int##bits##x##size##_sse2_add, \ + v##sign##int##bits##x##size##_sse2_sub, \ + v##sign##int##bits##x##size##_sse2_mul, \ + v##sign##int##bits##x##size##_generic_div, \ + v##sign##int##bits##x##size##_generic_avg, \ + v##sign##int##bits##x##size##_sse2_and, \ + v##sign##int##bits##x##size##_sse2_or, \ + v##sign##int##bits##x##size##_sse2_xor, \ + v##sign##int##bits##x##size##_generic_not, \ + v##sign##int##bits##x##size##_generic_lshift, \ + v##sign##int##bits##x##size##_generic_rshift, \ + v##sign##int##bits##x##size##_generic_lrshift, \ + v##sign##int##bits##x##size##_generic_cmplt, \ + v##sign##int##bits##x##size##_generic_cmple, \ + v##sign##int##bits##x##size##_sse2_cmpeq, \ + v##sign##int##bits##x##size##_generic_cmpge, \ + v##sign##int##bits##x##size##_generic_cmpgt, \ }; #define VEC_SSE2_DEFINE_OPERATIONS(bits, size) \