; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py ; RUN: llc < %s -mtriple=x86_64-- -mcpu=x86-64 | FileCheck %s -check-prefixes=CHECK,SSE ; RUN: llc < %s -mtriple=x86_64-- -mcpu=x86-64-v2 | FileCheck %s -check-prefixes=CHECK,SSE ; RUN: llc < %s -mtriple=x86_64-- -mcpu=x86-64-v3 | FileCheck %s -check-prefixes=CHECK,AVX2 ; RUN: llc < %s -mtriple=x86_64-- -mcpu=knl | FileCheck %s -check-prefixes=CHECK,AVX512,AVX512F ; RUN: llc < %s -mtriple=x86_64-- -mcpu=x86-64-v4 | FileCheck %s -check-prefixes=CHECK,AVX512,AVX512VL ; RUN: llc < %s -mtriple=x86_64-- -mcpu=x86-64-v4 -mattr=+avx512vbmi2 | FileCheck %s -check-prefixes=CHECK,AVX512,AVX512VBMI define i512 @shl_i512(i512 %a0, i512 %a1) nounwind { ; SSE-LABEL: shl_i512: ; SSE: # %bb.0: ; SSE-NEXT: pushq %r14 ; SSE-NEXT: pushq %rbx ; SSE-NEXT: pushq %rax ; SSE-NEXT: movl {{[0-9]+}}(%rsp), %eax ; SSE-NEXT: movaps {{[0-9]+}}(%rsp), %xmm0 ; SSE-NEXT: movq {{[0-9]+}}(%rsp), %r10 ; SSE-NEXT: movq %r10, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movups %xmm0, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq %r9, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq %r8, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq %rcx, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq %rdx, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq %rsi, -{{[0-9]+}}(%rsp) ; SSE-NEXT: xorps %xmm0, %xmm0 ; SSE-NEXT: movaps %xmm0, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movaps %xmm0, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movaps %xmm0, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movaps %xmm0, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movl %eax, %ecx ; SSE-NEXT: andl $63, %ecx ; SSE-NEXT: shrl $3, %eax ; SSE-NEXT: andl $56, %eax ; SSE-NEXT: negl %eax ; SSE-NEXT: cltq ; SSE-NEXT: movq -56(%rsp,%rax), %rdx ; SSE-NEXT: movq -48(%rsp,%rax), %r9 ; SSE-NEXT: movq %r9, %rsi ; SSE-NEXT: shldq %cl, %rdx, %rsi ; SSE-NEXT: movq -40(%rsp,%rax), %r10 ; SSE-NEXT: movq %r10, %r8 ; SSE-NEXT: shldq %cl, %r9, %r8 ; SSE-NEXT: movq -32(%rsp,%rax), %r9 ; SSE-NEXT: movq %r9, %r11 ; SSE-NEXT: shldq %cl, %r10, %r11 ; SSE-NEXT: movq -24(%rsp,%rax), %r10 ; SSE-NEXT: movq %r10, %rbx ; SSE-NEXT: shldq %cl, %r9, %rbx ; SSE-NEXT: movq -16(%rsp,%rax), %r9 ; SSE-NEXT: movq %r9, %r14 ; SSE-NEXT: shldq %cl, %r10, %r14 ; SSE-NEXT: movq -8(%rsp,%rax), %r10 ; SSE-NEXT: shldq %cl, %r9, %r10 ; SSE-NEXT: movq -64(%rsp,%rax), %rax ; SSE-NEXT: movq %rax, %r9 ; SSE-NEXT: shlq %cl, %r9 ; SSE-NEXT: # kill: def $cl killed $cl killed $ecx ; SSE-NEXT: shldq %cl, %rax, %rdx ; SSE-NEXT: movq %rdi, %rax ; SSE-NEXT: movq %r10, 56(%rdi) ; SSE-NEXT: movq %r14, 48(%rdi) ; SSE-NEXT: movq %rbx, 40(%rdi) ; SSE-NEXT: movq %r11, 32(%rdi) ; SSE-NEXT: movq %r8, 24(%rdi) ; SSE-NEXT: movq %rsi, 16(%rdi) ; SSE-NEXT: movq %rdx, 8(%rdi) ; SSE-NEXT: movq %r9, (%rdi) ; SSE-NEXT: addq $8, %rsp ; SSE-NEXT: popq %rbx ; SSE-NEXT: popq %r14 ; SSE-NEXT: retq ; ; AVX2-LABEL: shl_i512: ; AVX2: # %bb.0: ; AVX2-NEXT: pushq %r14 ; AVX2-NEXT: pushq %rbx ; AVX2-NEXT: pushq %rax ; AVX2-NEXT: movl {{[0-9]+}}(%rsp), %eax ; AVX2-NEXT: vmovaps {{[0-9]+}}(%rsp), %xmm0 ; AVX2-NEXT: movq {{[0-9]+}}(%rsp), %r10 ; AVX2-NEXT: movq %r10, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: vmovups %xmm0, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movq %r9, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movq %r8, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movq %rcx, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movq %rdx, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: vxorps %xmm0, %xmm0, %xmm0 ; AVX2-NEXT: vmovups %ymm0, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: vmovups %ymm0, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movq %rsi, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movl %eax, %ecx ; AVX2-NEXT: andl $63, %ecx ; AVX2-NEXT: shrl $3, %eax ; AVX2-NEXT: andl $56, %eax ; AVX2-NEXT: negl %eax ; AVX2-NEXT: movslq %eax, %r8 ; AVX2-NEXT: movq -56(%rsp,%r8), %rdx ; AVX2-NEXT: movq -48(%rsp,%r8), %rax ; AVX2-NEXT: movq %rax, %rsi ; AVX2-NEXT: shldq %cl, %rdx, %rsi ; AVX2-NEXT: movq -40(%rsp,%r8), %r10 ; AVX2-NEXT: movq %r10, %r9 ; AVX2-NEXT: shldq %cl, %rax, %r9 ; AVX2-NEXT: movq -32(%rsp,%r8), %rax ; AVX2-NEXT: movq %rax, %r11 ; AVX2-NEXT: shldq %cl, %r10, %r11 ; AVX2-NEXT: movq -24(%rsp,%r8), %r10 ; AVX2-NEXT: movq %r10, %rbx ; AVX2-NEXT: shldq %cl, %rax, %rbx ; AVX2-NEXT: movq -16(%rsp,%r8), %rax ; AVX2-NEXT: movq %rax, %r14 ; AVX2-NEXT: shldq %cl, %r10, %r14 ; AVX2-NEXT: movq -8(%rsp,%r8), %r10 ; AVX2-NEXT: shldq %cl, %rax, %r10 ; AVX2-NEXT: movq %rdi, %rax ; AVX2-NEXT: movq -64(%rsp,%r8), %rdi ; AVX2-NEXT: shlxq %rcx, %rdi, %r8 ; AVX2-NEXT: # kill: def $cl killed $cl killed $rcx ; AVX2-NEXT: shldq %cl, %rdi, %rdx ; AVX2-NEXT: movq %r10, 56(%rax) ; AVX2-NEXT: movq %r14, 48(%rax) ; AVX2-NEXT: movq %rbx, 40(%rax) ; AVX2-NEXT: movq %r11, 32(%rax) ; AVX2-NEXT: movq %r9, 24(%rax) ; AVX2-NEXT: movq %rsi, 16(%rax) ; AVX2-NEXT: movq %rdx, 8(%rax) ; AVX2-NEXT: movq %r8, (%rax) ; AVX2-NEXT: addq $8, %rsp ; AVX2-NEXT: popq %rbx ; AVX2-NEXT: popq %r14 ; AVX2-NEXT: vzeroupper ; AVX2-NEXT: retq ; ; AVX512F-LABEL: shl_i512: ; AVX512F: # %bb.0: ; AVX512F-NEXT: pushq %rax ; AVX512F-NEXT: movl {{[0-9]+}}(%rsp), %eax ; AVX512F-NEXT: vmovdqa {{[0-9]+}}(%rsp), %xmm0 ; AVX512F-NEXT: movq {{[0-9]+}}(%rsp), %r10 ; AVX512F-NEXT: movq %r10, -{{[0-9]+}}(%rsp) ; AVX512F-NEXT: vmovdqu %xmm0, -{{[0-9]+}}(%rsp) ; AVX512F-NEXT: movq %r9, -{{[0-9]+}}(%rsp) ; AVX512F-NEXT: movq %r8, -{{[0-9]+}}(%rsp) ; AVX512F-NEXT: movq %rcx, -{{[0-9]+}}(%rsp) ; AVX512F-NEXT: movq %rdx, -{{[0-9]+}}(%rsp) ; AVX512F-NEXT: movq %rsi, -{{[0-9]+}}(%rsp) ; AVX512F-NEXT: vpxor %xmm0, %xmm0, %xmm0 ; AVX512F-NEXT: vmovdqu64 %zmm0, -{{[0-9]+}}(%rsp) ; AVX512F-NEXT: movl %eax, %ecx ; AVX512F-NEXT: andl $63, %ecx ; AVX512F-NEXT: vmovq %rcx, %xmm1 ; AVX512F-NEXT: vpbroadcastq %xmm1, %xmm1 ; AVX512F-NEXT: shrl $3, %eax ; AVX512F-NEXT: andl $56, %eax ; AVX512F-NEXT: negl %eax ; AVX512F-NEXT: cltq ; AVX512F-NEXT: vmovdqu64 -64(%rsp,%rax), %zmm2 ; AVX512F-NEXT: vpsllq %xmm1, %zmm2, %zmm3 ; AVX512F-NEXT: valignq {{.*#+}} zmm0 = zmm0[7],zmm2[0,1,2,3,4,5,6] ; AVX512F-NEXT: vpsrlq $1, %zmm0, %zmm0 ; AVX512F-NEXT: vpandn {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1, %xmm1 ; AVX512F-NEXT: vpsrlq %xmm1, %zmm0, %zmm0 ; AVX512F-NEXT: movq %rdi, %rax ; AVX512F-NEXT: vporq %zmm0, %zmm3, %zmm0 ; AVX512F-NEXT: vmovdqu64 %zmm0, (%rdi) ; AVX512F-NEXT: popq %rcx ; AVX512F-NEXT: retq ; ; AVX512VL-LABEL: shl_i512: ; AVX512VL: # %bb.0: ; AVX512VL-NEXT: pushq %rax ; AVX512VL-NEXT: movl {{[0-9]+}}(%rsp), %eax ; AVX512VL-NEXT: vmovaps {{[0-9]+}}(%rsp), %xmm0 ; AVX512VL-NEXT: movq {{[0-9]+}}(%rsp), %r10 ; AVX512VL-NEXT: movq %r10, -{{[0-9]+}}(%rsp) ; AVX512VL-NEXT: vmovups %xmm0, -{{[0-9]+}}(%rsp) ; AVX512VL-NEXT: movq %r9, -{{[0-9]+}}(%rsp) ; AVX512VL-NEXT: movq %r8, -{{[0-9]+}}(%rsp) ; AVX512VL-NEXT: movq %rcx, -{{[0-9]+}}(%rsp) ; AVX512VL-NEXT: movq %rdx, -{{[0-9]+}}(%rsp) ; AVX512VL-NEXT: vxorps %xmm0, %xmm0, %xmm0 ; AVX512VL-NEXT: vmovups %ymm0, -{{[0-9]+}}(%rsp) ; AVX512VL-NEXT: vmovups %ymm0, -{{[0-9]+}}(%rsp) ; AVX512VL-NEXT: movq %rsi, -{{[0-9]+}}(%rsp) ; AVX512VL-NEXT: movl %eax, %ecx ; AVX512VL-NEXT: andl $63, %ecx ; AVX512VL-NEXT: vpbroadcastq %rcx, %xmm0 ; AVX512VL-NEXT: shrl $3, %eax ; AVX512VL-NEXT: andl $56, %eax ; AVX512VL-NEXT: negl %eax ; AVX512VL-NEXT: cltq ; AVX512VL-NEXT: vmovdqu64 -64(%rsp,%rax), %zmm1 ; AVX512VL-NEXT: vpsllq %xmm0, %zmm1, %zmm2 ; AVX512VL-NEXT: vpxor %xmm3, %xmm3, %xmm3 ; AVX512VL-NEXT: valignq {{.*#+}} zmm1 = zmm3[7],zmm1[0,1,2,3,4,5,6] ; AVX512VL-NEXT: vpsrlq $1, %zmm1, %zmm1 ; AVX512VL-NEXT: vpandnq {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to2}, %xmm0, %xmm0 ; AVX512VL-NEXT: vpsrlq %xmm0, %zmm1, %zmm0 ; AVX512VL-NEXT: movq %rdi, %rax ; AVX512VL-NEXT: vporq %zmm0, %zmm2, %zmm0 ; AVX512VL-NEXT: vextracti64x4 $1, %zmm0, 32(%rdi) ; AVX512VL-NEXT: vmovdqu %ymm0, (%rdi) ; AVX512VL-NEXT: popq %rcx ; AVX512VL-NEXT: vzeroupper ; AVX512VL-NEXT: retq ; ; AVX512VBMI-LABEL: shl_i512: ; AVX512VBMI: # %bb.0: ; AVX512VBMI-NEXT: pushq %rax ; AVX512VBMI-NEXT: movq %rdi, %rax ; AVX512VBMI-NEXT: movl {{[0-9]+}}(%rsp), %edi ; AVX512VBMI-NEXT: vmovaps {{[0-9]+}}(%rsp), %xmm0 ; AVX512VBMI-NEXT: movq {{[0-9]+}}(%rsp), %r10 ; AVX512VBMI-NEXT: movq %r10, -{{[0-9]+}}(%rsp) ; AVX512VBMI-NEXT: vmovups %xmm0, -{{[0-9]+}}(%rsp) ; AVX512VBMI-NEXT: movq %r9, -{{[0-9]+}}(%rsp) ; AVX512VBMI-NEXT: movq %r8, -{{[0-9]+}}(%rsp) ; AVX512VBMI-NEXT: movq %rcx, -{{[0-9]+}}(%rsp) ; AVX512VBMI-NEXT: movq %rdx, -{{[0-9]+}}(%rsp) ; AVX512VBMI-NEXT: movq %rsi, -{{[0-9]+}}(%rsp) ; AVX512VBMI-NEXT: vxorps %xmm0, %xmm0, %xmm0 ; AVX512VBMI-NEXT: vmovups %ymm0, -{{[0-9]+}}(%rsp) ; AVX512VBMI-NEXT: vmovups %ymm0, -{{[0-9]+}}(%rsp) ; AVX512VBMI-NEXT: movl %edi, %ecx ; AVX512VBMI-NEXT: shrl $3, %edi ; AVX512VBMI-NEXT: andl $56, %edi ; AVX512VBMI-NEXT: negl %edi ; AVX512VBMI-NEXT: movslq %edi, %rdx ; AVX512VBMI-NEXT: vmovdqu64 -64(%rsp,%rdx), %zmm0 ; AVX512VBMI-NEXT: vpxor %xmm1, %xmm1, %xmm1 ; AVX512VBMI-NEXT: valignq {{.*#+}} zmm1 = zmm1[7],zmm0[0,1,2,3,4,5,6] ; AVX512VBMI-NEXT: vpbroadcastq %rcx, %zmm2 ; AVX512VBMI-NEXT: vpshldvq %zmm2, %zmm1, %zmm0 ; AVX512VBMI-NEXT: vextracti64x4 $1, %zmm0, 32(%rax) ; AVX512VBMI-NEXT: vmovdqu %ymm0, (%rax) ; AVX512VBMI-NEXT: popq %rcx ; AVX512VBMI-NEXT: vzeroupper ; AVX512VBMI-NEXT: retq %r = shl i512 %a0, %a1 ret i512 %r } define i512 @lshr_i512(i512 %a0, i512 %a1) nounwind { ; SSE-LABEL: lshr_i512: ; SSE: # %bb.0: ; SSE-NEXT: pushq %r15 ; SSE-NEXT: pushq %r14 ; SSE-NEXT: pushq %rbx ; SSE-NEXT: movl {{[0-9]+}}(%rsp), %eax ; SSE-NEXT: movaps {{[0-9]+}}(%rsp), %xmm0 ; SSE-NEXT: movq {{[0-9]+}}(%rsp), %r10 ; SSE-NEXT: xorps %xmm1, %xmm1 ; SSE-NEXT: movaps %xmm1, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movaps %xmm1, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movaps %xmm1, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movaps %xmm1, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq %r10, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movups %xmm0, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq %r9, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq %r8, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq %rcx, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq %rdx, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq %rsi, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movl %eax, %ecx ; SSE-NEXT: andl $63, %ecx ; SSE-NEXT: shrl $3, %eax ; SSE-NEXT: andl $56, %eax ; SSE-NEXT: movq -112(%rsp,%rax), %rdx ; SSE-NEXT: movq -120(%rsp,%rax), %r9 ; SSE-NEXT: movq %r9, %rsi ; SSE-NEXT: shrdq %cl, %rdx, %rsi ; SSE-NEXT: movq -104(%rsp,%rax), %r8 ; SSE-NEXT: shrdq %cl, %r8, %rdx ; SSE-NEXT: movq -96(%rsp,%rax), %r10 ; SSE-NEXT: shrdq %cl, %r10, %r8 ; SSE-NEXT: movq -88(%rsp,%rax), %r11 ; SSE-NEXT: shrdq %cl, %r11, %r10 ; SSE-NEXT: movq -80(%rsp,%rax), %rbx ; SSE-NEXT: shrdq %cl, %rbx, %r11 ; SSE-NEXT: movq -72(%rsp,%rax), %r14 ; SSE-NEXT: shrdq %cl, %r14, %rbx ; SSE-NEXT: movq -128(%rsp,%rax), %r15 ; SSE-NEXT: shrdq %cl, %r9, %r15 ; SSE-NEXT: movq %rdi, %rax ; SSE-NEXT: # kill: def $cl killed $cl killed $ecx ; SSE-NEXT: shrq %cl, %r14 ; SSE-NEXT: movq %r14, 56(%rdi) ; SSE-NEXT: movq %rbx, 48(%rdi) ; SSE-NEXT: movq %r11, 40(%rdi) ; SSE-NEXT: movq %r10, 32(%rdi) ; SSE-NEXT: movq %r8, 24(%rdi) ; SSE-NEXT: movq %rdx, 16(%rdi) ; SSE-NEXT: movq %rsi, 8(%rdi) ; SSE-NEXT: movq %r15, (%rdi) ; SSE-NEXT: popq %rbx ; SSE-NEXT: popq %r14 ; SSE-NEXT: popq %r15 ; SSE-NEXT: retq ; ; AVX2-LABEL: lshr_i512: ; AVX2: # %bb.0: ; AVX2-NEXT: pushq %r15 ; AVX2-NEXT: pushq %r14 ; AVX2-NEXT: pushq %rbx ; AVX2-NEXT: movl {{[0-9]+}}(%rsp), %eax ; AVX2-NEXT: vmovaps {{[0-9]+}}(%rsp), %xmm0 ; AVX2-NEXT: vxorps %xmm1, %xmm1, %xmm1 ; AVX2-NEXT: vmovups %ymm1, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movq {{[0-9]+}}(%rsp), %r10 ; AVX2-NEXT: vmovups %ymm1, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movq %r10, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: vmovups %xmm0, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movq %r9, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movq %r8, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movq %rcx, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movq %rdx, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movq %rsi, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movl %eax, %ecx ; AVX2-NEXT: andl $63, %ecx ; AVX2-NEXT: shrl $3, %eax ; AVX2-NEXT: andl $56, %eax ; AVX2-NEXT: movq -112(%rsp,%rax), %rdx ; AVX2-NEXT: movq -120(%rsp,%rax), %r9 ; AVX2-NEXT: movq %r9, %rsi ; AVX2-NEXT: shrdq %cl, %rdx, %rsi ; AVX2-NEXT: movq -104(%rsp,%rax), %r8 ; AVX2-NEXT: shrdq %cl, %r8, %rdx ; AVX2-NEXT: movq -96(%rsp,%rax), %r10 ; AVX2-NEXT: shrdq %cl, %r10, %r8 ; AVX2-NEXT: movq -88(%rsp,%rax), %r11 ; AVX2-NEXT: shrdq %cl, %r11, %r10 ; AVX2-NEXT: movq -80(%rsp,%rax), %rbx ; AVX2-NEXT: shrdq %cl, %rbx, %r11 ; AVX2-NEXT: movq -128(%rsp,%rax), %r14 ; AVX2-NEXT: movq -72(%rsp,%rax), %r15 ; AVX2-NEXT: shrdq %cl, %r15, %rbx ; AVX2-NEXT: shrdq %cl, %r9, %r14 ; AVX2-NEXT: movq %rdi, %rax ; AVX2-NEXT: shrxq %rcx, %r15, %rcx ; AVX2-NEXT: movq %rcx, 56(%rdi) ; AVX2-NEXT: movq %rbx, 48(%rdi) ; AVX2-NEXT: movq %r11, 40(%rdi) ; AVX2-NEXT: movq %r10, 32(%rdi) ; AVX2-NEXT: movq %r8, 24(%rdi) ; AVX2-NEXT: movq %rdx, 16(%rdi) ; AVX2-NEXT: movq %rsi, 8(%rdi) ; AVX2-NEXT: movq %r14, (%rdi) ; AVX2-NEXT: popq %rbx ; AVX2-NEXT: popq %r14 ; AVX2-NEXT: popq %r15 ; AVX2-NEXT: vzeroupper ; AVX2-NEXT: retq ; ; AVX512F-LABEL: lshr_i512: ; AVX512F: # %bb.0: ; AVX512F-NEXT: pushq %rax ; AVX512F-NEXT: vmovaps {{[0-9]+}}(%rsp), %xmm0 ; AVX512F-NEXT: vpxor %xmm1, %xmm1, %xmm1 ; AVX512F-NEXT: vmovdqu64 %zmm1, -{{[0-9]+}}(%rsp) ; AVX512F-NEXT: movq {{[0-9]+}}(%rsp), %rax ; AVX512F-NEXT: movq %rax, -{{[0-9]+}}(%rsp) ; AVX512F-NEXT: vmovups %xmm0, -{{[0-9]+}}(%rsp) ; AVX512F-NEXT: movl {{[0-9]+}}(%rsp), %eax ; AVX512F-NEXT: movq %r9, -{{[0-9]+}}(%rsp) ; AVX512F-NEXT: movq %r8, -{{[0-9]+}}(%rsp) ; AVX512F-NEXT: movq %rcx, -{{[0-9]+}}(%rsp) ; AVX512F-NEXT: movq %rdx, -{{[0-9]+}}(%rsp) ; AVX512F-NEXT: movq %rsi, -{{[0-9]+}}(%rsp) ; AVX512F-NEXT: movl %eax, %ecx ; AVX512F-NEXT: andl $63, %ecx ; AVX512F-NEXT: vmovq %rcx, %xmm0 ; AVX512F-NEXT: vpbroadcastq %xmm0, %xmm0 ; AVX512F-NEXT: shrl $3, %eax ; AVX512F-NEXT: andl $56, %eax ; AVX512F-NEXT: vmovdqu64 -128(%rsp,%rax), %zmm2 ; AVX512F-NEXT: vpsrlq %xmm0, %zmm2, %zmm3 ; AVX512F-NEXT: valignq {{.*#+}} zmm1 = zmm2[1,2,3,4,5,6,7],zmm1[0] ; AVX512F-NEXT: vpaddq %zmm1, %zmm1, %zmm1 ; AVX512F-NEXT: vpandn {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0 ; AVX512F-NEXT: vpsllq %xmm0, %zmm1, %zmm0 ; AVX512F-NEXT: movq %rdi, %rax ; AVX512F-NEXT: vporq %zmm3, %zmm0, %zmm0 ; AVX512F-NEXT: vmovdqu64 %zmm0, (%rdi) ; AVX512F-NEXT: popq %rcx ; AVX512F-NEXT: retq ; ; AVX512VL-LABEL: lshr_i512: ; AVX512VL: # %bb.0: ; AVX512VL-NEXT: pushq %rax ; AVX512VL-NEXT: vmovaps {{[0-9]+}}(%rsp), %xmm0 ; AVX512VL-NEXT: movl {{[0-9]+}}(%rsp), %eax ; AVX512VL-NEXT: vxorps %xmm1, %xmm1, %xmm1 ; AVX512VL-NEXT: vmovups %ymm1, -{{[0-9]+}}(%rsp) ; AVX512VL-NEXT: vmovups %ymm1, -{{[0-9]+}}(%rsp) ; AVX512VL-NEXT: movq {{[0-9]+}}(%rsp), %r10 ; AVX512VL-NEXT: movq %r10, -{{[0-9]+}}(%rsp) ; AVX512VL-NEXT: vmovups %xmm0, -{{[0-9]+}}(%rsp) ; AVX512VL-NEXT: movq %r9, -{{[0-9]+}}(%rsp) ; AVX512VL-NEXT: movq %r8, -{{[0-9]+}}(%rsp) ; AVX512VL-NEXT: movq %rcx, -{{[0-9]+}}(%rsp) ; AVX512VL-NEXT: movq %rdx, -{{[0-9]+}}(%rsp) ; AVX512VL-NEXT: movq %rsi, -{{[0-9]+}}(%rsp) ; AVX512VL-NEXT: movl %eax, %ecx ; AVX512VL-NEXT: andl $63, %ecx ; AVX512VL-NEXT: vpbroadcastq %rcx, %xmm0 ; AVX512VL-NEXT: shrl $3, %eax ; AVX512VL-NEXT: andl $56, %eax ; AVX512VL-NEXT: vmovdqu64 -128(%rsp,%rax), %zmm1 ; AVX512VL-NEXT: vpsrlq %xmm0, %zmm1, %zmm2 ; AVX512VL-NEXT: vpxor %xmm3, %xmm3, %xmm3 ; AVX512VL-NEXT: valignq {{.*#+}} zmm1 = zmm1[1,2,3,4,5,6,7],zmm3[0] ; AVX512VL-NEXT: vpaddq %zmm1, %zmm1, %zmm1 ; AVX512VL-NEXT: vpandnq {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to2}, %xmm0, %xmm0 ; AVX512VL-NEXT: vpsllq %xmm0, %zmm1, %zmm0 ; AVX512VL-NEXT: movq %rdi, %rax ; AVX512VL-NEXT: vporq %zmm2, %zmm0, %zmm0 ; AVX512VL-NEXT: vextracti64x4 $1, %zmm0, 32(%rdi) ; AVX512VL-NEXT: vmovdqu %ymm0, (%rdi) ; AVX512VL-NEXT: popq %rcx ; AVX512VL-NEXT: vzeroupper ; AVX512VL-NEXT: retq ; ; AVX512VBMI-LABEL: lshr_i512: ; AVX512VBMI: # %bb.0: ; AVX512VBMI-NEXT: pushq %rax ; AVX512VBMI-NEXT: movq %rdi, %rax ; AVX512VBMI-NEXT: vmovaps {{[0-9]+}}(%rsp), %xmm0 ; AVX512VBMI-NEXT: vpxor %xmm1, %xmm1, %xmm1 ; AVX512VBMI-NEXT: vmovdqu %ymm1, -{{[0-9]+}}(%rsp) ; AVX512VBMI-NEXT: movq {{[0-9]+}}(%rsp), %rdi ; AVX512VBMI-NEXT: vmovdqu %ymm1, -{{[0-9]+}}(%rsp) ; AVX512VBMI-NEXT: movq %rdi, -{{[0-9]+}}(%rsp) ; AVX512VBMI-NEXT: vmovups %xmm0, -{{[0-9]+}}(%rsp) ; AVX512VBMI-NEXT: movl {{[0-9]+}}(%rsp), %edi ; AVX512VBMI-NEXT: movq %r9, -{{[0-9]+}}(%rsp) ; AVX512VBMI-NEXT: movq %r8, -{{[0-9]+}}(%rsp) ; AVX512VBMI-NEXT: movq %rcx, -{{[0-9]+}}(%rsp) ; AVX512VBMI-NEXT: movq %rdx, -{{[0-9]+}}(%rsp) ; AVX512VBMI-NEXT: movq %rsi, -{{[0-9]+}}(%rsp) ; AVX512VBMI-NEXT: movl %edi, %ecx ; AVX512VBMI-NEXT: shrl $3, %edi ; AVX512VBMI-NEXT: andl $56, %edi ; AVX512VBMI-NEXT: vmovdqu64 -128(%rsp,%rdi), %zmm0 ; AVX512VBMI-NEXT: vpxor %xmm1, %xmm1, %xmm1 ; AVX512VBMI-NEXT: valignq {{.*#+}} zmm1 = zmm0[1,2,3,4,5,6,7],zmm1[0] ; AVX512VBMI-NEXT: vpbroadcastq %rcx, %zmm2 ; AVX512VBMI-NEXT: vpshrdvq %zmm2, %zmm1, %zmm0 ; AVX512VBMI-NEXT: vextracti64x4 $1, %zmm0, 32(%rax) ; AVX512VBMI-NEXT: vmovdqu %ymm0, (%rax) ; AVX512VBMI-NEXT: popq %rcx ; AVX512VBMI-NEXT: vzeroupper ; AVX512VBMI-NEXT: retq %r = lshr i512 %a0, %a1 ret i512 %r } define i512 @ashr_i512(i512 %a0, i512 %a1) nounwind { ; SSE-LABEL: ashr_i512: ; SSE: # %bb.0: ; SSE-NEXT: pushq %r15 ; SSE-NEXT: pushq %r14 ; SSE-NEXT: pushq %rbx ; SSE-NEXT: movl {{[0-9]+}}(%rsp), %eax ; SSE-NEXT: movaps {{[0-9]+}}(%rsp), %xmm0 ; SSE-NEXT: movq {{[0-9]+}}(%rsp), %r10 ; SSE-NEXT: movq %r10, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movups %xmm0, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq %r9, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq %r8, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq %rcx, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq %rdx, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq %rsi, -{{[0-9]+}}(%rsp) ; SSE-NEXT: sarq $63, %r10 ; SSE-NEXT: movq %r10, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq %r10, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq %r10, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq %r10, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq %r10, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq %r10, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq %r10, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq %r10, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movl %eax, %ecx ; SSE-NEXT: andl $63, %ecx ; SSE-NEXT: shrl $3, %eax ; SSE-NEXT: andl $56, %eax ; SSE-NEXT: movq -112(%rsp,%rax), %rdx ; SSE-NEXT: movq -120(%rsp,%rax), %r9 ; SSE-NEXT: movq %r9, %rsi ; SSE-NEXT: shrdq %cl, %rdx, %rsi ; SSE-NEXT: movq -104(%rsp,%rax), %r8 ; SSE-NEXT: shrdq %cl, %r8, %rdx ; SSE-NEXT: movq -96(%rsp,%rax), %r10 ; SSE-NEXT: shrdq %cl, %r10, %r8 ; SSE-NEXT: movq -88(%rsp,%rax), %r11 ; SSE-NEXT: shrdq %cl, %r11, %r10 ; SSE-NEXT: movq -80(%rsp,%rax), %rbx ; SSE-NEXT: shrdq %cl, %rbx, %r11 ; SSE-NEXT: movq -72(%rsp,%rax), %r14 ; SSE-NEXT: shrdq %cl, %r14, %rbx ; SSE-NEXT: movq -128(%rsp,%rax), %r15 ; SSE-NEXT: shrdq %cl, %r9, %r15 ; SSE-NEXT: movq %rdi, %rax ; SSE-NEXT: # kill: def $cl killed $cl killed $ecx ; SSE-NEXT: sarq %cl, %r14 ; SSE-NEXT: movq %r14, 56(%rdi) ; SSE-NEXT: movq %rbx, 48(%rdi) ; SSE-NEXT: movq %r11, 40(%rdi) ; SSE-NEXT: movq %r10, 32(%rdi) ; SSE-NEXT: movq %r8, 24(%rdi) ; SSE-NEXT: movq %rdx, 16(%rdi) ; SSE-NEXT: movq %rsi, 8(%rdi) ; SSE-NEXT: movq %r15, (%rdi) ; SSE-NEXT: popq %rbx ; SSE-NEXT: popq %r14 ; SSE-NEXT: popq %r15 ; SSE-NEXT: retq ; ; AVX2-LABEL: ashr_i512: ; AVX2: # %bb.0: ; AVX2-NEXT: pushq %r15 ; AVX2-NEXT: pushq %r14 ; AVX2-NEXT: pushq %rbx ; AVX2-NEXT: vmovaps {{[0-9]+}}(%rsp), %xmm0 ; AVX2-NEXT: movq {{[0-9]+}}(%rsp), %r10 ; AVX2-NEXT: movq %r10, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: vmovups %xmm0, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movl {{[0-9]+}}(%rsp), %eax ; AVX2-NEXT: movq %r9, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movq %r8, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movq %rcx, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movq %rdx, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movq %rsi, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: sarq $63, %r10 ; AVX2-NEXT: movq %r10, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movq %r10, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movq %r10, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movq %r10, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movq %r10, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movq %r10, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movq %r10, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movq %r10, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movl %eax, %ecx ; AVX2-NEXT: andl $63, %ecx ; AVX2-NEXT: shrl $3, %eax ; AVX2-NEXT: andl $56, %eax ; AVX2-NEXT: movq -112(%rsp,%rax), %rdx ; AVX2-NEXT: movq -120(%rsp,%rax), %r9 ; AVX2-NEXT: movq %r9, %rsi ; AVX2-NEXT: shrdq %cl, %rdx, %rsi ; AVX2-NEXT: movq -104(%rsp,%rax), %r8 ; AVX2-NEXT: shrdq %cl, %r8, %rdx ; AVX2-NEXT: movq -96(%rsp,%rax), %r10 ; AVX2-NEXT: shrdq %cl, %r10, %r8 ; AVX2-NEXT: movq -88(%rsp,%rax), %r11 ; AVX2-NEXT: shrdq %cl, %r11, %r10 ; AVX2-NEXT: movq -80(%rsp,%rax), %rbx ; AVX2-NEXT: shrdq %cl, %rbx, %r11 ; AVX2-NEXT: movq -128(%rsp,%rax), %r14 ; AVX2-NEXT: movq -72(%rsp,%rax), %r15 ; AVX2-NEXT: shrdq %cl, %r15, %rbx ; AVX2-NEXT: shrdq %cl, %r9, %r14 ; AVX2-NEXT: movq %rdi, %rax ; AVX2-NEXT: sarxq %rcx, %r15, %rcx ; AVX2-NEXT: movq %rcx, 56(%rdi) ; AVX2-NEXT: movq %rbx, 48(%rdi) ; AVX2-NEXT: movq %r11, 40(%rdi) ; AVX2-NEXT: movq %r10, 32(%rdi) ; AVX2-NEXT: movq %r8, 24(%rdi) ; AVX2-NEXT: movq %rdx, 16(%rdi) ; AVX2-NEXT: movq %rsi, 8(%rdi) ; AVX2-NEXT: movq %r14, (%rdi) ; AVX2-NEXT: popq %rbx ; AVX2-NEXT: popq %r14 ; AVX2-NEXT: popq %r15 ; AVX2-NEXT: retq ; ; AVX512F-LABEL: ashr_i512: ; AVX512F: # %bb.0: ; AVX512F-NEXT: pushq %rax ; AVX512F-NEXT: movl {{[0-9]+}}(%rsp), %eax ; AVX512F-NEXT: vmovaps {{[0-9]+}}(%rsp), %xmm0 ; AVX512F-NEXT: movq {{[0-9]+}}(%rsp), %r10 ; AVX512F-NEXT: movq %r10, -{{[0-9]+}}(%rsp) ; AVX512F-NEXT: vmovups %xmm0, -{{[0-9]+}}(%rsp) ; AVX512F-NEXT: movq %r9, -{{[0-9]+}}(%rsp) ; AVX512F-NEXT: movq %r8, -{{[0-9]+}}(%rsp) ; AVX512F-NEXT: movq %rcx, -{{[0-9]+}}(%rsp) ; AVX512F-NEXT: movq %rdx, -{{[0-9]+}}(%rsp) ; AVX512F-NEXT: movq %rsi, -{{[0-9]+}}(%rsp) ; AVX512F-NEXT: sarq $63, %r10 ; AVX512F-NEXT: movq %r10, -{{[0-9]+}}(%rsp) ; AVX512F-NEXT: movq %r10, -{{[0-9]+}}(%rsp) ; AVX512F-NEXT: movq %r10, -{{[0-9]+}}(%rsp) ; AVX512F-NEXT: movq %r10, -{{[0-9]+}}(%rsp) ; AVX512F-NEXT: movq %r10, -{{[0-9]+}}(%rsp) ; AVX512F-NEXT: movq %r10, -{{[0-9]+}}(%rsp) ; AVX512F-NEXT: movq %r10, -{{[0-9]+}}(%rsp) ; AVX512F-NEXT: movq %r10, -{{[0-9]+}}(%rsp) ; AVX512F-NEXT: movl %eax, %ecx ; AVX512F-NEXT: andl $63, %ecx ; AVX512F-NEXT: vmovq %rcx, %xmm0 ; AVX512F-NEXT: vpbroadcastq %xmm0, %xmm0 ; AVX512F-NEXT: shrl $3, %eax ; AVX512F-NEXT: andl $56, %eax ; AVX512F-NEXT: vmovdqu64 -128(%rsp,%rax), %zmm1 ; AVX512F-NEXT: vpsrlq %xmm0, %zmm1, %zmm2 ; AVX512F-NEXT: vpsraq $63, -72(%rsp,%rax){1to8}, %zmm3 ; AVX512F-NEXT: valignq {{.*#+}} zmm1 = zmm1[1,2,3,4,5,6,7],zmm3[0] ; AVX512F-NEXT: vpaddq %zmm1, %zmm1, %zmm1 ; AVX512F-NEXT: vpandn {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0, %xmm0 ; AVX512F-NEXT: vpsllq %xmm0, %zmm1, %zmm0 ; AVX512F-NEXT: movq %rdi, %rax ; AVX512F-NEXT: vporq %zmm2, %zmm0, %zmm0 ; AVX512F-NEXT: vmovdqu64 %zmm0, (%rdi) ; AVX512F-NEXT: popq %rcx ; AVX512F-NEXT: retq ; ; AVX512VL-LABEL: ashr_i512: ; AVX512VL: # %bb.0: ; AVX512VL-NEXT: pushq %rax ; AVX512VL-NEXT: movl {{[0-9]+}}(%rsp), %eax ; AVX512VL-NEXT: vmovaps {{[0-9]+}}(%rsp), %xmm0 ; AVX512VL-NEXT: movq {{[0-9]+}}(%rsp), %r10 ; AVX512VL-NEXT: movq %r10, -{{[0-9]+}}(%rsp) ; AVX512VL-NEXT: vmovups %xmm0, -{{[0-9]+}}(%rsp) ; AVX512VL-NEXT: movq %r9, -{{[0-9]+}}(%rsp) ; AVX512VL-NEXT: movq %r8, -{{[0-9]+}}(%rsp) ; AVX512VL-NEXT: movq %rcx, -{{[0-9]+}}(%rsp) ; AVX512VL-NEXT: movq %rdx, -{{[0-9]+}}(%rsp) ; AVX512VL-NEXT: movq %rsi, -{{[0-9]+}}(%rsp) ; AVX512VL-NEXT: sarq $63, %r10 ; AVX512VL-NEXT: movq %r10, -{{[0-9]+}}(%rsp) ; AVX512VL-NEXT: movq %r10, -{{[0-9]+}}(%rsp) ; AVX512VL-NEXT: movq %r10, -{{[0-9]+}}(%rsp) ; AVX512VL-NEXT: movq %r10, -{{[0-9]+}}(%rsp) ; AVX512VL-NEXT: movq %r10, -{{[0-9]+}}(%rsp) ; AVX512VL-NEXT: movq %r10, -{{[0-9]+}}(%rsp) ; AVX512VL-NEXT: movq %r10, -{{[0-9]+}}(%rsp) ; AVX512VL-NEXT: movq %r10, -{{[0-9]+}}(%rsp) ; AVX512VL-NEXT: movl %eax, %ecx ; AVX512VL-NEXT: andl $63, %ecx ; AVX512VL-NEXT: vpbroadcastq %rcx, %xmm0 ; AVX512VL-NEXT: shrl $3, %eax ; AVX512VL-NEXT: andl $56, %eax ; AVX512VL-NEXT: vmovdqu64 -128(%rsp,%rax), %zmm1 ; AVX512VL-NEXT: vpsrlq %xmm0, %zmm1, %zmm2 ; AVX512VL-NEXT: vpsraq $63, -72(%rsp,%rax){1to2}, %xmm3 ; AVX512VL-NEXT: valignq {{.*#+}} zmm1 = zmm1[1,2,3,4,5,6,7],zmm3[0] ; AVX512VL-NEXT: vpaddq %zmm1, %zmm1, %zmm1 ; AVX512VL-NEXT: vpandnq {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to2}, %xmm0, %xmm0 ; AVX512VL-NEXT: vpsllq %xmm0, %zmm1, %zmm0 ; AVX512VL-NEXT: movq %rdi, %rax ; AVX512VL-NEXT: vporq %zmm2, %zmm0, %zmm0 ; AVX512VL-NEXT: vextracti64x4 $1, %zmm0, 32(%rdi) ; AVX512VL-NEXT: vmovdqu %ymm0, (%rdi) ; AVX512VL-NEXT: popq %rcx ; AVX512VL-NEXT: vzeroupper ; AVX512VL-NEXT: retq ; ; AVX512VBMI-LABEL: ashr_i512: ; AVX512VBMI: # %bb.0: ; AVX512VBMI-NEXT: pushq %rax ; AVX512VBMI-NEXT: movq %rdi, %rax ; AVX512VBMI-NEXT: movl {{[0-9]+}}(%rsp), %edi ; AVX512VBMI-NEXT: vmovaps {{[0-9]+}}(%rsp), %xmm0 ; AVX512VBMI-NEXT: movq {{[0-9]+}}(%rsp), %r10 ; AVX512VBMI-NEXT: movq %r10, -{{[0-9]+}}(%rsp) ; AVX512VBMI-NEXT: vmovups %xmm0, -{{[0-9]+}}(%rsp) ; AVX512VBMI-NEXT: movq %r9, -{{[0-9]+}}(%rsp) ; AVX512VBMI-NEXT: movq %r8, -{{[0-9]+}}(%rsp) ; AVX512VBMI-NEXT: movq %rcx, -{{[0-9]+}}(%rsp) ; AVX512VBMI-NEXT: movq %rdx, -{{[0-9]+}}(%rsp) ; AVX512VBMI-NEXT: movq %rsi, -{{[0-9]+}}(%rsp) ; AVX512VBMI-NEXT: sarq $63, %r10 ; AVX512VBMI-NEXT: movq %r10, -{{[0-9]+}}(%rsp) ; AVX512VBMI-NEXT: movq %r10, -{{[0-9]+}}(%rsp) ; AVX512VBMI-NEXT: movq %r10, -{{[0-9]+}}(%rsp) ; AVX512VBMI-NEXT: movq %r10, -{{[0-9]+}}(%rsp) ; AVX512VBMI-NEXT: movq %r10, -{{[0-9]+}}(%rsp) ; AVX512VBMI-NEXT: movq %r10, -{{[0-9]+}}(%rsp) ; AVX512VBMI-NEXT: movq %r10, -{{[0-9]+}}(%rsp) ; AVX512VBMI-NEXT: movq %r10, -{{[0-9]+}}(%rsp) ; AVX512VBMI-NEXT: movl %edi, %ecx ; AVX512VBMI-NEXT: shrl $3, %edi ; AVX512VBMI-NEXT: andl $56, %edi ; AVX512VBMI-NEXT: vpsraq $63, -72(%rsp,%rdi){1to2}, %xmm0 ; AVX512VBMI-NEXT: vmovdqu64 -128(%rsp,%rdi), %zmm1 ; AVX512VBMI-NEXT: valignq {{.*#+}} zmm0 = zmm1[1,2,3,4,5,6,7],zmm0[0] ; AVX512VBMI-NEXT: vpbroadcastq %rcx, %zmm2 ; AVX512VBMI-NEXT: vpshrdvq %zmm2, %zmm0, %zmm1 ; AVX512VBMI-NEXT: vextracti64x4 $1, %zmm1, 32(%rax) ; AVX512VBMI-NEXT: vmovdqu %ymm1, (%rax) ; AVX512VBMI-NEXT: popq %rcx ; AVX512VBMI-NEXT: vzeroupper ; AVX512VBMI-NEXT: retq %r = ashr i512 %a0, %a1 ret i512 %r } define i512 @shl_i512_load(ptr %p0, i512 %a1) nounwind { ; SSE-LABEL: shl_i512_load: ; SSE: # %bb.0: ; SSE-NEXT: pushq %r14 ; SSE-NEXT: pushq %rbx ; SSE-NEXT: pushq %rax ; SSE-NEXT: movaps (%rsi), %xmm0 ; SSE-NEXT: movaps 16(%rsi), %xmm1 ; SSE-NEXT: movaps 32(%rsi), %xmm2 ; SSE-NEXT: movaps 48(%rsi), %xmm3 ; SSE-NEXT: xorps %xmm4, %xmm4 ; SSE-NEXT: movaps %xmm4, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movaps %xmm4, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movaps %xmm4, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movaps %xmm4, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movaps %xmm3, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movaps %xmm2, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movaps %xmm1, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movaps %xmm0, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movl %edx, %ecx ; SSE-NEXT: andl $63, %ecx ; SSE-NEXT: shrl $3, %edx ; SSE-NEXT: andl $56, %edx ; SSE-NEXT: negl %edx ; SSE-NEXT: movslq %edx, %rax ; SSE-NEXT: movq -56(%rsp,%rax), %rdx ; SSE-NEXT: movq -48(%rsp,%rax), %r9 ; SSE-NEXT: movq %r9, %rsi ; SSE-NEXT: shldq %cl, %rdx, %rsi ; SSE-NEXT: movq -40(%rsp,%rax), %r10 ; SSE-NEXT: movq %r10, %r8 ; SSE-NEXT: shldq %cl, %r9, %r8 ; SSE-NEXT: movq -32(%rsp,%rax), %r9 ; SSE-NEXT: movq %r9, %r11 ; SSE-NEXT: shldq %cl, %r10, %r11 ; SSE-NEXT: movq -24(%rsp,%rax), %r10 ; SSE-NEXT: movq %r10, %rbx ; SSE-NEXT: shldq %cl, %r9, %rbx ; SSE-NEXT: movq -16(%rsp,%rax), %r9 ; SSE-NEXT: movq %r9, %r14 ; SSE-NEXT: shldq %cl, %r10, %r14 ; SSE-NEXT: movq -8(%rsp,%rax), %r10 ; SSE-NEXT: shldq %cl, %r9, %r10 ; SSE-NEXT: movq -64(%rsp,%rax), %rax ; SSE-NEXT: movq %rax, %r9 ; SSE-NEXT: shlq %cl, %r9 ; SSE-NEXT: # kill: def $cl killed $cl killed $ecx ; SSE-NEXT: shldq %cl, %rax, %rdx ; SSE-NEXT: movq %rdi, %rax ; SSE-NEXT: movq %r10, 56(%rdi) ; SSE-NEXT: movq %r14, 48(%rdi) ; SSE-NEXT: movq %rbx, 40(%rdi) ; SSE-NEXT: movq %r11, 32(%rdi) ; SSE-NEXT: movq %r8, 24(%rdi) ; SSE-NEXT: movq %rsi, 16(%rdi) ; SSE-NEXT: movq %rdx, 8(%rdi) ; SSE-NEXT: movq %r9, (%rdi) ; SSE-NEXT: addq $8, %rsp ; SSE-NEXT: popq %rbx ; SSE-NEXT: popq %r14 ; SSE-NEXT: retq ; ; AVX2-LABEL: shl_i512_load: ; AVX2: # %bb.0: ; AVX2-NEXT: pushq %r14 ; AVX2-NEXT: pushq %rbx ; AVX2-NEXT: pushq %rax ; AVX2-NEXT: vmovups (%rsi), %ymm0 ; AVX2-NEXT: vmovups 32(%rsi), %ymm1 ; AVX2-NEXT: vxorps %xmm2, %xmm2, %xmm2 ; AVX2-NEXT: vmovups %ymm2, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: vmovups %ymm2, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: vmovups %ymm1, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: vmovups %ymm0, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movl %edx, %ecx ; AVX2-NEXT: andl $63, %ecx ; AVX2-NEXT: shrl $3, %edx ; AVX2-NEXT: andl $56, %edx ; AVX2-NEXT: negl %edx ; AVX2-NEXT: movslq %edx, %r8 ; AVX2-NEXT: movq -56(%rsp,%r8), %rdx ; AVX2-NEXT: movq -48(%rsp,%r8), %rax ; AVX2-NEXT: movq %rax, %rsi ; AVX2-NEXT: shldq %cl, %rdx, %rsi ; AVX2-NEXT: movq -40(%rsp,%r8), %r10 ; AVX2-NEXT: movq %r10, %r9 ; AVX2-NEXT: shldq %cl, %rax, %r9 ; AVX2-NEXT: movq -32(%rsp,%r8), %rax ; AVX2-NEXT: movq %rax, %r11 ; AVX2-NEXT: shldq %cl, %r10, %r11 ; AVX2-NEXT: movq -24(%rsp,%r8), %r10 ; AVX2-NEXT: movq %r10, %rbx ; AVX2-NEXT: shldq %cl, %rax, %rbx ; AVX2-NEXT: movq -16(%rsp,%r8), %rax ; AVX2-NEXT: movq %rax, %r14 ; AVX2-NEXT: shldq %cl, %r10, %r14 ; AVX2-NEXT: movq -8(%rsp,%r8), %r10 ; AVX2-NEXT: shldq %cl, %rax, %r10 ; AVX2-NEXT: movq %rdi, %rax ; AVX2-NEXT: movq -64(%rsp,%r8), %rdi ; AVX2-NEXT: shlxq %rcx, %rdi, %r8 ; AVX2-NEXT: # kill: def $cl killed $cl killed $rcx ; AVX2-NEXT: shldq %cl, %rdi, %rdx ; AVX2-NEXT: movq %r10, 56(%rax) ; AVX2-NEXT: movq %r14, 48(%rax) ; AVX2-NEXT: movq %rbx, 40(%rax) ; AVX2-NEXT: movq %r11, 32(%rax) ; AVX2-NEXT: movq %r9, 24(%rax) ; AVX2-NEXT: movq %rsi, 16(%rax) ; AVX2-NEXT: movq %rdx, 8(%rax) ; AVX2-NEXT: movq %r8, (%rax) ; AVX2-NEXT: addq $8, %rsp ; AVX2-NEXT: popq %rbx ; AVX2-NEXT: popq %r14 ; AVX2-NEXT: vzeroupper ; AVX2-NEXT: retq ; ; AVX512F-LABEL: shl_i512_load: ; AVX512F: # %bb.0: ; AVX512F-NEXT: movl %edx, %eax ; AVX512F-NEXT: vmovq %rax, %xmm0 ; AVX512F-NEXT: vpbroadcastq %xmm0, %xmm0 ; AVX512F-NEXT: vpbroadcastq {{.*#+}} xmm1 = [63,63] ; AVX512F-NEXT: vpand %xmm1, %xmm0, %xmm2 ; AVX512F-NEXT: shrl $6, %edx ; AVX512F-NEXT: movl $-1, %eax ; AVX512F-NEXT: shlxl %edx, %eax, %eax ; AVX512F-NEXT: kmovw %eax, %k1 ; AVX512F-NEXT: vpexpandq (%rsi), %zmm3 {%k1} {z} ; AVX512F-NEXT: vpsllq %xmm2, %zmm3, %zmm2 ; AVX512F-NEXT: vpandn %xmm1, %xmm0, %xmm0 ; AVX512F-NEXT: vpxor %xmm1, %xmm1, %xmm1 ; AVX512F-NEXT: valignq {{.*#+}} zmm1 = zmm1[7],zmm3[0,1,2,3,4,5,6] ; AVX512F-NEXT: vpsrlq $1, %zmm1, %zmm1 ; AVX512F-NEXT: vpsrlq %xmm0, %zmm1, %zmm0 ; AVX512F-NEXT: movq %rdi, %rax ; AVX512F-NEXT: vporq %zmm0, %zmm2, %zmm0 ; AVX512F-NEXT: vmovdqu64 %zmm0, (%rdi) ; AVX512F-NEXT: retq ; ; AVX512VL-LABEL: shl_i512_load: ; AVX512VL: # %bb.0: ; AVX512VL-NEXT: movq %rdi, %rax ; AVX512VL-NEXT: movl %edx, %ecx ; AVX512VL-NEXT: vpbroadcastq %rcx, %xmm0 ; AVX512VL-NEXT: vpbroadcastq {{.*#+}} xmm1 = [63,63] ; AVX512VL-NEXT: shrl $6, %edx ; AVX512VL-NEXT: movl $-1, %ecx ; AVX512VL-NEXT: shlxl %edx, %ecx, %ecx ; AVX512VL-NEXT: kmovd %ecx, %k1 ; AVX512VL-NEXT: vpexpandq (%rsi), %zmm2 {%k1} {z} ; AVX512VL-NEXT: vpand %xmm1, %xmm0, %xmm3 ; AVX512VL-NEXT: vpsllq %xmm3, %zmm2, %zmm3 ; AVX512VL-NEXT: vpandn %xmm1, %xmm0, %xmm0 ; AVX512VL-NEXT: vpxor %xmm1, %xmm1, %xmm1 ; AVX512VL-NEXT: valignq {{.*#+}} zmm1 = zmm1[7],zmm2[0,1,2,3,4,5,6] ; AVX512VL-NEXT: vpsrlq $1, %zmm1, %zmm1 ; AVX512VL-NEXT: vpsrlq %xmm0, %zmm1, %zmm0 ; AVX512VL-NEXT: vporq %zmm0, %zmm3, %zmm0 ; AVX512VL-NEXT: vmovdqu64 %zmm0, (%rdi) ; AVX512VL-NEXT: vzeroupper ; AVX512VL-NEXT: retq ; ; AVX512VBMI-LABEL: shl_i512_load: ; AVX512VBMI: # %bb.0: ; AVX512VBMI-NEXT: movq %rdi, %rax ; AVX512VBMI-NEXT: movl %edx, %ecx ; AVX512VBMI-NEXT: shrl $6, %ecx ; AVX512VBMI-NEXT: movl $-1, %edi ; AVX512VBMI-NEXT: shlxl %ecx, %edi, %ecx ; AVX512VBMI-NEXT: kmovd %ecx, %k1 ; AVX512VBMI-NEXT: vpexpandq (%rsi), %zmm0 {%k1} {z} ; AVX512VBMI-NEXT: vpbroadcastq %rdx, %zmm1 ; AVX512VBMI-NEXT: vpxor %xmm2, %xmm2, %xmm2 ; AVX512VBMI-NEXT: valignq {{.*#+}} zmm2 = zmm2[7],zmm0[0,1,2,3,4,5,6] ; AVX512VBMI-NEXT: vpshldvq %zmm1, %zmm2, %zmm0 ; AVX512VBMI-NEXT: vmovdqu64 %zmm0, (%rax) ; AVX512VBMI-NEXT: vzeroupper ; AVX512VBMI-NEXT: retq %a0 = load i512, ptr %p0 %r = shl i512 %a0, %a1 ret i512 %r } define i512 @lshr_i512_load(ptr %p0, i512 %a1) nounwind { ; SSE-LABEL: lshr_i512_load: ; SSE: # %bb.0: ; SSE-NEXT: pushq %r14 ; SSE-NEXT: pushq %rbx ; SSE-NEXT: pushq %rax ; SSE-NEXT: movaps (%rsi), %xmm0 ; SSE-NEXT: movaps 16(%rsi), %xmm1 ; SSE-NEXT: movaps 32(%rsi), %xmm2 ; SSE-NEXT: movaps 48(%rsi), %xmm3 ; SSE-NEXT: xorps %xmm4, %xmm4 ; SSE-NEXT: movaps %xmm4, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movaps %xmm4, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movaps %xmm4, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movaps %xmm4, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movaps %xmm3, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movaps %xmm2, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movaps %xmm1, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movaps %xmm0, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movl %edx, %ecx ; SSE-NEXT: andl $63, %ecx ; SSE-NEXT: shrl $3, %edx ; SSE-NEXT: andl $56, %edx ; SSE-NEXT: movq -112(%rsp,%rdx), %rsi ; SSE-NEXT: movq -120(%rsp,%rdx), %rax ; SSE-NEXT: movq %rax, %r8 ; SSE-NEXT: shrdq %cl, %rsi, %r8 ; SSE-NEXT: movq -104(%rsp,%rdx), %r9 ; SSE-NEXT: shrdq %cl, %r9, %rsi ; SSE-NEXT: movq -96(%rsp,%rdx), %r10 ; SSE-NEXT: shrdq %cl, %r10, %r9 ; SSE-NEXT: movq -88(%rsp,%rdx), %r11 ; SSE-NEXT: shrdq %cl, %r11, %r10 ; SSE-NEXT: movq -80(%rsp,%rdx), %rbx ; SSE-NEXT: shrdq %cl, %rbx, %r11 ; SSE-NEXT: movq -72(%rsp,%rdx), %r14 ; SSE-NEXT: shrdq %cl, %r14, %rbx ; SSE-NEXT: movq -128(%rsp,%rdx), %rdx ; SSE-NEXT: shrdq %cl, %rax, %rdx ; SSE-NEXT: movq %rdi, %rax ; SSE-NEXT: # kill: def $cl killed $cl killed $ecx ; SSE-NEXT: shrq %cl, %r14 ; SSE-NEXT: movq %r14, 56(%rdi) ; SSE-NEXT: movq %rbx, 48(%rdi) ; SSE-NEXT: movq %r11, 40(%rdi) ; SSE-NEXT: movq %r10, 32(%rdi) ; SSE-NEXT: movq %r9, 24(%rdi) ; SSE-NEXT: movq %rsi, 16(%rdi) ; SSE-NEXT: movq %r8, 8(%rdi) ; SSE-NEXT: movq %rdx, (%rdi) ; SSE-NEXT: addq $8, %rsp ; SSE-NEXT: popq %rbx ; SSE-NEXT: popq %r14 ; SSE-NEXT: retq ; ; AVX2-LABEL: lshr_i512_load: ; AVX2: # %bb.0: ; AVX2-NEXT: pushq %r14 ; AVX2-NEXT: pushq %rbx ; AVX2-NEXT: pushq %rax ; AVX2-NEXT: vmovups (%rsi), %ymm0 ; AVX2-NEXT: vmovups 32(%rsi), %ymm1 ; AVX2-NEXT: vxorps %xmm2, %xmm2, %xmm2 ; AVX2-NEXT: vmovups %ymm2, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: vmovups %ymm2, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: vmovups %ymm1, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: vmovups %ymm0, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movl %edx, %ecx ; AVX2-NEXT: andl $63, %ecx ; AVX2-NEXT: shrl $3, %edx ; AVX2-NEXT: andl $56, %edx ; AVX2-NEXT: movq -112(%rsp,%rdx), %rsi ; AVX2-NEXT: movq -120(%rsp,%rdx), %rax ; AVX2-NEXT: movq %rax, %r8 ; AVX2-NEXT: shrdq %cl, %rsi, %r8 ; AVX2-NEXT: movq -104(%rsp,%rdx), %r9 ; AVX2-NEXT: shrdq %cl, %r9, %rsi ; AVX2-NEXT: movq -96(%rsp,%rdx), %r10 ; AVX2-NEXT: shrdq %cl, %r10, %r9 ; AVX2-NEXT: movq -88(%rsp,%rdx), %r11 ; AVX2-NEXT: shrdq %cl, %r11, %r10 ; AVX2-NEXT: movq -80(%rsp,%rdx), %rbx ; AVX2-NEXT: shrdq %cl, %rbx, %r11 ; AVX2-NEXT: movq -128(%rsp,%rdx), %r14 ; AVX2-NEXT: movq -72(%rsp,%rdx), %rdx ; AVX2-NEXT: shrdq %cl, %rdx, %rbx ; AVX2-NEXT: shrdq %cl, %rax, %r14 ; AVX2-NEXT: movq %rdi, %rax ; AVX2-NEXT: shrxq %rcx, %rdx, %rcx ; AVX2-NEXT: movq %rcx, 56(%rdi) ; AVX2-NEXT: movq %rbx, 48(%rdi) ; AVX2-NEXT: movq %r11, 40(%rdi) ; AVX2-NEXT: movq %r10, 32(%rdi) ; AVX2-NEXT: movq %r9, 24(%rdi) ; AVX2-NEXT: movq %rsi, 16(%rdi) ; AVX2-NEXT: movq %r8, 8(%rdi) ; AVX2-NEXT: movq %r14, (%rdi) ; AVX2-NEXT: addq $8, %rsp ; AVX2-NEXT: popq %rbx ; AVX2-NEXT: popq %r14 ; AVX2-NEXT: vzeroupper ; AVX2-NEXT: retq ; ; AVX512F-LABEL: lshr_i512_load: ; AVX512F: # %bb.0: ; AVX512F-NEXT: vmovdqu64 (%rsi), %zmm0 ; AVX512F-NEXT: movl %edx, %eax ; AVX512F-NEXT: vmovq %rax, %xmm1 ; AVX512F-NEXT: vpbroadcastq %xmm1, %xmm1 ; AVX512F-NEXT: vpbroadcastq {{.*#+}} xmm2 = [63,63] ; AVX512F-NEXT: vpand %xmm2, %xmm1, %xmm3 ; AVX512F-NEXT: shrl $6, %edx ; AVX512F-NEXT: movl $-1, %eax ; AVX512F-NEXT: shlxl %edx, %eax, %eax ; AVX512F-NEXT: kmovw %eax, %k1 ; AVX512F-NEXT: vpcompressq %zmm0, %zmm0 {%k1} {z} ; AVX512F-NEXT: vpsrlq %xmm3, %zmm0, %zmm3 ; AVX512F-NEXT: vpandn %xmm2, %xmm1, %xmm1 ; AVX512F-NEXT: vpxor %xmm2, %xmm2, %xmm2 ; AVX512F-NEXT: valignq {{.*#+}} zmm0 = zmm0[1,2,3,4,5,6,7],zmm2[0] ; AVX512F-NEXT: vpaddq %zmm0, %zmm0, %zmm0 ; AVX512F-NEXT: vpsllq %xmm1, %zmm0, %zmm0 ; AVX512F-NEXT: movq %rdi, %rax ; AVX512F-NEXT: vporq %zmm3, %zmm0, %zmm0 ; AVX512F-NEXT: vmovdqu64 %zmm0, (%rdi) ; AVX512F-NEXT: retq ; ; AVX512VL-LABEL: lshr_i512_load: ; AVX512VL: # %bb.0: ; AVX512VL-NEXT: movq %rdi, %rax ; AVX512VL-NEXT: vmovdqu64 (%rsi), %zmm0 ; AVX512VL-NEXT: movl %edx, %ecx ; AVX512VL-NEXT: vpbroadcastq {{.*#+}} xmm1 = [63,63] ; AVX512VL-NEXT: vpbroadcastq %rcx, %xmm2 ; AVX512VL-NEXT: shrl $6, %edx ; AVX512VL-NEXT: movl $-1, %ecx ; AVX512VL-NEXT: shlxl %edx, %ecx, %ecx ; AVX512VL-NEXT: kmovd %ecx, %k1 ; AVX512VL-NEXT: vpcompressq %zmm0, %zmm0 {%k1} {z} ; AVX512VL-NEXT: vpand %xmm1, %xmm2, %xmm3 ; AVX512VL-NEXT: vpsrlq %xmm3, %zmm0, %zmm3 ; AVX512VL-NEXT: vpandn %xmm1, %xmm2, %xmm1 ; AVX512VL-NEXT: vpxor %xmm2, %xmm2, %xmm2 ; AVX512VL-NEXT: valignq {{.*#+}} zmm0 = zmm0[1,2,3,4,5,6,7],zmm2[0] ; AVX512VL-NEXT: vpaddq %zmm0, %zmm0, %zmm0 ; AVX512VL-NEXT: vpsllq %xmm1, %zmm0, %zmm0 ; AVX512VL-NEXT: vporq %zmm3, %zmm0, %zmm0 ; AVX512VL-NEXT: vmovdqu64 %zmm0, (%rdi) ; AVX512VL-NEXT: vzeroupper ; AVX512VL-NEXT: retq ; ; AVX512VBMI-LABEL: lshr_i512_load: ; AVX512VBMI: # %bb.0: ; AVX512VBMI-NEXT: vmovdqu64 (%rsi), %zmm0 ; AVX512VBMI-NEXT: movq %rdi, %rax ; AVX512VBMI-NEXT: movl %edx, %ecx ; AVX512VBMI-NEXT: shrl $6, %ecx ; AVX512VBMI-NEXT: movl $-1, %esi ; AVX512VBMI-NEXT: shlxl %ecx, %esi, %ecx ; AVX512VBMI-NEXT: kmovd %ecx, %k1 ; AVX512VBMI-NEXT: vpcompressq %zmm0, %zmm0 {%k1} {z} ; AVX512VBMI-NEXT: vpbroadcastq %rdx, %zmm1 ; AVX512VBMI-NEXT: vpxor %xmm2, %xmm2, %xmm2 ; AVX512VBMI-NEXT: valignq {{.*#+}} zmm2 = zmm0[1,2,3,4,5,6,7],zmm2[0] ; AVX512VBMI-NEXT: vpshrdvq %zmm1, %zmm2, %zmm0 ; AVX512VBMI-NEXT: vmovdqu64 %zmm0, (%rdi) ; AVX512VBMI-NEXT: vzeroupper ; AVX512VBMI-NEXT: retq %a0 = load i512, ptr %p0 %r = lshr i512 %a0, %a1 ret i512 %r } define i512 @ashr_i512_load(ptr %p0, i512 %a1) nounwind { ; SSE-LABEL: ashr_i512_load: ; SSE: # %bb.0: ; SSE-NEXT: pushq %r14 ; SSE-NEXT: pushq %rbx ; SSE-NEXT: pushq %rax ; SSE-NEXT: movaps (%rsi), %xmm0 ; SSE-NEXT: movaps 16(%rsi), %xmm1 ; SSE-NEXT: movaps 32(%rsi), %xmm2 ; SSE-NEXT: movq 48(%rsi), %rax ; SSE-NEXT: movq 56(%rsi), %rcx ; SSE-NEXT: movq %rcx, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq %rax, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movaps %xmm2, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movaps %xmm1, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movaps %xmm0, -{{[0-9]+}}(%rsp) ; SSE-NEXT: sarq $63, %rcx ; SSE-NEXT: movq %rcx, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq %rcx, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq %rcx, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq %rcx, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq %rcx, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq %rcx, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq %rcx, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq %rcx, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movl %edx, %ecx ; SSE-NEXT: andl $63, %ecx ; SSE-NEXT: shrl $3, %edx ; SSE-NEXT: andl $56, %edx ; SSE-NEXT: movq -112(%rsp,%rdx), %rsi ; SSE-NEXT: movq -120(%rsp,%rdx), %rax ; SSE-NEXT: movq %rax, %r8 ; SSE-NEXT: shrdq %cl, %rsi, %r8 ; SSE-NEXT: movq -104(%rsp,%rdx), %r9 ; SSE-NEXT: shrdq %cl, %r9, %rsi ; SSE-NEXT: movq -96(%rsp,%rdx), %r10 ; SSE-NEXT: shrdq %cl, %r10, %r9 ; SSE-NEXT: movq -88(%rsp,%rdx), %r11 ; SSE-NEXT: shrdq %cl, %r11, %r10 ; SSE-NEXT: movq -80(%rsp,%rdx), %rbx ; SSE-NEXT: shrdq %cl, %rbx, %r11 ; SSE-NEXT: movq -72(%rsp,%rdx), %r14 ; SSE-NEXT: shrdq %cl, %r14, %rbx ; SSE-NEXT: movq -128(%rsp,%rdx), %rdx ; SSE-NEXT: shrdq %cl, %rax, %rdx ; SSE-NEXT: movq %rdi, %rax ; SSE-NEXT: # kill: def $cl killed $cl killed $ecx ; SSE-NEXT: sarq %cl, %r14 ; SSE-NEXT: movq %r14, 56(%rdi) ; SSE-NEXT: movq %rbx, 48(%rdi) ; SSE-NEXT: movq %r11, 40(%rdi) ; SSE-NEXT: movq %r10, 32(%rdi) ; SSE-NEXT: movq %r9, 24(%rdi) ; SSE-NEXT: movq %rsi, 16(%rdi) ; SSE-NEXT: movq %r8, 8(%rdi) ; SSE-NEXT: movq %rdx, (%rdi) ; SSE-NEXT: addq $8, %rsp ; SSE-NEXT: popq %rbx ; SSE-NEXT: popq %r14 ; SSE-NEXT: retq ; ; AVX2-LABEL: ashr_i512_load: ; AVX2: # %bb.0: ; AVX2-NEXT: pushq %r14 ; AVX2-NEXT: pushq %rbx ; AVX2-NEXT: pushq %rax ; AVX2-NEXT: vmovups (%rsi), %ymm0 ; AVX2-NEXT: vmovaps 32(%rsi), %xmm1 ; AVX2-NEXT: movq 48(%rsi), %rax ; AVX2-NEXT: movq 56(%rsi), %rcx ; AVX2-NEXT: movq %rcx, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movq %rax, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: vmovaps %xmm1, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: vmovups %ymm0, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: sarq $63, %rcx ; AVX2-NEXT: movq %rcx, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movq %rcx, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movq %rcx, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movq %rcx, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movq %rcx, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movq %rcx, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movq %rcx, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movq %rcx, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movl %edx, %ecx ; AVX2-NEXT: andl $63, %ecx ; AVX2-NEXT: shrl $3, %edx ; AVX2-NEXT: andl $56, %edx ; AVX2-NEXT: movq -112(%rsp,%rdx), %rsi ; AVX2-NEXT: movq -120(%rsp,%rdx), %rax ; AVX2-NEXT: movq %rax, %r8 ; AVX2-NEXT: shrdq %cl, %rsi, %r8 ; AVX2-NEXT: movq -104(%rsp,%rdx), %r9 ; AVX2-NEXT: shrdq %cl, %r9, %rsi ; AVX2-NEXT: movq -96(%rsp,%rdx), %r10 ; AVX2-NEXT: shrdq %cl, %r10, %r9 ; AVX2-NEXT: movq -88(%rsp,%rdx), %r11 ; AVX2-NEXT: shrdq %cl, %r11, %r10 ; AVX2-NEXT: movq -80(%rsp,%rdx), %rbx ; AVX2-NEXT: shrdq %cl, %rbx, %r11 ; AVX2-NEXT: movq -128(%rsp,%rdx), %r14 ; AVX2-NEXT: movq -72(%rsp,%rdx), %rdx ; AVX2-NEXT: shrdq %cl, %rdx, %rbx ; AVX2-NEXT: shrdq %cl, %rax, %r14 ; AVX2-NEXT: movq %rdi, %rax ; AVX2-NEXT: sarxq %rcx, %rdx, %rcx ; AVX2-NEXT: movq %rcx, 56(%rdi) ; AVX2-NEXT: movq %rbx, 48(%rdi) ; AVX2-NEXT: movq %r11, 40(%rdi) ; AVX2-NEXT: movq %r10, 32(%rdi) ; AVX2-NEXT: movq %r9, 24(%rdi) ; AVX2-NEXT: movq %rsi, 16(%rdi) ; AVX2-NEXT: movq %r8, 8(%rdi) ; AVX2-NEXT: movq %r14, (%rdi) ; AVX2-NEXT: addq $8, %rsp ; AVX2-NEXT: popq %rbx ; AVX2-NEXT: popq %r14 ; AVX2-NEXT: vzeroupper ; AVX2-NEXT: retq ; ; AVX512F-LABEL: ashr_i512_load: ; AVX512F: # %bb.0: ; AVX512F-NEXT: vmovdqu64 (%rsi), %zmm0 ; AVX512F-NEXT: vpsraq $63, %zmm0, %zmm1 ; AVX512F-NEXT: vpbroadcastq {{.*#+}} zmm2 = [7,7,7,7,7,7,7,7] ; AVX512F-NEXT: vpermq %zmm1, %zmm2, %zmm1 ; AVX512F-NEXT: movl %edx, %eax ; AVX512F-NEXT: shrl $6, %edx ; AVX512F-NEXT: movl $-1, %ecx ; AVX512F-NEXT: shlxl %edx, %ecx, %ecx ; AVX512F-NEXT: kmovw %ecx, %k1 ; AVX512F-NEXT: vmovdqa64 %zmm1, %zmm2 ; AVX512F-NEXT: vpcompressq %zmm0, %zmm2 {%k1} ; AVX512F-NEXT: vmovq %rax, %xmm0 ; AVX512F-NEXT: vpbroadcastq %xmm0, %xmm0 ; AVX512F-NEXT: vpbroadcastq {{.*#+}} xmm3 = [63,63] ; AVX512F-NEXT: vpand %xmm3, %xmm0, %xmm4 ; AVX512F-NEXT: vpsrlq %xmm4, %zmm2, %zmm4 ; AVX512F-NEXT: valignq {{.*#+}} zmm1 = zmm2[1,2,3,4,5,6,7],zmm1[0] ; AVX512F-NEXT: vpaddq %zmm1, %zmm1, %zmm1 ; AVX512F-NEXT: vpandn %xmm3, %xmm0, %xmm0 ; AVX512F-NEXT: vpsllq %xmm0, %zmm1, %zmm0 ; AVX512F-NEXT: movq %rdi, %rax ; AVX512F-NEXT: vporq %zmm4, %zmm0, %zmm0 ; AVX512F-NEXT: vmovdqu64 %zmm0, (%rdi) ; AVX512F-NEXT: retq ; ; AVX512VL-LABEL: ashr_i512_load: ; AVX512VL: # %bb.0: ; AVX512VL-NEXT: movq %rdi, %rax ; AVX512VL-NEXT: vmovdqu64 (%rsi), %zmm0 ; AVX512VL-NEXT: vpsraq $63, %zmm0, %zmm1 ; AVX512VL-NEXT: vpbroadcastq {{.*#+}} zmm2 = [7,7,7,7,7,7,7,7] ; AVX512VL-NEXT: vpermq %zmm1, %zmm2, %zmm1 ; AVX512VL-NEXT: movl %edx, %ecx ; AVX512VL-NEXT: shrl $6, %edx ; AVX512VL-NEXT: movl $-1, %esi ; AVX512VL-NEXT: shlxl %edx, %esi, %edx ; AVX512VL-NEXT: kmovd %edx, %k1 ; AVX512VL-NEXT: vmovdqa64 %zmm1, %zmm2 ; AVX512VL-NEXT: vpcompressq %zmm0, %zmm2 {%k1} ; AVX512VL-NEXT: vpbroadcastq {{.*#+}} xmm0 = [63,63] ; AVX512VL-NEXT: vpbroadcastq %rcx, %xmm3 ; AVX512VL-NEXT: vpand %xmm0, %xmm3, %xmm4 ; AVX512VL-NEXT: vpsrlq %xmm4, %zmm2, %zmm4 ; AVX512VL-NEXT: valignq {{.*#+}} zmm1 = zmm2[1,2,3,4,5,6,7],zmm1[0] ; AVX512VL-NEXT: vpaddq %zmm1, %zmm1, %zmm1 ; AVX512VL-NEXT: vpandn %xmm0, %xmm3, %xmm0 ; AVX512VL-NEXT: vpsllq %xmm0, %zmm1, %zmm0 ; AVX512VL-NEXT: vporq %zmm4, %zmm0, %zmm0 ; AVX512VL-NEXT: vmovdqu64 %zmm0, (%rdi) ; AVX512VL-NEXT: vzeroupper ; AVX512VL-NEXT: retq ; ; AVX512VBMI-LABEL: ashr_i512_load: ; AVX512VBMI: # %bb.0: ; AVX512VBMI-NEXT: movq %rdi, %rax ; AVX512VBMI-NEXT: vmovdqu64 (%rsi), %zmm0 ; AVX512VBMI-NEXT: vpbroadcastq {{.*#+}} zmm1 = [7,7,7,7,7,7,7,7] ; AVX512VBMI-NEXT: vpsraq $63, %zmm0, %zmm2 ; AVX512VBMI-NEXT: vpermq %zmm2, %zmm1, %zmm1 ; AVX512VBMI-NEXT: vpbroadcastq %rdx, %zmm2 ; AVX512VBMI-NEXT: movl %edx, %ecx ; AVX512VBMI-NEXT: shrl $6, %ecx ; AVX512VBMI-NEXT: movl $-1, %edx ; AVX512VBMI-NEXT: shlxl %ecx, %edx, %ecx ; AVX512VBMI-NEXT: kmovd %ecx, %k1 ; AVX512VBMI-NEXT: vmovdqa64 %zmm1, %zmm3 ; AVX512VBMI-NEXT: vpcompressq %zmm0, %zmm3 {%k1} ; AVX512VBMI-NEXT: valignq {{.*#+}} zmm0 = zmm3[1,2,3,4,5,6,7],zmm1[0] ; AVX512VBMI-NEXT: vpshrdvq %zmm2, %zmm0, %zmm3 ; AVX512VBMI-NEXT: vmovdqu64 %zmm3, (%rdi) ; AVX512VBMI-NEXT: vzeroupper ; AVX512VBMI-NEXT: retq %a0 = load i512, ptr %p0 %r = ashr i512 %a0, %a1 ret i512 %r } define i512 @shl_i512_1(i512 %a0) nounwind { ; CHECK-LABEL: shl_i512_1: ; CHECK: # %bb.0: ; CHECK-NEXT: movq %rdi, %rax ; CHECK-NEXT: movq {{[0-9]+}}(%rsp), %rdi ; CHECK-NEXT: movq {{[0-9]+}}(%rsp), %r10 ; CHECK-NEXT: movq {{[0-9]+}}(%rsp), %r11 ; CHECK-NEXT: shldq $1, %rdi, %r10 ; CHECK-NEXT: shldq $1, %r11, %rdi ; CHECK-NEXT: shldq $1, %r9, %r11 ; CHECK-NEXT: shldq $1, %r8, %r9 ; CHECK-NEXT: shldq $1, %rcx, %r8 ; CHECK-NEXT: shldq $1, %rdx, %rcx ; CHECK-NEXT: shldq $1, %rsi, %rdx ; CHECK-NEXT: addq %rsi, %rsi ; CHECK-NEXT: movq %r10, 56(%rax) ; CHECK-NEXT: movq %rdi, 48(%rax) ; CHECK-NEXT: movq %r11, 40(%rax) ; CHECK-NEXT: movq %r9, 32(%rax) ; CHECK-NEXT: movq %r8, 24(%rax) ; CHECK-NEXT: movq %rcx, 16(%rax) ; CHECK-NEXT: movq %rdx, 8(%rax) ; CHECK-NEXT: movq %rsi, (%rax) ; CHECK-NEXT: retq %r = shl i512 %a0, 1 ret i512 %r } define i512 @lshr_i512_1(i512 %a0) nounwind { ; CHECK-LABEL: lshr_i512_1: ; CHECK: # %bb.0: ; CHECK-NEXT: movq %rdi, %rax ; CHECK-NEXT: movq {{[0-9]+}}(%rsp), %rdi ; CHECK-NEXT: movq {{[0-9]+}}(%rsp), %r10 ; CHECK-NEXT: movq {{[0-9]+}}(%rsp), %r11 ; CHECK-NEXT: shrdq $1, %rdx, %rsi ; CHECK-NEXT: shrdq $1, %rcx, %rdx ; CHECK-NEXT: shrdq $1, %r8, %rcx ; CHECK-NEXT: shrdq $1, %r9, %r8 ; CHECK-NEXT: shrdq $1, %r11, %r9 ; CHECK-NEXT: shrdq $1, %rdi, %r11 ; CHECK-NEXT: shrdq $1, %r10, %rdi ; CHECK-NEXT: shrq %r10 ; CHECK-NEXT: movq %r10, 56(%rax) ; CHECK-NEXT: movq %rdi, 48(%rax) ; CHECK-NEXT: movq %r11, 40(%rax) ; CHECK-NEXT: movq %r9, 32(%rax) ; CHECK-NEXT: movq %r8, 24(%rax) ; CHECK-NEXT: movq %rcx, 16(%rax) ; CHECK-NEXT: movq %rdx, 8(%rax) ; CHECK-NEXT: movq %rsi, (%rax) ; CHECK-NEXT: retq %r = lshr i512 %a0, 1 ret i512 %r } define i512 @ashr_i512_1(i512 %a0) nounwind { ; CHECK-LABEL: ashr_i512_1: ; CHECK: # %bb.0: ; CHECK-NEXT: movq %rdi, %rax ; CHECK-NEXT: movq {{[0-9]+}}(%rsp), %rdi ; CHECK-NEXT: movq {{[0-9]+}}(%rsp), %r10 ; CHECK-NEXT: movq {{[0-9]+}}(%rsp), %r11 ; CHECK-NEXT: shrdq $1, %rdx, %rsi ; CHECK-NEXT: shrdq $1, %rcx, %rdx ; CHECK-NEXT: shrdq $1, %r8, %rcx ; CHECK-NEXT: shrdq $1, %r9, %r8 ; CHECK-NEXT: shrdq $1, %r11, %r9 ; CHECK-NEXT: shrdq $1, %rdi, %r11 ; CHECK-NEXT: shrdq $1, %r10, %rdi ; CHECK-NEXT: sarq %r10 ; CHECK-NEXT: movq %r10, 56(%rax) ; CHECK-NEXT: movq %rdi, 48(%rax) ; CHECK-NEXT: movq %r11, 40(%rax) ; CHECK-NEXT: movq %r9, 32(%rax) ; CHECK-NEXT: movq %r8, 24(%rax) ; CHECK-NEXT: movq %rcx, 16(%rax) ; CHECK-NEXT: movq %rdx, 8(%rax) ; CHECK-NEXT: movq %rsi, (%rax) ; CHECK-NEXT: retq %r = ashr i512 %a0, 1 ret i512 %r } define i512 @shl_i512_200(i512 %a0) nounwind { ; SSE-LABEL: shl_i512_200: ; SSE: # %bb.0: ; SSE-NEXT: movq %rdi, %rax ; SSE-NEXT: movq %rsi, %rdi ; SSE-NEXT: shrdq $56, %rdx, %rdi ; SSE-NEXT: shrdq $56, %rcx, %rdx ; SSE-NEXT: shrdq $56, %r8, %rcx ; SSE-NEXT: shldq $8, %r8, %r9 ; SSE-NEXT: shlq $8, %rsi ; SSE-NEXT: movq %r9, 56(%rax) ; SSE-NEXT: movq %rcx, 48(%rax) ; SSE-NEXT: movq %rdx, 40(%rax) ; SSE-NEXT: movq %rdi, 32(%rax) ; SSE-NEXT: movq %rsi, 24(%rax) ; SSE-NEXT: xorps %xmm0, %xmm0 ; SSE-NEXT: movaps %xmm0, (%rax) ; SSE-NEXT: movq $0, 16(%rax) ; SSE-NEXT: retq ; ; AVX2-LABEL: shl_i512_200: ; AVX2: # %bb.0: ; AVX2-NEXT: movq %rdi, %rax ; AVX2-NEXT: movq %rsi, %rdi ; AVX2-NEXT: shrdq $56, %rdx, %rdi ; AVX2-NEXT: shrdq $56, %rcx, %rdx ; AVX2-NEXT: shrdq $56, %r8, %rcx ; AVX2-NEXT: shldq $8, %r8, %r9 ; AVX2-NEXT: shlq $8, %rsi ; AVX2-NEXT: movq %r9, 56(%rax) ; AVX2-NEXT: movq %rcx, 48(%rax) ; AVX2-NEXT: movq %rdx, 40(%rax) ; AVX2-NEXT: movq %rdi, 32(%rax) ; AVX2-NEXT: movq %rsi, 24(%rax) ; AVX2-NEXT: vxorps %xmm0, %xmm0, %xmm0 ; AVX2-NEXT: vmovaps %xmm0, (%rax) ; AVX2-NEXT: movq $0, 16(%rax) ; AVX2-NEXT: retq ; ; AVX512-LABEL: shl_i512_200: ; AVX512: # %bb.0: ; AVX512-NEXT: movq %rdi, %rax ; AVX512-NEXT: movq %rsi, %rdi ; AVX512-NEXT: shrdq $56, %rdx, %rdi ; AVX512-NEXT: shrdq $56, %rcx, %rdx ; AVX512-NEXT: shrdq $56, %r8, %rcx ; AVX512-NEXT: shldq $8, %r8, %r9 ; AVX512-NEXT: shlq $8, %rsi ; AVX512-NEXT: movq %r9, 56(%rax) ; AVX512-NEXT: movq %rcx, 48(%rax) ; AVX512-NEXT: movq %rdx, 40(%rax) ; AVX512-NEXT: movq %rdi, 32(%rax) ; AVX512-NEXT: movq %rsi, 24(%rax) ; AVX512-NEXT: vxorps %xmm0, %xmm0, %xmm0 ; AVX512-NEXT: vmovaps %xmm0, (%rax) ; AVX512-NEXT: movq $0, 16(%rax) ; AVX512-NEXT: retq %r = shl i512 %a0, 200 ret i512 %r } define i512 @lshr_i512_200(i512 %a0) nounwind { ; SSE-LABEL: lshr_i512_200: ; SSE: # %bb.0: ; SSE-NEXT: movq %rdi, %rax ; SSE-NEXT: movq {{[0-9]+}}(%rsp), %rcx ; SSE-NEXT: movq {{[0-9]+}}(%rsp), %rdx ; SSE-NEXT: movq {{[0-9]+}}(%rsp), %rsi ; SSE-NEXT: shrdq $8, %r9, %r8 ; SSE-NEXT: shrdq $8, %rsi, %r9 ; SSE-NEXT: shrdq $8, %rcx, %rsi ; SSE-NEXT: shrdq $8, %rdx, %rcx ; SSE-NEXT: shrq $8, %rdx ; SSE-NEXT: xorps %xmm0, %xmm0 ; SSE-NEXT: movups %xmm0, 40(%rdi) ; SSE-NEXT: movq %rdx, 32(%rdi) ; SSE-NEXT: movq %rcx, 24(%rdi) ; SSE-NEXT: movq %rsi, 16(%rdi) ; SSE-NEXT: movq %r9, 8(%rdi) ; SSE-NEXT: movq %r8, (%rdi) ; SSE-NEXT: movq $0, 56(%rdi) ; SSE-NEXT: retq ; ; AVX2-LABEL: lshr_i512_200: ; AVX2: # %bb.0: ; AVX2-NEXT: movq %rdi, %rax ; AVX2-NEXT: movq {{[0-9]+}}(%rsp), %rcx ; AVX2-NEXT: movq {{[0-9]+}}(%rsp), %rdx ; AVX2-NEXT: movq {{[0-9]+}}(%rsp), %rsi ; AVX2-NEXT: shrdq $8, %r9, %r8 ; AVX2-NEXT: shrdq $8, %rsi, %r9 ; AVX2-NEXT: shrdq $8, %rcx, %rsi ; AVX2-NEXT: shrdq $8, %rdx, %rcx ; AVX2-NEXT: shrq $8, %rdx ; AVX2-NEXT: vxorps %xmm0, %xmm0, %xmm0 ; AVX2-NEXT: vmovups %xmm0, 40(%rdi) ; AVX2-NEXT: movq %rdx, 32(%rdi) ; AVX2-NEXT: movq %rcx, 24(%rdi) ; AVX2-NEXT: movq %rsi, 16(%rdi) ; AVX2-NEXT: movq %r9, 8(%rdi) ; AVX2-NEXT: movq %r8, (%rdi) ; AVX2-NEXT: movq $0, 56(%rdi) ; AVX2-NEXT: retq ; ; AVX512-LABEL: lshr_i512_200: ; AVX512: # %bb.0: ; AVX512-NEXT: movq %rdi, %rax ; AVX512-NEXT: movq {{[0-9]+}}(%rsp), %rcx ; AVX512-NEXT: movq {{[0-9]+}}(%rsp), %rdx ; AVX512-NEXT: movq {{[0-9]+}}(%rsp), %rsi ; AVX512-NEXT: shrdq $8, %r9, %r8 ; AVX512-NEXT: shrdq $8, %rsi, %r9 ; AVX512-NEXT: shrdq $8, %rcx, %rsi ; AVX512-NEXT: shrdq $8, %rdx, %rcx ; AVX512-NEXT: shrq $8, %rdx ; AVX512-NEXT: vxorps %xmm0, %xmm0, %xmm0 ; AVX512-NEXT: vmovups %xmm0, 40(%rdi) ; AVX512-NEXT: movq %rdx, 32(%rdi) ; AVX512-NEXT: movq %rcx, 24(%rdi) ; AVX512-NEXT: movq %rsi, 16(%rdi) ; AVX512-NEXT: movq %r9, 8(%rdi) ; AVX512-NEXT: movq %r8, (%rdi) ; AVX512-NEXT: movq $0, 56(%rdi) ; AVX512-NEXT: retq %r = lshr i512 %a0, 200 ret i512 %r } define i512 @ashr_i512_200(i512 %a0) nounwind { ; CHECK-LABEL: ashr_i512_200: ; CHECK: # %bb.0: ; CHECK-NEXT: movq %rdi, %rax ; CHECK-NEXT: movq {{[0-9]+}}(%rsp), %rcx ; CHECK-NEXT: movq {{[0-9]+}}(%rsp), %rdx ; CHECK-NEXT: movq {{[0-9]+}}(%rsp), %rsi ; CHECK-NEXT: shrdq $8, %r9, %r8 ; CHECK-NEXT: shrdq $8, %rsi, %r9 ; CHECK-NEXT: shrdq $8, %rcx, %rsi ; CHECK-NEXT: shrdq $8, %rdx, %rcx ; CHECK-NEXT: movq %rdx, %rdi ; CHECK-NEXT: sarq $8, %rdi ; CHECK-NEXT: sarq $63, %rdx ; CHECK-NEXT: movq %rdx, 56(%rax) ; CHECK-NEXT: movq %rdx, 48(%rax) ; CHECK-NEXT: movq %rdx, 40(%rax) ; CHECK-NEXT: movq %rdi, 32(%rax) ; CHECK-NEXT: movq %rcx, 24(%rax) ; CHECK-NEXT: movq %rsi, 16(%rax) ; CHECK-NEXT: movq %r9, 8(%rax) ; CHECK-NEXT: movq %r8, (%rax) ; CHECK-NEXT: retq %r = ashr i512 %a0, 200 ret i512 %r } define i512 @shl_i512_511(i512 %a0) nounwind { ; SSE-LABEL: shl_i512_511: ; SSE: # %bb.0: ; SSE-NEXT: movq %rdi, %rax ; SSE-NEXT: shlq $63, %rsi ; SSE-NEXT: movq %rsi, 56(%rdi) ; SSE-NEXT: xorps %xmm0, %xmm0 ; SSE-NEXT: movaps %xmm0, 32(%rdi) ; SSE-NEXT: movaps %xmm0, 16(%rdi) ; SSE-NEXT: movaps %xmm0, (%rdi) ; SSE-NEXT: movq $0, 48(%rdi) ; SSE-NEXT: retq ; ; AVX2-LABEL: shl_i512_511: ; AVX2: # %bb.0: ; AVX2-NEXT: movq %rdi, %rax ; AVX2-NEXT: shlq $63, %rsi ; AVX2-NEXT: movq %rsi, 56(%rdi) ; AVX2-NEXT: vxorps %xmm0, %xmm0, %xmm0 ; AVX2-NEXT: vmovaps %xmm0, 32(%rdi) ; AVX2-NEXT: vxorps %xmm0, %xmm0, %xmm0 ; AVX2-NEXT: vmovups %ymm0, (%rdi) ; AVX2-NEXT: movq $0, 48(%rdi) ; AVX2-NEXT: vzeroupper ; AVX2-NEXT: retq ; ; AVX512F-LABEL: shl_i512_511: ; AVX512F: # %bb.0: ; AVX512F-NEXT: movq %rdi, %rax ; AVX512F-NEXT: shlq $63, %rsi ; AVX512F-NEXT: movq %rsi, 56(%rdi) ; AVX512F-NEXT: vxorps %xmm0, %xmm0, %xmm0 ; AVX512F-NEXT: vmovaps %xmm0, 32(%rdi) ; AVX512F-NEXT: vxorps %xmm0, %xmm0, %xmm0 ; AVX512F-NEXT: vmovups %ymm0, (%rdi) ; AVX512F-NEXT: movq $0, 48(%rdi) ; AVX512F-NEXT: retq ; ; AVX512VL-LABEL: shl_i512_511: ; AVX512VL: # %bb.0: ; AVX512VL-NEXT: movq %rdi, %rax ; AVX512VL-NEXT: shlq $63, %rsi ; AVX512VL-NEXT: movq %rsi, 56(%rdi) ; AVX512VL-NEXT: vxorps %xmm0, %xmm0, %xmm0 ; AVX512VL-NEXT: vmovaps %xmm0, 32(%rdi) ; AVX512VL-NEXT: vxorps %xmm0, %xmm0, %xmm0 ; AVX512VL-NEXT: vmovups %ymm0, (%rdi) ; AVX512VL-NEXT: movq $0, 48(%rdi) ; AVX512VL-NEXT: vzeroupper ; AVX512VL-NEXT: retq ; ; AVX512VBMI-LABEL: shl_i512_511: ; AVX512VBMI: # %bb.0: ; AVX512VBMI-NEXT: movq %rdi, %rax ; AVX512VBMI-NEXT: shlq $63, %rsi ; AVX512VBMI-NEXT: movq %rsi, 56(%rdi) ; AVX512VBMI-NEXT: vxorps %xmm0, %xmm0, %xmm0 ; AVX512VBMI-NEXT: vmovaps %xmm0, 32(%rdi) ; AVX512VBMI-NEXT: vxorps %xmm0, %xmm0, %xmm0 ; AVX512VBMI-NEXT: vmovups %ymm0, (%rdi) ; AVX512VBMI-NEXT: movq $0, 48(%rdi) ; AVX512VBMI-NEXT: vzeroupper ; AVX512VBMI-NEXT: retq %r = shl i512 %a0, 511 ret i512 %r } define i512 @lshr_i512_511(i512 %a0) nounwind { ; SSE-LABEL: lshr_i512_511: ; SSE: # %bb.0: ; SSE-NEXT: movq %rdi, %rax ; SSE-NEXT: movq {{[0-9]+}}(%rsp), %rcx ; SSE-NEXT: shrq $63, %rcx ; SSE-NEXT: xorps %xmm0, %xmm0 ; SSE-NEXT: movups %xmm0, 40(%rdi) ; SSE-NEXT: movups %xmm0, 24(%rdi) ; SSE-NEXT: movups %xmm0, 8(%rdi) ; SSE-NEXT: movq %rcx, (%rdi) ; SSE-NEXT: movq $0, 56(%rdi) ; SSE-NEXT: retq ; ; AVX2-LABEL: lshr_i512_511: ; AVX2: # %bb.0: ; AVX2-NEXT: movq %rdi, %rax ; AVX2-NEXT: movq {{[0-9]+}}(%rsp), %rcx ; AVX2-NEXT: shrq $63, %rcx ; AVX2-NEXT: vxorps %xmm0, %xmm0, %xmm0 ; AVX2-NEXT: vmovups %xmm0, 40(%rdi) ; AVX2-NEXT: movq %rcx, (%rdi) ; AVX2-NEXT: vxorps %xmm0, %xmm0, %xmm0 ; AVX2-NEXT: vmovups %ymm0, 8(%rdi) ; AVX2-NEXT: movq $0, 56(%rdi) ; AVX2-NEXT: vzeroupper ; AVX2-NEXT: retq ; ; AVX512F-LABEL: lshr_i512_511: ; AVX512F: # %bb.0: ; AVX512F-NEXT: movq %rdi, %rax ; AVX512F-NEXT: movq {{[0-9]+}}(%rsp), %rcx ; AVX512F-NEXT: shrq $63, %rcx ; AVX512F-NEXT: vxorps %xmm0, %xmm0, %xmm0 ; AVX512F-NEXT: vmovups %xmm0, 40(%rdi) ; AVX512F-NEXT: movq %rcx, (%rdi) ; AVX512F-NEXT: vxorps %xmm0, %xmm0, %xmm0 ; AVX512F-NEXT: vmovups %ymm0, 8(%rdi) ; AVX512F-NEXT: movq $0, 56(%rdi) ; AVX512F-NEXT: retq ; ; AVX512VL-LABEL: lshr_i512_511: ; AVX512VL: # %bb.0: ; AVX512VL-NEXT: movq %rdi, %rax ; AVX512VL-NEXT: movq {{[0-9]+}}(%rsp), %rcx ; AVX512VL-NEXT: vxorps %xmm0, %xmm0, %xmm0 ; AVX512VL-NEXT: vmovups %xmm0, 40(%rdi) ; AVX512VL-NEXT: shrq $63, %rcx ; AVX512VL-NEXT: movq %rcx, (%rdi) ; AVX512VL-NEXT: vxorps %xmm0, %xmm0, %xmm0 ; AVX512VL-NEXT: vmovups %ymm0, 8(%rdi) ; AVX512VL-NEXT: movq $0, 56(%rdi) ; AVX512VL-NEXT: vzeroupper ; AVX512VL-NEXT: retq ; ; AVX512VBMI-LABEL: lshr_i512_511: ; AVX512VBMI: # %bb.0: ; AVX512VBMI-NEXT: movq %rdi, %rax ; AVX512VBMI-NEXT: movq {{[0-9]+}}(%rsp), %rcx ; AVX512VBMI-NEXT: vxorps %xmm0, %xmm0, %xmm0 ; AVX512VBMI-NEXT: vmovups %xmm0, 40(%rdi) ; AVX512VBMI-NEXT: shrq $63, %rcx ; AVX512VBMI-NEXT: movq %rcx, (%rdi) ; AVX512VBMI-NEXT: vxorps %xmm0, %xmm0, %xmm0 ; AVX512VBMI-NEXT: vmovups %ymm0, 8(%rdi) ; AVX512VBMI-NEXT: movq $0, 56(%rdi) ; AVX512VBMI-NEXT: vzeroupper ; AVX512VBMI-NEXT: retq %r = lshr i512 %a0, 511 ret i512 %r } define i512 @ashr_i512_511(i512 %a0) nounwind { ; CHECK-LABEL: ashr_i512_511: ; CHECK: # %bb.0: ; CHECK-NEXT: movq %rdi, %rax ; CHECK-NEXT: movq {{[0-9]+}}(%rsp), %rcx ; CHECK-NEXT: sarq $63, %rcx ; CHECK-NEXT: movq %rcx, 56(%rdi) ; CHECK-NEXT: movq %rcx, 48(%rdi) ; CHECK-NEXT: movq %rcx, 40(%rdi) ; CHECK-NEXT: movq %rcx, 32(%rdi) ; CHECK-NEXT: movq %rcx, 24(%rdi) ; CHECK-NEXT: movq %rcx, 16(%rdi) ; CHECK-NEXT: movq %rcx, 8(%rdi) ; CHECK-NEXT: movq %rcx, (%rdi) ; CHECK-NEXT: retq %r = ashr i512 %a0, 511 ret i512 %r } define i512 @shl_1_i512(i512 %a0) nounwind { ; SSE-LABEL: shl_1_i512: ; SSE: # %bb.0: ; SSE-NEXT: pushq %r14 ; SSE-NEXT: pushq %rbx ; SSE-NEXT: pushq %rax ; SSE-NEXT: xorps %xmm0, %xmm0 ; SSE-NEXT: movups %xmm0, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movups %xmm0, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movups %xmm0, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movaps %xmm0, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movaps %xmm0, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movaps %xmm0, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movaps %xmm0, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq $0, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq $1, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movl %esi, %ecx ; SSE-NEXT: andl $63, %ecx ; SSE-NEXT: shrl $3, %esi ; SSE-NEXT: andl $56, %esi ; SSE-NEXT: negl %esi ; SSE-NEXT: movslq %esi, %rax ; SSE-NEXT: movq -56(%rsp,%rax), %rdx ; SSE-NEXT: movq -48(%rsp,%rax), %r9 ; SSE-NEXT: movq %r9, %rsi ; SSE-NEXT: shldq %cl, %rdx, %rsi ; SSE-NEXT: movq -40(%rsp,%rax), %r10 ; SSE-NEXT: movq %r10, %r8 ; SSE-NEXT: shldq %cl, %r9, %r8 ; SSE-NEXT: movq -32(%rsp,%rax), %r9 ; SSE-NEXT: movq %r9, %r11 ; SSE-NEXT: shldq %cl, %r10, %r11 ; SSE-NEXT: movq -24(%rsp,%rax), %r10 ; SSE-NEXT: movq %r10, %rbx ; SSE-NEXT: shldq %cl, %r9, %rbx ; SSE-NEXT: movq -16(%rsp,%rax), %r9 ; SSE-NEXT: movq %r9, %r14 ; SSE-NEXT: shldq %cl, %r10, %r14 ; SSE-NEXT: movq -8(%rsp,%rax), %r10 ; SSE-NEXT: shldq %cl, %r9, %r10 ; SSE-NEXT: movq -64(%rsp,%rax), %rax ; SSE-NEXT: movq %rax, %r9 ; SSE-NEXT: shlq %cl, %r9 ; SSE-NEXT: # kill: def $cl killed $cl killed $ecx ; SSE-NEXT: shldq %cl, %rax, %rdx ; SSE-NEXT: movq %rdi, %rax ; SSE-NEXT: movq %r10, 56(%rdi) ; SSE-NEXT: movq %r14, 48(%rdi) ; SSE-NEXT: movq %rbx, 40(%rdi) ; SSE-NEXT: movq %r11, 32(%rdi) ; SSE-NEXT: movq %r8, 24(%rdi) ; SSE-NEXT: movq %rsi, 16(%rdi) ; SSE-NEXT: movq %rdx, 8(%rdi) ; SSE-NEXT: movq %r9, (%rdi) ; SSE-NEXT: addq $8, %rsp ; SSE-NEXT: popq %rbx ; SSE-NEXT: popq %r14 ; SSE-NEXT: retq ; ; AVX2-LABEL: shl_1_i512: ; AVX2: # %bb.0: ; AVX2-NEXT: pushq %r14 ; AVX2-NEXT: pushq %rbx ; AVX2-NEXT: pushq %rax ; AVX2-NEXT: vxorps %xmm0, %xmm0, %xmm0 ; AVX2-NEXT: vmovups %ymm0, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: vmovups %ymm0, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: vmovups %ymm0, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: vmovss {{.*#+}} xmm0 = [1,0,0,0] ; AVX2-NEXT: vmovups %ymm0, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movl %esi, %ecx ; AVX2-NEXT: andl $63, %ecx ; AVX2-NEXT: shrl $3, %esi ; AVX2-NEXT: andl $56, %esi ; AVX2-NEXT: negl %esi ; AVX2-NEXT: movslq %esi, %r8 ; AVX2-NEXT: movq -56(%rsp,%r8), %rdx ; AVX2-NEXT: movq -48(%rsp,%r8), %rax ; AVX2-NEXT: movq %rax, %rsi ; AVX2-NEXT: shldq %cl, %rdx, %rsi ; AVX2-NEXT: movq -40(%rsp,%r8), %r10 ; AVX2-NEXT: movq %r10, %r9 ; AVX2-NEXT: shldq %cl, %rax, %r9 ; AVX2-NEXT: movq -32(%rsp,%r8), %rax ; AVX2-NEXT: movq %rax, %r11 ; AVX2-NEXT: shldq %cl, %r10, %r11 ; AVX2-NEXT: movq -24(%rsp,%r8), %r10 ; AVX2-NEXT: movq %r10, %rbx ; AVX2-NEXT: shldq %cl, %rax, %rbx ; AVX2-NEXT: movq -16(%rsp,%r8), %rax ; AVX2-NEXT: movq %rax, %r14 ; AVX2-NEXT: shldq %cl, %r10, %r14 ; AVX2-NEXT: movq -8(%rsp,%r8), %r10 ; AVX2-NEXT: shldq %cl, %rax, %r10 ; AVX2-NEXT: movq %rdi, %rax ; AVX2-NEXT: movq -64(%rsp,%r8), %rdi ; AVX2-NEXT: shlxq %rcx, %rdi, %r8 ; AVX2-NEXT: # kill: def $cl killed $cl killed $rcx ; AVX2-NEXT: shldq %cl, %rdi, %rdx ; AVX2-NEXT: movq %r10, 56(%rax) ; AVX2-NEXT: movq %r14, 48(%rax) ; AVX2-NEXT: movq %rbx, 40(%rax) ; AVX2-NEXT: movq %r11, 32(%rax) ; AVX2-NEXT: movq %r9, 24(%rax) ; AVX2-NEXT: movq %rsi, 16(%rax) ; AVX2-NEXT: movq %rdx, 8(%rax) ; AVX2-NEXT: movq %r8, (%rax) ; AVX2-NEXT: addq $8, %rsp ; AVX2-NEXT: popq %rbx ; AVX2-NEXT: popq %r14 ; AVX2-NEXT: vzeroupper ; AVX2-NEXT: retq ; ; AVX512F-LABEL: shl_1_i512: ; AVX512F: # %bb.0: ; AVX512F-NEXT: movq %rdi, %rax ; AVX512F-NEXT: movl $1, %ecx ; AVX512F-NEXT: shlxq %rsi, %rcx, %rdx ; AVX512F-NEXT: shrl $6, %esi ; AVX512F-NEXT: shlxq %rsi, %rcx, %rcx ; AVX512F-NEXT: kmovw %ecx, %k1 ; AVX512F-NEXT: vpbroadcastq %rdx, %zmm0 {%k1} {z} ; AVX512F-NEXT: vmovdqu64 %zmm0, (%rdi) ; AVX512F-NEXT: retq ; ; AVX512VL-LABEL: shl_1_i512: ; AVX512VL: # %bb.0: ; AVX512VL-NEXT: movq %rdi, %rax ; AVX512VL-NEXT: movl $1, %ecx ; AVX512VL-NEXT: shlxq %rsi, %rcx, %rdx ; AVX512VL-NEXT: shrl $6, %esi ; AVX512VL-NEXT: shlxq %rsi, %rcx, %rcx ; AVX512VL-NEXT: kmovd %ecx, %k1 ; AVX512VL-NEXT: vpbroadcastq %rdx, %zmm0 {%k1} {z} ; AVX512VL-NEXT: vmovdqu64 %zmm0, (%rdi) ; AVX512VL-NEXT: vzeroupper ; AVX512VL-NEXT: retq ; ; AVX512VBMI-LABEL: shl_1_i512: ; AVX512VBMI: # %bb.0: ; AVX512VBMI-NEXT: movq %rdi, %rax ; AVX512VBMI-NEXT: movl $1, %ecx ; AVX512VBMI-NEXT: shlxq %rsi, %rcx, %rdx ; AVX512VBMI-NEXT: shrl $6, %esi ; AVX512VBMI-NEXT: shlxq %rsi, %rcx, %rcx ; AVX512VBMI-NEXT: kmovd %ecx, %k1 ; AVX512VBMI-NEXT: vpbroadcastq %rdx, %zmm0 {%k1} {z} ; AVX512VBMI-NEXT: vmovdqu64 %zmm0, (%rdi) ; AVX512VBMI-NEXT: vzeroupper ; AVX512VBMI-NEXT: retq %r = shl i512 1, %a0 ret i512 %r } define i512 @lshr_signbit_i512(i512 %a0) nounwind { ; SSE-LABEL: lshr_signbit_i512: ; SSE: # %bb.0: ; SSE-NEXT: pushq %r14 ; SSE-NEXT: pushq %rbx ; SSE-NEXT: pushq %rax ; SSE-NEXT: xorps %xmm0, %xmm0 ; SSE-NEXT: movaps %xmm0, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movaps %xmm0, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movaps %xmm0, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movaps %xmm0, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movabsq $-9223372036854775808, %rax # imm = 0x8000000000000000 ; SSE-NEXT: movq %rax, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movaps %xmm0, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movaps %xmm0, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movaps %xmm0, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq $0, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movl %esi, %ecx ; SSE-NEXT: andl $63, %ecx ; SSE-NEXT: shrl $3, %esi ; SSE-NEXT: andl $56, %esi ; SSE-NEXT: movq -112(%rsp,%rsi), %rdx ; SSE-NEXT: movq -120(%rsp,%rsi), %rax ; SSE-NEXT: movq %rax, %r8 ; SSE-NEXT: shrdq %cl, %rdx, %r8 ; SSE-NEXT: movq -104(%rsp,%rsi), %r9 ; SSE-NEXT: shrdq %cl, %r9, %rdx ; SSE-NEXT: movq -96(%rsp,%rsi), %r10 ; SSE-NEXT: shrdq %cl, %r10, %r9 ; SSE-NEXT: movq -88(%rsp,%rsi), %r11 ; SSE-NEXT: shrdq %cl, %r11, %r10 ; SSE-NEXT: movq -80(%rsp,%rsi), %rbx ; SSE-NEXT: shrdq %cl, %rbx, %r11 ; SSE-NEXT: movq -72(%rsp,%rsi), %r14 ; SSE-NEXT: shrdq %cl, %r14, %rbx ; SSE-NEXT: movq -128(%rsp,%rsi), %rsi ; SSE-NEXT: shrdq %cl, %rax, %rsi ; SSE-NEXT: movq %rdi, %rax ; SSE-NEXT: # kill: def $cl killed $cl killed $ecx ; SSE-NEXT: shrq %cl, %r14 ; SSE-NEXT: movq %r14, 56(%rdi) ; SSE-NEXT: movq %rbx, 48(%rdi) ; SSE-NEXT: movq %r11, 40(%rdi) ; SSE-NEXT: movq %r10, 32(%rdi) ; SSE-NEXT: movq %r9, 24(%rdi) ; SSE-NEXT: movq %rdx, 16(%rdi) ; SSE-NEXT: movq %r8, 8(%rdi) ; SSE-NEXT: movq %rsi, (%rdi) ; SSE-NEXT: addq $8, %rsp ; SSE-NEXT: popq %rbx ; SSE-NEXT: popq %r14 ; SSE-NEXT: retq ; ; AVX2-LABEL: lshr_signbit_i512: ; AVX2: # %bb.0: ; AVX2-NEXT: pushq %r14 ; AVX2-NEXT: pushq %rbx ; AVX2-NEXT: pushq %rax ; AVX2-NEXT: vxorps %xmm0, %xmm0, %xmm0 ; AVX2-NEXT: vmovups %ymm0, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: vmovups %ymm0, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: vmovaps {{.*#+}} ymm1 = [0,0,0,9223372036854775808] ; AVX2-NEXT: vmovups %ymm1, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: vmovups %ymm0, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movl %esi, %ecx ; AVX2-NEXT: andl $63, %ecx ; AVX2-NEXT: shrl $3, %esi ; AVX2-NEXT: andl $56, %esi ; AVX2-NEXT: movq -112(%rsp,%rsi), %rdx ; AVX2-NEXT: movq -120(%rsp,%rsi), %rax ; AVX2-NEXT: movq %rax, %r8 ; AVX2-NEXT: shrdq %cl, %rdx, %r8 ; AVX2-NEXT: movq -104(%rsp,%rsi), %r9 ; AVX2-NEXT: shrdq %cl, %r9, %rdx ; AVX2-NEXT: movq -96(%rsp,%rsi), %r10 ; AVX2-NEXT: shrdq %cl, %r10, %r9 ; AVX2-NEXT: movq -88(%rsp,%rsi), %r11 ; AVX2-NEXT: shrdq %cl, %r11, %r10 ; AVX2-NEXT: movq -80(%rsp,%rsi), %rbx ; AVX2-NEXT: shrdq %cl, %rbx, %r11 ; AVX2-NEXT: movq -128(%rsp,%rsi), %r14 ; AVX2-NEXT: movq -72(%rsp,%rsi), %rsi ; AVX2-NEXT: shrdq %cl, %rsi, %rbx ; AVX2-NEXT: shrdq %cl, %rax, %r14 ; AVX2-NEXT: movq %rdi, %rax ; AVX2-NEXT: shrxq %rcx, %rsi, %rcx ; AVX2-NEXT: movq %rcx, 56(%rdi) ; AVX2-NEXT: movq %rbx, 48(%rdi) ; AVX2-NEXT: movq %r11, 40(%rdi) ; AVX2-NEXT: movq %r10, 32(%rdi) ; AVX2-NEXT: movq %r9, 24(%rdi) ; AVX2-NEXT: movq %rdx, 16(%rdi) ; AVX2-NEXT: movq %r8, 8(%rdi) ; AVX2-NEXT: movq %r14, (%rdi) ; AVX2-NEXT: addq $8, %rsp ; AVX2-NEXT: popq %rbx ; AVX2-NEXT: popq %r14 ; AVX2-NEXT: vzeroupper ; AVX2-NEXT: retq ; ; AVX512F-LABEL: lshr_signbit_i512: ; AVX512F: # %bb.0: ; AVX512F-NEXT: movq %rdi, %rax ; AVX512F-NEXT: movabsq $-9223372036854775808, %rcx # imm = 0x8000000000000000 ; AVX512F-NEXT: shrxq %rsi, %rcx, %rcx ; AVX512F-NEXT: shrl $6, %esi ; AVX512F-NEXT: movl $128, %edx ; AVX512F-NEXT: shrxq %rsi, %rdx, %rdx ; AVX512F-NEXT: kmovw %edx, %k1 ; AVX512F-NEXT: vpbroadcastq %rcx, %zmm0 {%k1} {z} ; AVX512F-NEXT: vmovdqu64 %zmm0, (%rdi) ; AVX512F-NEXT: retq ; ; AVX512VL-LABEL: lshr_signbit_i512: ; AVX512VL: # %bb.0: ; AVX512VL-NEXT: movq %rdi, %rax ; AVX512VL-NEXT: movabsq $-9223372036854775808, %rcx # imm = 0x8000000000000000 ; AVX512VL-NEXT: shrxq %rsi, %rcx, %rcx ; AVX512VL-NEXT: shrl $6, %esi ; AVX512VL-NEXT: movl $128, %edx ; AVX512VL-NEXT: shrxq %rsi, %rdx, %rdx ; AVX512VL-NEXT: kmovd %edx, %k1 ; AVX512VL-NEXT: vpbroadcastq %rcx, %zmm0 {%k1} {z} ; AVX512VL-NEXT: vmovdqu64 %zmm0, (%rdi) ; AVX512VL-NEXT: vzeroupper ; AVX512VL-NEXT: retq ; ; AVX512VBMI-LABEL: lshr_signbit_i512: ; AVX512VBMI: # %bb.0: ; AVX512VBMI-NEXT: movq %rdi, %rax ; AVX512VBMI-NEXT: movabsq $-9223372036854775808, %rcx # imm = 0x8000000000000000 ; AVX512VBMI-NEXT: shrxq %rsi, %rcx, %rcx ; AVX512VBMI-NEXT: shrl $6, %esi ; AVX512VBMI-NEXT: movl $128, %edx ; AVX512VBMI-NEXT: shrxq %rsi, %rdx, %rdx ; AVX512VBMI-NEXT: kmovd %edx, %k1 ; AVX512VBMI-NEXT: vpbroadcastq %rcx, %zmm0 {%k1} {z} ; AVX512VBMI-NEXT: vmovdqu64 %zmm0, (%rdi) ; AVX512VBMI-NEXT: vzeroupper ; AVX512VBMI-NEXT: retq %s = shl i512 1, 511 %r = lshr i512 %s, %a0 ret i512 %r } define i512 @ashr_signbit_i512(i512 %a0) nounwind { ; SSE-LABEL: ashr_signbit_i512: ; SSE: # %bb.0: ; SSE-NEXT: pushq %r14 ; SSE-NEXT: pushq %rbx ; SSE-NEXT: pushq %rax ; SSE-NEXT: movabsq $-9223372036854775808, %rax # imm = 0x8000000000000000 ; SSE-NEXT: movq %rax, -{{[0-9]+}}(%rsp) ; SSE-NEXT: xorps %xmm0, %xmm0 ; SSE-NEXT: movaps %xmm0, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movaps %xmm0, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movaps %xmm0, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq $-1, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq $-1, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq $-1, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq $-1, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq $-1, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq $-1, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq $-1, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq $-1, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq $0, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movl %esi, %ecx ; SSE-NEXT: andl $63, %ecx ; SSE-NEXT: shrl $3, %esi ; SSE-NEXT: andl $56, %esi ; SSE-NEXT: movq -112(%rsp,%rsi), %rdx ; SSE-NEXT: movq -120(%rsp,%rsi), %rax ; SSE-NEXT: movq %rax, %r8 ; SSE-NEXT: shrdq %cl, %rdx, %r8 ; SSE-NEXT: movq -104(%rsp,%rsi), %r9 ; SSE-NEXT: shrdq %cl, %r9, %rdx ; SSE-NEXT: movq -96(%rsp,%rsi), %r10 ; SSE-NEXT: shrdq %cl, %r10, %r9 ; SSE-NEXT: movq -88(%rsp,%rsi), %r11 ; SSE-NEXT: shrdq %cl, %r11, %r10 ; SSE-NEXT: movq -80(%rsp,%rsi), %rbx ; SSE-NEXT: shrdq %cl, %rbx, %r11 ; SSE-NEXT: movq -72(%rsp,%rsi), %r14 ; SSE-NEXT: shrdq %cl, %r14, %rbx ; SSE-NEXT: movq -128(%rsp,%rsi), %rsi ; SSE-NEXT: shrdq %cl, %rax, %rsi ; SSE-NEXT: movq %rdi, %rax ; SSE-NEXT: # kill: def $cl killed $cl killed $ecx ; SSE-NEXT: sarq %cl, %r14 ; SSE-NEXT: movq %r14, 56(%rdi) ; SSE-NEXT: movq %rbx, 48(%rdi) ; SSE-NEXT: movq %r11, 40(%rdi) ; SSE-NEXT: movq %r10, 32(%rdi) ; SSE-NEXT: movq %r9, 24(%rdi) ; SSE-NEXT: movq %rdx, 16(%rdi) ; SSE-NEXT: movq %r8, 8(%rdi) ; SSE-NEXT: movq %rsi, (%rdi) ; SSE-NEXT: addq $8, %rsp ; SSE-NEXT: popq %rbx ; SSE-NEXT: popq %r14 ; SSE-NEXT: retq ; ; AVX2-LABEL: ashr_signbit_i512: ; AVX2: # %bb.0: ; AVX2-NEXT: pushq %r14 ; AVX2-NEXT: pushq %rbx ; AVX2-NEXT: pushq %rax ; AVX2-NEXT: vpcmpeqd %ymm0, %ymm0, %ymm0 ; AVX2-NEXT: vmovdqu %ymm0, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: vmovdqu %ymm0, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: vmovaps {{.*#+}} ymm0 = [0,0,0,9223372036854775808] ; AVX2-NEXT: vmovups %ymm0, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: vxorps %xmm0, %xmm0, %xmm0 ; AVX2-NEXT: vmovups %ymm0, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movl %esi, %ecx ; AVX2-NEXT: andl $63, %ecx ; AVX2-NEXT: shrl $3, %esi ; AVX2-NEXT: andl $56, %esi ; AVX2-NEXT: movq -112(%rsp,%rsi), %rdx ; AVX2-NEXT: movq -120(%rsp,%rsi), %rax ; AVX2-NEXT: movq %rax, %r8 ; AVX2-NEXT: shrdq %cl, %rdx, %r8 ; AVX2-NEXT: movq -104(%rsp,%rsi), %r9 ; AVX2-NEXT: shrdq %cl, %r9, %rdx ; AVX2-NEXT: movq -96(%rsp,%rsi), %r10 ; AVX2-NEXT: shrdq %cl, %r10, %r9 ; AVX2-NEXT: movq -88(%rsp,%rsi), %r11 ; AVX2-NEXT: shrdq %cl, %r11, %r10 ; AVX2-NEXT: movq -80(%rsp,%rsi), %rbx ; AVX2-NEXT: shrdq %cl, %rbx, %r11 ; AVX2-NEXT: movq -128(%rsp,%rsi), %r14 ; AVX2-NEXT: movq -72(%rsp,%rsi), %rsi ; AVX2-NEXT: shrdq %cl, %rsi, %rbx ; AVX2-NEXT: shrdq %cl, %rax, %r14 ; AVX2-NEXT: movq %rdi, %rax ; AVX2-NEXT: sarxq %rcx, %rsi, %rcx ; AVX2-NEXT: movq %rcx, 56(%rdi) ; AVX2-NEXT: movq %rbx, 48(%rdi) ; AVX2-NEXT: movq %r11, 40(%rdi) ; AVX2-NEXT: movq %r10, 32(%rdi) ; AVX2-NEXT: movq %r9, 24(%rdi) ; AVX2-NEXT: movq %rdx, 16(%rdi) ; AVX2-NEXT: movq %r8, 8(%rdi) ; AVX2-NEXT: movq %r14, (%rdi) ; AVX2-NEXT: addq $8, %rsp ; AVX2-NEXT: popq %rbx ; AVX2-NEXT: popq %r14 ; AVX2-NEXT: vzeroupper ; AVX2-NEXT: retq ; ; AVX512F-LABEL: ashr_signbit_i512: ; AVX512F: # %bb.0: ; AVX512F-NEXT: movq %rdi, %rax ; AVX512F-NEXT: movl $511, %ecx # imm = 0x1FF ; AVX512F-NEXT: subl %esi, %ecx ; AVX512F-NEXT: movq $-1, %rdx ; AVX512F-NEXT: shlxq %rcx, %rdx, %rsi ; AVX512F-NEXT: shrl $6, %ecx ; AVX512F-NEXT: movl $1, %edi ; AVX512F-NEXT: shlxq %rcx, %rdi, %rdi ; AVX512F-NEXT: kmovw %edi, %k1 ; AVX512F-NEXT: shlxq %rcx, %rdx, %rcx ; AVX512F-NEXT: kmovw %ecx, %k2 ; AVX512F-NEXT: vpternlogq {{.*#+}} zmm0 {%k2} {z} = -1 ; AVX512F-NEXT: vpbroadcastq %rsi, %zmm0 {%k1} ; AVX512F-NEXT: vmovdqu64 %zmm0, (%rax) ; AVX512F-NEXT: retq ; ; AVX512VL-LABEL: ashr_signbit_i512: ; AVX512VL: # %bb.0: ; AVX512VL-NEXT: movq %rdi, %rax ; AVX512VL-NEXT: movl $511, %ecx # imm = 0x1FF ; AVX512VL-NEXT: subl %esi, %ecx ; AVX512VL-NEXT: movq $-1, %rdx ; AVX512VL-NEXT: shlxq %rcx, %rdx, %rsi ; AVX512VL-NEXT: shrl $6, %ecx ; AVX512VL-NEXT: movl $1, %edi ; AVX512VL-NEXT: shlxq %rcx, %rdi, %rdi ; AVX512VL-NEXT: kmovd %edi, %k1 ; AVX512VL-NEXT: shlxq %rcx, %rdx, %rcx ; AVX512VL-NEXT: kmovd %ecx, %k2 ; AVX512VL-NEXT: vpternlogq {{.*#+}} zmm0 {%k2} {z} = -1 ; AVX512VL-NEXT: vpbroadcastq %rsi, %zmm0 {%k1} ; AVX512VL-NEXT: vmovdqu64 %zmm0, (%rax) ; AVX512VL-NEXT: vzeroupper ; AVX512VL-NEXT: retq ; ; AVX512VBMI-LABEL: ashr_signbit_i512: ; AVX512VBMI: # %bb.0: ; AVX512VBMI-NEXT: movq %rdi, %rax ; AVX512VBMI-NEXT: movl $511, %ecx # imm = 0x1FF ; AVX512VBMI-NEXT: subl %esi, %ecx ; AVX512VBMI-NEXT: movq $-1, %rdx ; AVX512VBMI-NEXT: shlxq %rcx, %rdx, %rsi ; AVX512VBMI-NEXT: shrl $6, %ecx ; AVX512VBMI-NEXT: movl $1, %edi ; AVX512VBMI-NEXT: shlxq %rcx, %rdi, %rdi ; AVX512VBMI-NEXT: kmovd %edi, %k1 ; AVX512VBMI-NEXT: shlxq %rcx, %rdx, %rcx ; AVX512VBMI-NEXT: kmovd %ecx, %k2 ; AVX512VBMI-NEXT: vpternlogq {{.*#+}} zmm0 {%k2} {z} = -1 ; AVX512VBMI-NEXT: vpbroadcastq %rsi, %zmm0 {%k1} ; AVX512VBMI-NEXT: vmovdqu64 %zmm0, (%rax) ; AVX512VBMI-NEXT: vzeroupper ; AVX512VBMI-NEXT: retq %s = shl i512 1, 511 %r = ashr i512 %s, %a0 ret i512 %r } define i512 @shl_allbits_i512(i512 %a0) nounwind { ; SSE-LABEL: shl_allbits_i512: ; SSE: # %bb.0: ; SSE-NEXT: pushq %r14 ; SSE-NEXT: pushq %rbx ; SSE-NEXT: pushq %rax ; SSE-NEXT: xorps %xmm0, %xmm0 ; SSE-NEXT: movaps %xmm0, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movaps %xmm0, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movaps %xmm0, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movaps %xmm0, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq $-1, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq $-1, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq $-1, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq $-1, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq $-1, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq $-1, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq $-1, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq $-1, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movl %esi, %ecx ; SSE-NEXT: andl $63, %ecx ; SSE-NEXT: shrl $3, %esi ; SSE-NEXT: andl $56, %esi ; SSE-NEXT: negl %esi ; SSE-NEXT: movslq %esi, %rax ; SSE-NEXT: movq -56(%rsp,%rax), %rdx ; SSE-NEXT: movq -48(%rsp,%rax), %r9 ; SSE-NEXT: movq %r9, %rsi ; SSE-NEXT: shldq %cl, %rdx, %rsi ; SSE-NEXT: movq -40(%rsp,%rax), %r10 ; SSE-NEXT: movq %r10, %r8 ; SSE-NEXT: shldq %cl, %r9, %r8 ; SSE-NEXT: movq -32(%rsp,%rax), %r9 ; SSE-NEXT: movq %r9, %r11 ; SSE-NEXT: shldq %cl, %r10, %r11 ; SSE-NEXT: movq -24(%rsp,%rax), %r10 ; SSE-NEXT: movq %r10, %rbx ; SSE-NEXT: shldq %cl, %r9, %rbx ; SSE-NEXT: movq -16(%rsp,%rax), %r9 ; SSE-NEXT: movq %r9, %r14 ; SSE-NEXT: shldq %cl, %r10, %r14 ; SSE-NEXT: movq -8(%rsp,%rax), %r10 ; SSE-NEXT: shldq %cl, %r9, %r10 ; SSE-NEXT: movq -64(%rsp,%rax), %rax ; SSE-NEXT: movq %rax, %r9 ; SSE-NEXT: shlq %cl, %r9 ; SSE-NEXT: # kill: def $cl killed $cl killed $ecx ; SSE-NEXT: shldq %cl, %rax, %rdx ; SSE-NEXT: movq %rdi, %rax ; SSE-NEXT: movq %r10, 56(%rdi) ; SSE-NEXT: movq %r14, 48(%rdi) ; SSE-NEXT: movq %rbx, 40(%rdi) ; SSE-NEXT: movq %r11, 32(%rdi) ; SSE-NEXT: movq %r8, 24(%rdi) ; SSE-NEXT: movq %rsi, 16(%rdi) ; SSE-NEXT: movq %rdx, 8(%rdi) ; SSE-NEXT: movq %r9, (%rdi) ; SSE-NEXT: addq $8, %rsp ; SSE-NEXT: popq %rbx ; SSE-NEXT: popq %r14 ; SSE-NEXT: retq ; ; AVX2-LABEL: shl_allbits_i512: ; AVX2: # %bb.0: ; AVX2-NEXT: pushq %r14 ; AVX2-NEXT: pushq %rbx ; AVX2-NEXT: pushq %rax ; AVX2-NEXT: vpcmpeqd %ymm0, %ymm0, %ymm0 ; AVX2-NEXT: vmovdqu %ymm0, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: vmovdqu %ymm0, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: vpxor %xmm0, %xmm0, %xmm0 ; AVX2-NEXT: vmovdqu %ymm0, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: vmovdqu %ymm0, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movl %esi, %ecx ; AVX2-NEXT: andl $63, %ecx ; AVX2-NEXT: shrl $3, %esi ; AVX2-NEXT: andl $56, %esi ; AVX2-NEXT: negl %esi ; AVX2-NEXT: movslq %esi, %r8 ; AVX2-NEXT: movq -56(%rsp,%r8), %rdx ; AVX2-NEXT: movq -48(%rsp,%r8), %rax ; AVX2-NEXT: movq %rax, %rsi ; AVX2-NEXT: shldq %cl, %rdx, %rsi ; AVX2-NEXT: movq -40(%rsp,%r8), %r10 ; AVX2-NEXT: movq %r10, %r9 ; AVX2-NEXT: shldq %cl, %rax, %r9 ; AVX2-NEXT: movq -32(%rsp,%r8), %rax ; AVX2-NEXT: movq %rax, %r11 ; AVX2-NEXT: shldq %cl, %r10, %r11 ; AVX2-NEXT: movq -24(%rsp,%r8), %r10 ; AVX2-NEXT: movq %r10, %rbx ; AVX2-NEXT: shldq %cl, %rax, %rbx ; AVX2-NEXT: movq -16(%rsp,%r8), %rax ; AVX2-NEXT: movq %rax, %r14 ; AVX2-NEXT: shldq %cl, %r10, %r14 ; AVX2-NEXT: movq -8(%rsp,%r8), %r10 ; AVX2-NEXT: shldq %cl, %rax, %r10 ; AVX2-NEXT: movq %rdi, %rax ; AVX2-NEXT: movq -64(%rsp,%r8), %rdi ; AVX2-NEXT: shlxq %rcx, %rdi, %r8 ; AVX2-NEXT: # kill: def $cl killed $cl killed $rcx ; AVX2-NEXT: shldq %cl, %rdi, %rdx ; AVX2-NEXT: movq %r10, 56(%rax) ; AVX2-NEXT: movq %r14, 48(%rax) ; AVX2-NEXT: movq %rbx, 40(%rax) ; AVX2-NEXT: movq %r11, 32(%rax) ; AVX2-NEXT: movq %r9, 24(%rax) ; AVX2-NEXT: movq %rsi, 16(%rax) ; AVX2-NEXT: movq %rdx, 8(%rax) ; AVX2-NEXT: movq %r8, (%rax) ; AVX2-NEXT: addq $8, %rsp ; AVX2-NEXT: popq %rbx ; AVX2-NEXT: popq %r14 ; AVX2-NEXT: vzeroupper ; AVX2-NEXT: retq ; ; AVX512F-LABEL: shl_allbits_i512: ; AVX512F: # %bb.0: ; AVX512F-NEXT: movq %rdi, %rax ; AVX512F-NEXT: movq $-1, %rcx ; AVX512F-NEXT: shlxq %rsi, %rcx, %rdx ; AVX512F-NEXT: shrl $6, %esi ; AVX512F-NEXT: movl $1, %edi ; AVX512F-NEXT: shlxq %rsi, %rdi, %rdi ; AVX512F-NEXT: kmovw %edi, %k1 ; AVX512F-NEXT: shlxq %rsi, %rcx, %rcx ; AVX512F-NEXT: kmovw %ecx, %k2 ; AVX512F-NEXT: vpternlogq {{.*#+}} zmm0 {%k2} {z} = -1 ; AVX512F-NEXT: vpbroadcastq %rdx, %zmm0 {%k1} ; AVX512F-NEXT: vmovdqu64 %zmm0, (%rax) ; AVX512F-NEXT: retq ; ; AVX512VL-LABEL: shl_allbits_i512: ; AVX512VL: # %bb.0: ; AVX512VL-NEXT: movq %rdi, %rax ; AVX512VL-NEXT: movq $-1, %rcx ; AVX512VL-NEXT: shlxq %rsi, %rcx, %rdx ; AVX512VL-NEXT: shrl $6, %esi ; AVX512VL-NEXT: movl $1, %edi ; AVX512VL-NEXT: shlxq %rsi, %rdi, %rdi ; AVX512VL-NEXT: kmovd %edi, %k1 ; AVX512VL-NEXT: shlxq %rsi, %rcx, %rcx ; AVX512VL-NEXT: kmovd %ecx, %k2 ; AVX512VL-NEXT: vpternlogq {{.*#+}} zmm0 {%k2} {z} = -1 ; AVX512VL-NEXT: vpbroadcastq %rdx, %zmm0 {%k1} ; AVX512VL-NEXT: vmovdqu64 %zmm0, (%rax) ; AVX512VL-NEXT: vzeroupper ; AVX512VL-NEXT: retq ; ; AVX512VBMI-LABEL: shl_allbits_i512: ; AVX512VBMI: # %bb.0: ; AVX512VBMI-NEXT: movq %rdi, %rax ; AVX512VBMI-NEXT: movq $-1, %rcx ; AVX512VBMI-NEXT: shlxq %rsi, %rcx, %rdx ; AVX512VBMI-NEXT: shrl $6, %esi ; AVX512VBMI-NEXT: movl $1, %edi ; AVX512VBMI-NEXT: shlxq %rsi, %rdi, %rdi ; AVX512VBMI-NEXT: kmovd %edi, %k1 ; AVX512VBMI-NEXT: shlxq %rsi, %rcx, %rcx ; AVX512VBMI-NEXT: kmovd %ecx, %k2 ; AVX512VBMI-NEXT: vpternlogq {{.*#+}} zmm0 {%k2} {z} = -1 ; AVX512VBMI-NEXT: vpbroadcastq %rdx, %zmm0 {%k1} ; AVX512VBMI-NEXT: vmovdqu64 %zmm0, (%rax) ; AVX512VBMI-NEXT: vzeroupper ; AVX512VBMI-NEXT: retq %r = shl i512 -1, %a0 ret i512 %r } define i512 @lshr_allbits_i512(i512 %a0) nounwind { ; SSE-LABEL: lshr_allbits_i512: ; SSE: # %bb.0: ; SSE-NEXT: pushq %r14 ; SSE-NEXT: pushq %rbx ; SSE-NEXT: pushq %rax ; SSE-NEXT: movq $0, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq $0, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq $0, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq $0, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq $0, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq $0, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq $0, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq $0, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq $-1, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq $-1, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq $-1, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq $-1, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq $-1, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq $-1, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq $-1, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq $-1, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movl %esi, %ecx ; SSE-NEXT: andl $63, %ecx ; SSE-NEXT: shrl $3, %esi ; SSE-NEXT: andl $56, %esi ; SSE-NEXT: movq -112(%rsp,%rsi), %rdx ; SSE-NEXT: movq -120(%rsp,%rsi), %rax ; SSE-NEXT: movq %rax, %r8 ; SSE-NEXT: shrdq %cl, %rdx, %r8 ; SSE-NEXT: movq -104(%rsp,%rsi), %r9 ; SSE-NEXT: shrdq %cl, %r9, %rdx ; SSE-NEXT: movq -96(%rsp,%rsi), %r10 ; SSE-NEXT: shrdq %cl, %r10, %r9 ; SSE-NEXT: movq -88(%rsp,%rsi), %r11 ; SSE-NEXT: shrdq %cl, %r11, %r10 ; SSE-NEXT: movq -80(%rsp,%rsi), %rbx ; SSE-NEXT: shrdq %cl, %rbx, %r11 ; SSE-NEXT: movq -72(%rsp,%rsi), %r14 ; SSE-NEXT: shrdq %cl, %r14, %rbx ; SSE-NEXT: movq -128(%rsp,%rsi), %rsi ; SSE-NEXT: shrdq %cl, %rax, %rsi ; SSE-NEXT: movq %rdi, %rax ; SSE-NEXT: # kill: def $cl killed $cl killed $ecx ; SSE-NEXT: shrq %cl, %r14 ; SSE-NEXT: movq %r14, 56(%rdi) ; SSE-NEXT: movq %rbx, 48(%rdi) ; SSE-NEXT: movq %r11, 40(%rdi) ; SSE-NEXT: movq %r10, 32(%rdi) ; SSE-NEXT: movq %r9, 24(%rdi) ; SSE-NEXT: movq %rdx, 16(%rdi) ; SSE-NEXT: movq %r8, 8(%rdi) ; SSE-NEXT: movq %rsi, (%rdi) ; SSE-NEXT: addq $8, %rsp ; SSE-NEXT: popq %rbx ; SSE-NEXT: popq %r14 ; SSE-NEXT: retq ; ; AVX2-LABEL: lshr_allbits_i512: ; AVX2: # %bb.0: ; AVX2-NEXT: pushq %r14 ; AVX2-NEXT: pushq %rbx ; AVX2-NEXT: pushq %rax ; AVX2-NEXT: vpxor %xmm0, %xmm0, %xmm0 ; AVX2-NEXT: vmovdqu %ymm0, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: vmovdqu %ymm0, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: vpcmpeqd %ymm0, %ymm0, %ymm0 ; AVX2-NEXT: vmovdqu %ymm0, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: vmovdqu %ymm0, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movl %esi, %ecx ; AVX2-NEXT: andl $63, %ecx ; AVX2-NEXT: shrl $3, %esi ; AVX2-NEXT: andl $56, %esi ; AVX2-NEXT: movq -112(%rsp,%rsi), %rdx ; AVX2-NEXT: movq -120(%rsp,%rsi), %rax ; AVX2-NEXT: movq %rax, %r8 ; AVX2-NEXT: shrdq %cl, %rdx, %r8 ; AVX2-NEXT: movq -104(%rsp,%rsi), %r9 ; AVX2-NEXT: shrdq %cl, %r9, %rdx ; AVX2-NEXT: movq -96(%rsp,%rsi), %r10 ; AVX2-NEXT: shrdq %cl, %r10, %r9 ; AVX2-NEXT: movq -88(%rsp,%rsi), %r11 ; AVX2-NEXT: shrdq %cl, %r11, %r10 ; AVX2-NEXT: movq -80(%rsp,%rsi), %rbx ; AVX2-NEXT: shrdq %cl, %rbx, %r11 ; AVX2-NEXT: movq -128(%rsp,%rsi), %r14 ; AVX2-NEXT: movq -72(%rsp,%rsi), %rsi ; AVX2-NEXT: shrdq %cl, %rsi, %rbx ; AVX2-NEXT: shrdq %cl, %rax, %r14 ; AVX2-NEXT: movq %rdi, %rax ; AVX2-NEXT: shrxq %rcx, %rsi, %rcx ; AVX2-NEXT: movq %rcx, 56(%rdi) ; AVX2-NEXT: movq %rbx, 48(%rdi) ; AVX2-NEXT: movq %r11, 40(%rdi) ; AVX2-NEXT: movq %r10, 32(%rdi) ; AVX2-NEXT: movq %r9, 24(%rdi) ; AVX2-NEXT: movq %rdx, 16(%rdi) ; AVX2-NEXT: movq %r8, 8(%rdi) ; AVX2-NEXT: movq %r14, (%rdi) ; AVX2-NEXT: addq $8, %rsp ; AVX2-NEXT: popq %rbx ; AVX2-NEXT: popq %r14 ; AVX2-NEXT: vzeroupper ; AVX2-NEXT: retq ; ; AVX512F-LABEL: lshr_allbits_i512: ; AVX512F: # %bb.0: ; AVX512F-NEXT: movq %rdi, %rax ; AVX512F-NEXT: movq $-1, %rcx ; AVX512F-NEXT: shrxq %rsi, %rcx, %rcx ; AVX512F-NEXT: shrl $6, %esi ; AVX512F-NEXT: movl $128, %edx ; AVX512F-NEXT: shrxq %rsi, %rdx, %rdx ; AVX512F-NEXT: kmovw %edx, %k1 ; AVX512F-NEXT: movl $255, %edx ; AVX512F-NEXT: shrxq %rsi, %rdx, %rdx ; AVX512F-NEXT: kmovw %edx, %k2 ; AVX512F-NEXT: vpternlogq {{.*#+}} zmm0 {%k2} {z} = -1 ; AVX512F-NEXT: vpbroadcastq %rcx, %zmm0 {%k1} ; AVX512F-NEXT: vmovdqu64 %zmm0, (%rdi) ; AVX512F-NEXT: retq ; ; AVX512VL-LABEL: lshr_allbits_i512: ; AVX512VL: # %bb.0: ; AVX512VL-NEXT: movq %rdi, %rax ; AVX512VL-NEXT: movq $-1, %rcx ; AVX512VL-NEXT: shrxq %rsi, %rcx, %rcx ; AVX512VL-NEXT: shrl $6, %esi ; AVX512VL-NEXT: movl $128, %edx ; AVX512VL-NEXT: shrxq %rsi, %rdx, %rdx ; AVX512VL-NEXT: kmovd %edx, %k1 ; AVX512VL-NEXT: movl $255, %edx ; AVX512VL-NEXT: shrxq %rsi, %rdx, %rdx ; AVX512VL-NEXT: kmovd %edx, %k2 ; AVX512VL-NEXT: vpternlogq {{.*#+}} zmm0 {%k2} {z} = -1 ; AVX512VL-NEXT: vpbroadcastq %rcx, %zmm0 {%k1} ; AVX512VL-NEXT: vmovdqu64 %zmm0, (%rdi) ; AVX512VL-NEXT: vzeroupper ; AVX512VL-NEXT: retq ; ; AVX512VBMI-LABEL: lshr_allbits_i512: ; AVX512VBMI: # %bb.0: ; AVX512VBMI-NEXT: movq %rdi, %rax ; AVX512VBMI-NEXT: movq $-1, %rcx ; AVX512VBMI-NEXT: shrxq %rsi, %rcx, %rcx ; AVX512VBMI-NEXT: shrl $6, %esi ; AVX512VBMI-NEXT: movl $128, %edx ; AVX512VBMI-NEXT: shrxq %rsi, %rdx, %rdx ; AVX512VBMI-NEXT: kmovd %edx, %k1 ; AVX512VBMI-NEXT: movl $255, %edx ; AVX512VBMI-NEXT: shrxq %rsi, %rdx, %rdx ; AVX512VBMI-NEXT: kmovd %edx, %k2 ; AVX512VBMI-NEXT: vpternlogq {{.*#+}} zmm0 {%k2} {z} = -1 ; AVX512VBMI-NEXT: vpbroadcastq %rcx, %zmm0 {%k1} ; AVX512VBMI-NEXT: vmovdqu64 %zmm0, (%rdi) ; AVX512VBMI-NEXT: vzeroupper ; AVX512VBMI-NEXT: retq %r = lshr i512 -1, %a0 ret i512 %r } define i64 @lshr_extract_i512_i64(i512 %a0, i512 %a1) nounwind { ; SSE-LABEL: lshr_extract_i512_i64: ; SSE: # %bb.0: ; SSE-NEXT: pushq %rax ; SSE-NEXT: movl {{[0-9]+}}(%rsp), %r10d ; SSE-NEXT: movaps {{[0-9]+}}(%rsp), %xmm0 ; SSE-NEXT: xorps %xmm1, %xmm1 ; SSE-NEXT: movaps %xmm1, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movaps %xmm1, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movaps %xmm1, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movaps %xmm1, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movaps %xmm0, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq %r9, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq %r8, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq %rcx, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq %rdx, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq %rsi, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq %rdi, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movl %r10d, %ecx ; SSE-NEXT: shrl $3, %ecx ; SSE-NEXT: andl $56, %ecx ; SSE-NEXT: movq -128(%rsp,%rcx), %rax ; SSE-NEXT: movq -120(%rsp,%rcx), %rdx ; SSE-NEXT: movl %r10d, %ecx ; SSE-NEXT: shrdq %cl, %rdx, %rax ; SSE-NEXT: popq %rcx ; SSE-NEXT: retq ; ; AVX2-LABEL: lshr_extract_i512_i64: ; AVX2: # %bb.0: ; AVX2-NEXT: pushq %rax ; AVX2-NEXT: movl {{[0-9]+}}(%rsp), %r10d ; AVX2-NEXT: vmovaps {{[0-9]+}}(%rsp), %xmm0 ; AVX2-NEXT: vxorps %xmm1, %xmm1, %xmm1 ; AVX2-NEXT: vmovups %ymm1, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: vmovups %ymm1, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: vmovaps %xmm0, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movq %r9, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movq %r8, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movq %rcx, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movq %rdx, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movq %rsi, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movq %rdi, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movl %r10d, %ecx ; AVX2-NEXT: shrl $3, %ecx ; AVX2-NEXT: andl $56, %ecx ; AVX2-NEXT: movq -128(%rsp,%rcx), %rax ; AVX2-NEXT: movq -120(%rsp,%rcx), %rdx ; AVX2-NEXT: movl %r10d, %ecx ; AVX2-NEXT: shrdq %cl, %rdx, %rax ; AVX2-NEXT: popq %rcx ; AVX2-NEXT: vzeroupper ; AVX2-NEXT: retq ; ; AVX512F-LABEL: lshr_extract_i512_i64: ; AVX512F: # %bb.0: ; AVX512F-NEXT: pushq %rax ; AVX512F-NEXT: movq {{[0-9]+}}(%rsp), %r10 ; AVX512F-NEXT: vmovaps {{[0-9]+}}(%rsp), %xmm0 ; AVX512F-NEXT: vxorps %xmm1, %xmm1, %xmm1 ; AVX512F-NEXT: vmovups %zmm1, -{{[0-9]+}}(%rsp) ; AVX512F-NEXT: vmovaps %xmm0, -{{[0-9]+}}(%rsp) ; AVX512F-NEXT: movq %r9, -{{[0-9]+}}(%rsp) ; AVX512F-NEXT: movq %r8, -{{[0-9]+}}(%rsp) ; AVX512F-NEXT: movq %rcx, -{{[0-9]+}}(%rsp) ; AVX512F-NEXT: movq %rdx, -{{[0-9]+}}(%rsp) ; AVX512F-NEXT: movq %rsi, -{{[0-9]+}}(%rsp) ; AVX512F-NEXT: movq %rdi, -{{[0-9]+}}(%rsp) ; AVX512F-NEXT: movl %r10d, %ecx ; AVX512F-NEXT: shrl $3, %ecx ; AVX512F-NEXT: andl $56, %ecx ; AVX512F-NEXT: movq -128(%rsp,%rcx), %rax ; AVX512F-NEXT: movq -120(%rsp,%rcx), %rdx ; AVX512F-NEXT: movl %r10d, %ecx ; AVX512F-NEXT: shrdq %cl, %rdx, %rax ; AVX512F-NEXT: popq %rcx ; AVX512F-NEXT: retq ; ; AVX512VL-LABEL: lshr_extract_i512_i64: ; AVX512VL: # %bb.0: ; AVX512VL-NEXT: pushq %rax ; AVX512VL-NEXT: movq {{[0-9]+}}(%rsp), %r10 ; AVX512VL-NEXT: vmovaps {{[0-9]+}}(%rsp), %xmm0 ; AVX512VL-NEXT: vxorps %xmm1, %xmm1, %xmm1 ; AVX512VL-NEXT: vmovups %ymm1, -{{[0-9]+}}(%rsp) ; AVX512VL-NEXT: vmovups %ymm1, -{{[0-9]+}}(%rsp) ; AVX512VL-NEXT: vmovaps %xmm0, -{{[0-9]+}}(%rsp) ; AVX512VL-NEXT: movq %r9, -{{[0-9]+}}(%rsp) ; AVX512VL-NEXT: movq %r8, -{{[0-9]+}}(%rsp) ; AVX512VL-NEXT: movq %rcx, -{{[0-9]+}}(%rsp) ; AVX512VL-NEXT: movq %rdx, -{{[0-9]+}}(%rsp) ; AVX512VL-NEXT: movq %rsi, -{{[0-9]+}}(%rsp) ; AVX512VL-NEXT: movq %rdi, -{{[0-9]+}}(%rsp) ; AVX512VL-NEXT: movl %r10d, %ecx ; AVX512VL-NEXT: shrl $3, %ecx ; AVX512VL-NEXT: andl $56, %ecx ; AVX512VL-NEXT: movq -128(%rsp,%rcx), %rax ; AVX512VL-NEXT: movq -120(%rsp,%rcx), %rdx ; AVX512VL-NEXT: movl %r10d, %ecx ; AVX512VL-NEXT: shrdq %cl, %rdx, %rax ; AVX512VL-NEXT: popq %rcx ; AVX512VL-NEXT: vzeroupper ; AVX512VL-NEXT: retq ; ; AVX512VBMI-LABEL: lshr_extract_i512_i64: ; AVX512VBMI: # %bb.0: ; AVX512VBMI-NEXT: pushq %rax ; AVX512VBMI-NEXT: movq {{[0-9]+}}(%rsp), %r10 ; AVX512VBMI-NEXT: vmovaps {{[0-9]+}}(%rsp), %xmm0 ; AVX512VBMI-NEXT: vxorps %xmm1, %xmm1, %xmm1 ; AVX512VBMI-NEXT: vmovups %ymm1, -{{[0-9]+}}(%rsp) ; AVX512VBMI-NEXT: vmovups %ymm1, -{{[0-9]+}}(%rsp) ; AVX512VBMI-NEXT: vmovaps %xmm0, -{{[0-9]+}}(%rsp) ; AVX512VBMI-NEXT: movq %r9, -{{[0-9]+}}(%rsp) ; AVX512VBMI-NEXT: movq %r8, -{{[0-9]+}}(%rsp) ; AVX512VBMI-NEXT: movq %rcx, -{{[0-9]+}}(%rsp) ; AVX512VBMI-NEXT: movq %rdx, -{{[0-9]+}}(%rsp) ; AVX512VBMI-NEXT: movq %rsi, -{{[0-9]+}}(%rsp) ; AVX512VBMI-NEXT: movq %rdi, -{{[0-9]+}}(%rsp) ; AVX512VBMI-NEXT: movl %r10d, %ecx ; AVX512VBMI-NEXT: shrl $3, %ecx ; AVX512VBMI-NEXT: andl $56, %ecx ; AVX512VBMI-NEXT: movq -128(%rsp,%rcx), %rax ; AVX512VBMI-NEXT: movq -120(%rsp,%rcx), %rdx ; AVX512VBMI-NEXT: movl %r10d, %ecx ; AVX512VBMI-NEXT: shrdq %cl, %rdx, %rax ; AVX512VBMI-NEXT: popq %rcx ; AVX512VBMI-NEXT: vzeroupper ; AVX512VBMI-NEXT: retq %b = lshr i512 %a0, %a1 %r = trunc i512 %b to i64 ret i64 %r } define i64 @ashr_extract_i512_i64(i512 %a0, i512 %a1) nounwind { ; SSE-LABEL: ashr_extract_i512_i64: ; SSE: # %bb.0: ; SSE-NEXT: pushq %rax ; SSE-NEXT: movl {{[0-9]+}}(%rsp), %r10d ; SSE-NEXT: movq {{[0-9]+}}(%rsp), %rax ; SSE-NEXT: movq {{[0-9]+}}(%rsp), %r11 ; SSE-NEXT: movq %r11, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq %rax, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq %r9, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq %r8, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq %rcx, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq %rdx, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq %rsi, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq %rdi, -{{[0-9]+}}(%rsp) ; SSE-NEXT: sarq $63, %r11 ; SSE-NEXT: movq %r11, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq %r11, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq %r11, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq %r11, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq %r11, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq %r11, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq %r11, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq %r11, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movl %r10d, %ecx ; SSE-NEXT: shrl $3, %ecx ; SSE-NEXT: andl $56, %ecx ; SSE-NEXT: movq -128(%rsp,%rcx), %rax ; SSE-NEXT: movq -120(%rsp,%rcx), %rdx ; SSE-NEXT: movl %r10d, %ecx ; SSE-NEXT: shrdq %cl, %rdx, %rax ; SSE-NEXT: popq %rcx ; SSE-NEXT: retq ; ; AVX2-LABEL: ashr_extract_i512_i64: ; AVX2: # %bb.0: ; AVX2-NEXT: pushq %rax ; AVX2-NEXT: movl {{[0-9]+}}(%rsp), %r10d ; AVX2-NEXT: movq {{[0-9]+}}(%rsp), %rax ; AVX2-NEXT: movq {{[0-9]+}}(%rsp), %r11 ; AVX2-NEXT: movq %r11, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movq %rax, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movq %r9, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movq %r8, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movq %rcx, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movq %rdx, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movq %rsi, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movq %rdi, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: sarq $63, %r11 ; AVX2-NEXT: movq %r11, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movq %r11, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movq %r11, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movq %r11, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movq %r11, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movq %r11, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movq %r11, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movq %r11, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movl %r10d, %ecx ; AVX2-NEXT: shrl $3, %ecx ; AVX2-NEXT: andl $56, %ecx ; AVX2-NEXT: movq -128(%rsp,%rcx), %rax ; AVX2-NEXT: movq -120(%rsp,%rcx), %rdx ; AVX2-NEXT: movl %r10d, %ecx ; AVX2-NEXT: shrdq %cl, %rdx, %rax ; AVX2-NEXT: popq %rcx ; AVX2-NEXT: retq ; ; AVX512-LABEL: ashr_extract_i512_i64: ; AVX512: # %bb.0: ; AVX512-NEXT: pushq %rax ; AVX512-NEXT: movq %rcx, %rax ; AVX512-NEXT: movq {{[0-9]+}}(%rsp), %rcx ; AVX512-NEXT: movq {{[0-9]+}}(%rsp), %r10 ; AVX512-NEXT: movq {{[0-9]+}}(%rsp), %r11 ; AVX512-NEXT: movq %r11, -{{[0-9]+}}(%rsp) ; AVX512-NEXT: movq %r10, -{{[0-9]+}}(%rsp) ; AVX512-NEXT: movq %r9, -{{[0-9]+}}(%rsp) ; AVX512-NEXT: movq %r8, -{{[0-9]+}}(%rsp) ; AVX512-NEXT: movq %rax, -{{[0-9]+}}(%rsp) ; AVX512-NEXT: movq %rdx, -{{[0-9]+}}(%rsp) ; AVX512-NEXT: movq %rsi, -{{[0-9]+}}(%rsp) ; AVX512-NEXT: movq %rdi, -{{[0-9]+}}(%rsp) ; AVX512-NEXT: sarq $63, %r11 ; AVX512-NEXT: movq %r11, -{{[0-9]+}}(%rsp) ; AVX512-NEXT: movq %r11, -{{[0-9]+}}(%rsp) ; AVX512-NEXT: movq %r11, -{{[0-9]+}}(%rsp) ; AVX512-NEXT: movq %r11, -{{[0-9]+}}(%rsp) ; AVX512-NEXT: movq %r11, -{{[0-9]+}}(%rsp) ; AVX512-NEXT: movq %r11, -{{[0-9]+}}(%rsp) ; AVX512-NEXT: movq %r11, -{{[0-9]+}}(%rsp) ; AVX512-NEXT: movq %r11, -{{[0-9]+}}(%rsp) ; AVX512-NEXT: movl %ecx, %edx ; AVX512-NEXT: shrl $3, %edx ; AVX512-NEXT: andl $56, %edx ; AVX512-NEXT: movq -128(%rsp,%rdx), %rax ; AVX512-NEXT: movq -120(%rsp,%rdx), %rdx ; AVX512-NEXT: # kill: def $cl killed $cl killed $rcx ; AVX512-NEXT: shrdq %cl, %rdx, %rax ; AVX512-NEXT: popq %rcx ; AVX512-NEXT: retq %b = ashr i512 %a0, %a1 %r = trunc i512 %b to i64 ret i64 %r } define i64 @lshr_extract_load_i512_i64(ptr %p0, i512 %a1) nounwind { ; SSE-LABEL: lshr_extract_load_i512_i64: ; SSE: # %bb.0: ; SSE-NEXT: pushq %rax ; SSE-NEXT: movq %rsi, %rcx ; SSE-NEXT: movaps (%rdi), %xmm0 ; SSE-NEXT: movaps 16(%rdi), %xmm1 ; SSE-NEXT: movaps 32(%rdi), %xmm2 ; SSE-NEXT: movaps 48(%rdi), %xmm3 ; SSE-NEXT: xorps %xmm4, %xmm4 ; SSE-NEXT: movaps %xmm4, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movaps %xmm4, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movaps %xmm4, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movaps %xmm4, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movaps %xmm3, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movaps %xmm2, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movaps %xmm1, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movaps %xmm0, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movl %ecx, %edx ; SSE-NEXT: shrl $3, %edx ; SSE-NEXT: andl $56, %edx ; SSE-NEXT: movq -128(%rsp,%rdx), %rax ; SSE-NEXT: movq -120(%rsp,%rdx), %rdx ; SSE-NEXT: # kill: def $cl killed $cl killed $rcx ; SSE-NEXT: shrdq %cl, %rdx, %rax ; SSE-NEXT: popq %rcx ; SSE-NEXT: retq ; ; AVX2-LABEL: lshr_extract_load_i512_i64: ; AVX2: # %bb.0: ; AVX2-NEXT: pushq %rax ; AVX2-NEXT: movq %rsi, %rcx ; AVX2-NEXT: vmovups (%rdi), %ymm0 ; AVX2-NEXT: vmovups 32(%rdi), %ymm1 ; AVX2-NEXT: vxorps %xmm2, %xmm2, %xmm2 ; AVX2-NEXT: vmovups %ymm2, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: vmovups %ymm2, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: vmovups %ymm1, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: vmovups %ymm0, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movl %ecx, %edx ; AVX2-NEXT: shrl $3, %edx ; AVX2-NEXT: andl $56, %edx ; AVX2-NEXT: movq -128(%rsp,%rdx), %rax ; AVX2-NEXT: movq -120(%rsp,%rdx), %rdx ; AVX2-NEXT: # kill: def $cl killed $cl killed $rcx ; AVX2-NEXT: shrdq %cl, %rdx, %rax ; AVX2-NEXT: popq %rcx ; AVX2-NEXT: vzeroupper ; AVX2-NEXT: retq ; ; AVX512F-LABEL: lshr_extract_load_i512_i64: ; AVX512F: # %bb.0: ; AVX512F-NEXT: movq %rsi, %rcx ; AVX512F-NEXT: vmovdqu64 (%rdi), %zmm0 ; AVX512F-NEXT: movl %ecx, %eax ; AVX512F-NEXT: shrl $6, %eax ; AVX512F-NEXT: movl $-1, %edx ; AVX512F-NEXT: shlxl %eax, %edx, %eax ; AVX512F-NEXT: kmovw %eax, %k1 ; AVX512F-NEXT: vpcompressq %zmm0, %zmm0 {%k1} {z} ; AVX512F-NEXT: vpextrq $1, %xmm0, %rdx ; AVX512F-NEXT: vmovq %xmm0, %rax ; AVX512F-NEXT: # kill: def $cl killed $cl killed $rcx ; AVX512F-NEXT: shrdq %cl, %rdx, %rax ; AVX512F-NEXT: retq ; ; AVX512VL-LABEL: lshr_extract_load_i512_i64: ; AVX512VL: # %bb.0: ; AVX512VL-NEXT: movq %rsi, %rcx ; AVX512VL-NEXT: vmovdqu64 (%rdi), %zmm0 ; AVX512VL-NEXT: movl %ecx, %eax ; AVX512VL-NEXT: shrl $6, %eax ; AVX512VL-NEXT: movl $-1, %edx ; AVX512VL-NEXT: shlxl %eax, %edx, %eax ; AVX512VL-NEXT: kmovd %eax, %k1 ; AVX512VL-NEXT: vpcompressq %zmm0, %zmm0 {%k1} {z} ; AVX512VL-NEXT: vpextrq $1, %xmm0, %rdx ; AVX512VL-NEXT: vmovq %xmm0, %rax ; AVX512VL-NEXT: # kill: def $cl killed $cl killed $rcx ; AVX512VL-NEXT: shrdq %cl, %rdx, %rax ; AVX512VL-NEXT: vzeroupper ; AVX512VL-NEXT: retq ; ; AVX512VBMI-LABEL: lshr_extract_load_i512_i64: ; AVX512VBMI: # %bb.0: ; AVX512VBMI-NEXT: movq %rsi, %rcx ; AVX512VBMI-NEXT: vmovdqu64 (%rdi), %zmm0 ; AVX512VBMI-NEXT: movl %ecx, %eax ; AVX512VBMI-NEXT: shrl $6, %eax ; AVX512VBMI-NEXT: movl $-1, %edx ; AVX512VBMI-NEXT: shlxl %eax, %edx, %eax ; AVX512VBMI-NEXT: kmovd %eax, %k1 ; AVX512VBMI-NEXT: vpcompressq %zmm0, %zmm0 {%k1} {z} ; AVX512VBMI-NEXT: vpextrq $1, %xmm0, %rdx ; AVX512VBMI-NEXT: vmovq %xmm0, %rax ; AVX512VBMI-NEXT: # kill: def $cl killed $cl killed $rcx ; AVX512VBMI-NEXT: shrdq %cl, %rdx, %rax ; AVX512VBMI-NEXT: vzeroupper ; AVX512VBMI-NEXT: retq %a0 = load i512, ptr %p0 %b = lshr i512 %a0, %a1 %r = trunc i512 %b to i64 ret i64 %r } define i64 @ashr_extract_load_i512_i64(ptr %p0, i512 %a1) nounwind { ; SSE-LABEL: ashr_extract_load_i512_i64: ; SSE: # %bb.0: ; SSE-NEXT: pushq %rax ; SSE-NEXT: movq %rsi, %rcx ; SSE-NEXT: movaps (%rdi), %xmm0 ; SSE-NEXT: movaps 16(%rdi), %xmm1 ; SSE-NEXT: movaps 32(%rdi), %xmm2 ; SSE-NEXT: movq 48(%rdi), %rax ; SSE-NEXT: movq 56(%rdi), %rdx ; SSE-NEXT: movq %rdx, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq %rax, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movaps %xmm2, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movaps %xmm1, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movaps %xmm0, -{{[0-9]+}}(%rsp) ; SSE-NEXT: sarq $63, %rdx ; SSE-NEXT: movq %rdx, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq %rdx, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq %rdx, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq %rdx, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq %rdx, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq %rdx, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq %rdx, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq %rdx, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movl %ecx, %edx ; SSE-NEXT: shrl $3, %edx ; SSE-NEXT: andl $56, %edx ; SSE-NEXT: movq -128(%rsp,%rdx), %rax ; SSE-NEXT: movq -120(%rsp,%rdx), %rdx ; SSE-NEXT: # kill: def $cl killed $cl killed $rcx ; SSE-NEXT: shrdq %cl, %rdx, %rax ; SSE-NEXT: popq %rcx ; SSE-NEXT: retq ; ; AVX2-LABEL: ashr_extract_load_i512_i64: ; AVX2: # %bb.0: ; AVX2-NEXT: pushq %rax ; AVX2-NEXT: movq %rsi, %rcx ; AVX2-NEXT: vmovups (%rdi), %ymm0 ; AVX2-NEXT: vmovaps 32(%rdi), %xmm1 ; AVX2-NEXT: movq 48(%rdi), %rax ; AVX2-NEXT: movq 56(%rdi), %rdx ; AVX2-NEXT: movq %rdx, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: vmovaps %xmm1, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movq %rax, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: vmovups %ymm0, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: sarq $63, %rdx ; AVX2-NEXT: movq %rdx, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movq %rdx, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movq %rdx, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movq %rdx, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movq %rdx, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movq %rdx, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movq %rdx, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movq %rdx, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movl %ecx, %edx ; AVX2-NEXT: shrl $3, %edx ; AVX2-NEXT: andl $56, %edx ; AVX2-NEXT: movq -128(%rsp,%rdx), %rax ; AVX2-NEXT: movq -120(%rsp,%rdx), %rdx ; AVX2-NEXT: # kill: def $cl killed $cl killed $rcx ; AVX2-NEXT: shrdq %cl, %rdx, %rax ; AVX2-NEXT: popq %rcx ; AVX2-NEXT: vzeroupper ; AVX2-NEXT: retq ; ; AVX512F-LABEL: ashr_extract_load_i512_i64: ; AVX512F: # %bb.0: ; AVX512F-NEXT: movq %rsi, %rcx ; AVX512F-NEXT: vmovdqu64 (%rdi), %zmm0 ; AVX512F-NEXT: vpsraq $63, %zmm0, %zmm1 ; AVX512F-NEXT: vpbroadcastq {{.*#+}} zmm2 = [7,7,7,7,7,7,7,7] ; AVX512F-NEXT: vpermq %zmm1, %zmm2, %zmm1 ; AVX512F-NEXT: movl %ecx, %eax ; AVX512F-NEXT: shrl $6, %eax ; AVX512F-NEXT: movl $-1, %edx ; AVX512F-NEXT: shlxl %eax, %edx, %eax ; AVX512F-NEXT: kmovw %eax, %k1 ; AVX512F-NEXT: vpcompressq %zmm0, %zmm1 {%k1} ; AVX512F-NEXT: vpextrq $1, %xmm1, %rdx ; AVX512F-NEXT: vmovq %xmm1, %rax ; AVX512F-NEXT: # kill: def $cl killed $cl killed $rcx ; AVX512F-NEXT: shrdq %cl, %rdx, %rax ; AVX512F-NEXT: retq ; ; AVX512VL-LABEL: ashr_extract_load_i512_i64: ; AVX512VL: # %bb.0: ; AVX512VL-NEXT: vmovdqu64 (%rdi), %zmm0 ; AVX512VL-NEXT: movq %rsi, %rcx ; AVX512VL-NEXT: vpsraq $63, %zmm0, %zmm1 ; AVX512VL-NEXT: vpbroadcastq {{.*#+}} zmm2 = [7,7,7,7,7,7,7,7] ; AVX512VL-NEXT: vpermq %zmm1, %zmm2, %zmm1 ; AVX512VL-NEXT: movl %ecx, %eax ; AVX512VL-NEXT: shrl $6, %eax ; AVX512VL-NEXT: movl $-1, %edx ; AVX512VL-NEXT: shlxl %eax, %edx, %eax ; AVX512VL-NEXT: kmovd %eax, %k1 ; AVX512VL-NEXT: vpcompressq %zmm0, %zmm1 {%k1} ; AVX512VL-NEXT: vpextrq $1, %xmm1, %rdx ; AVX512VL-NEXT: vmovq %xmm1, %rax ; AVX512VL-NEXT: # kill: def $cl killed $cl killed $rcx ; AVX512VL-NEXT: shrdq %cl, %rdx, %rax ; AVX512VL-NEXT: vzeroupper ; AVX512VL-NEXT: retq ; ; AVX512VBMI-LABEL: ashr_extract_load_i512_i64: ; AVX512VBMI: # %bb.0: ; AVX512VBMI-NEXT: vmovdqu64 (%rdi), %zmm0 ; AVX512VBMI-NEXT: movq %rsi, %rcx ; AVX512VBMI-NEXT: vpsraq $63, %zmm0, %zmm1 ; AVX512VBMI-NEXT: vpbroadcastq {{.*#+}} zmm2 = [7,7,7,7,7,7,7,7] ; AVX512VBMI-NEXT: vpermq %zmm1, %zmm2, %zmm1 ; AVX512VBMI-NEXT: movl %ecx, %eax ; AVX512VBMI-NEXT: shrl $6, %eax ; AVX512VBMI-NEXT: movl $-1, %edx ; AVX512VBMI-NEXT: shlxl %eax, %edx, %eax ; AVX512VBMI-NEXT: kmovd %eax, %k1 ; AVX512VBMI-NEXT: vpcompressq %zmm0, %zmm1 {%k1} ; AVX512VBMI-NEXT: vpextrq $1, %xmm1, %rdx ; AVX512VBMI-NEXT: vmovq %xmm1, %rax ; AVX512VBMI-NEXT: # kill: def $cl killed $cl killed $rcx ; AVX512VBMI-NEXT: shrdq %cl, %rdx, %rax ; AVX512VBMI-NEXT: vzeroupper ; AVX512VBMI-NEXT: retq %a0 = load i512, ptr %p0 %b = ashr i512 %a0, %a1 %r = trunc i512 %b to i64 ret i64 %r } define i64 @lshr_extract_idx_load_i512_i64(ptr %p0, i512 %a1) nounwind { ; SSE-LABEL: lshr_extract_idx_load_i512_i64: ; SSE: # %bb.0: ; SSE-NEXT: pushq %rax ; SSE-NEXT: movaps (%rdi), %xmm0 ; SSE-NEXT: movaps 16(%rdi), %xmm1 ; SSE-NEXT: movaps 32(%rdi), %xmm2 ; SSE-NEXT: movaps 48(%rdi), %xmm3 ; SSE-NEXT: xorps %xmm4, %xmm4 ; SSE-NEXT: movaps %xmm4, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movaps %xmm4, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movaps %xmm4, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movaps %xmm4, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movaps %xmm3, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movaps %xmm2, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movaps %xmm1, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movaps %xmm0, -{{[0-9]+}}(%rsp) ; SSE-NEXT: andl $7, %esi ; SSE-NEXT: movq -128(%rsp,%rsi,8), %rax ; SSE-NEXT: popq %rcx ; SSE-NEXT: retq ; ; AVX2-LABEL: lshr_extract_idx_load_i512_i64: ; AVX2: # %bb.0: ; AVX2-NEXT: pushq %rax ; AVX2-NEXT: vmovups (%rdi), %ymm0 ; AVX2-NEXT: vmovups 32(%rdi), %ymm1 ; AVX2-NEXT: vxorps %xmm2, %xmm2, %xmm2 ; AVX2-NEXT: vmovups %ymm2, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: vmovups %ymm2, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: vmovups %ymm1, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: vmovups %ymm0, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: andl $7, %esi ; AVX2-NEXT: movq -128(%rsp,%rsi,8), %rax ; AVX2-NEXT: popq %rcx ; AVX2-NEXT: vzeroupper ; AVX2-NEXT: retq ; ; AVX512F-LABEL: lshr_extract_idx_load_i512_i64: ; AVX512F: # %bb.0: ; AVX512F-NEXT: vmovdqu64 (%rdi), %zmm0 ; AVX512F-NEXT: movl $-1, %eax ; AVX512F-NEXT: shlxl %esi, %eax, %eax ; AVX512F-NEXT: kmovw %eax, %k1 ; AVX512F-NEXT: vpcompressq %zmm0, %zmm0 {%k1} {z} ; AVX512F-NEXT: vmovq %xmm0, %rax ; AVX512F-NEXT: retq ; ; AVX512VL-LABEL: lshr_extract_idx_load_i512_i64: ; AVX512VL: # %bb.0: ; AVX512VL-NEXT: vmovdqu64 (%rdi), %zmm0 ; AVX512VL-NEXT: movl $-1, %eax ; AVX512VL-NEXT: shlxl %esi, %eax, %eax ; AVX512VL-NEXT: kmovd %eax, %k1 ; AVX512VL-NEXT: vpcompressq %zmm0, %zmm0 {%k1} {z} ; AVX512VL-NEXT: vmovq %xmm0, %rax ; AVX512VL-NEXT: vzeroupper ; AVX512VL-NEXT: retq ; ; AVX512VBMI-LABEL: lshr_extract_idx_load_i512_i64: ; AVX512VBMI: # %bb.0: ; AVX512VBMI-NEXT: vmovdqu64 (%rdi), %zmm0 ; AVX512VBMI-NEXT: movl $-1, %eax ; AVX512VBMI-NEXT: shlxl %esi, %eax, %eax ; AVX512VBMI-NEXT: kmovd %eax, %k1 ; AVX512VBMI-NEXT: vpcompressq %zmm0, %zmm0 {%k1} {z} ; AVX512VBMI-NEXT: vmovq %xmm0, %rax ; AVX512VBMI-NEXT: vzeroupper ; AVX512VBMI-NEXT: retq %a0 = load i512, ptr %p0 %m1 = mul i512 %a1, 64 %b = lshr i512 %a0, %m1 %r = trunc i512 %b to i64 ret i64 %r } define i64 @ashr_extract_idx_load_i512_i64(ptr %p0, i512 %a1) nounwind { ; SSE-LABEL: ashr_extract_idx_load_i512_i64: ; SSE: # %bb.0: ; SSE-NEXT: pushq %rax ; SSE-NEXT: movaps (%rdi), %xmm0 ; SSE-NEXT: movaps 16(%rdi), %xmm1 ; SSE-NEXT: movaps 32(%rdi), %xmm2 ; SSE-NEXT: movq 48(%rdi), %rax ; SSE-NEXT: movq 56(%rdi), %rcx ; SSE-NEXT: movq %rcx, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq %rax, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movaps %xmm2, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movaps %xmm1, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movaps %xmm0, -{{[0-9]+}}(%rsp) ; SSE-NEXT: sarq $63, %rcx ; SSE-NEXT: movq %rcx, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq %rcx, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq %rcx, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq %rcx, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq %rcx, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq %rcx, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq %rcx, -{{[0-9]+}}(%rsp) ; SSE-NEXT: movq %rcx, -{{[0-9]+}}(%rsp) ; SSE-NEXT: andl $7, %esi ; SSE-NEXT: movq -128(%rsp,%rsi,8), %rax ; SSE-NEXT: popq %rcx ; SSE-NEXT: retq ; ; AVX2-LABEL: ashr_extract_idx_load_i512_i64: ; AVX2: # %bb.0: ; AVX2-NEXT: pushq %rax ; AVX2-NEXT: vmovups (%rdi), %ymm0 ; AVX2-NEXT: vmovaps 32(%rdi), %xmm1 ; AVX2-NEXT: movq 48(%rdi), %rax ; AVX2-NEXT: movq 56(%rdi), %rcx ; AVX2-NEXT: movq %rcx, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: vmovaps %xmm1, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: vmovups %ymm0, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movq %rax, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: sarq $63, %rcx ; AVX2-NEXT: movq %rcx, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movq %rcx, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movq %rcx, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movq %rcx, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movq %rcx, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movq %rcx, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movq %rcx, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: movq %rcx, -{{[0-9]+}}(%rsp) ; AVX2-NEXT: andl $7, %esi ; AVX2-NEXT: movq -128(%rsp,%rsi,8), %rax ; AVX2-NEXT: popq %rcx ; AVX2-NEXT: vzeroupper ; AVX2-NEXT: retq ; ; AVX512F-LABEL: ashr_extract_idx_load_i512_i64: ; AVX512F: # %bb.0: ; AVX512F-NEXT: vmovdqu64 (%rdi), %zmm0 ; AVX512F-NEXT: vpsraq $63, %zmm0, %zmm1 ; AVX512F-NEXT: vpbroadcastq {{.*#+}} zmm2 = [7,7,7,7,7,7,7,7] ; AVX512F-NEXT: vpermq %zmm1, %zmm2, %zmm1 ; AVX512F-NEXT: movl $-1, %eax ; AVX512F-NEXT: shlxl %esi, %eax, %eax ; AVX512F-NEXT: kmovw %eax, %k1 ; AVX512F-NEXT: vpcompressq %zmm0, %zmm1 {%k1} ; AVX512F-NEXT: vmovq %xmm1, %rax ; AVX512F-NEXT: retq ; ; AVX512VL-LABEL: ashr_extract_idx_load_i512_i64: ; AVX512VL: # %bb.0: ; AVX512VL-NEXT: vmovdqu64 (%rdi), %zmm0 ; AVX512VL-NEXT: vpsraq $63, %zmm0, %zmm1 ; AVX512VL-NEXT: vpbroadcastq {{.*#+}} zmm2 = [7,7,7,7,7,7,7,7] ; AVX512VL-NEXT: vpermq %zmm1, %zmm2, %zmm1 ; AVX512VL-NEXT: movl $-1, %eax ; AVX512VL-NEXT: shlxl %esi, %eax, %eax ; AVX512VL-NEXT: kmovd %eax, %k1 ; AVX512VL-NEXT: vpcompressq %zmm0, %zmm1 {%k1} ; AVX512VL-NEXT: vmovq %xmm1, %rax ; AVX512VL-NEXT: vzeroupper ; AVX512VL-NEXT: retq ; ; AVX512VBMI-LABEL: ashr_extract_idx_load_i512_i64: ; AVX512VBMI: # %bb.0: ; AVX512VBMI-NEXT: vmovdqu64 (%rdi), %zmm0 ; AVX512VBMI-NEXT: vpsraq $63, %zmm0, %zmm1 ; AVX512VBMI-NEXT: vpbroadcastq {{.*#+}} zmm2 = [7,7,7,7,7,7,7,7] ; AVX512VBMI-NEXT: vpermq %zmm1, %zmm2, %zmm1 ; AVX512VBMI-NEXT: movl $-1, %eax ; AVX512VBMI-NEXT: shlxl %esi, %eax, %eax ; AVX512VBMI-NEXT: kmovd %eax, %k1 ; AVX512VBMI-NEXT: vpcompressq %zmm0, %zmm1 {%k1} ; AVX512VBMI-NEXT: vmovq %xmm1, %rax ; AVX512VBMI-NEXT: vzeroupper ; AVX512VBMI-NEXT: retq %a0 = load i512, ptr %p0 %m1 = mul i512 %a1, 64 %b = ashr i512 %a0, %m1 %r = trunc i512 %b to i64 ret i64 %r }