#include "arm_asm.h"
// Copyright 2022-2025 The OpenSSL Project Authors. All Rights Reserved.
//
// Licensed under the Apache License 2.0 (the "License").  You may not use
// this file except in compliance with the License.  You can obtain a copy
// in the file LICENSE in the source distribution or at
// https://www.openssl.org/source/license.html

//
// This module implements support for SM4 hw support on aarch64
// Oct 2021
//

// $output is the last argument if it looks like a file (it has an extension)
// $flavour is the first argument if it doesn't look like a file
#include "arm_arch.h"
.arch	armv8-a+crypto
.text

.section	.rodata
.type	_sm4_v8_consts,%object
.align	6
_sm4_v8_consts:
.Lck:
.long	0x00070E15, 0x1C232A31, 0x383F464D, 0x545B6269
.long	0x70777E85, 0x8C939AA1, 0xA8AFB6BD, 0xC4CBD2D9
.long	0xE0E7EEF5, 0xFC030A11, 0x181F262D, 0x343B4249
.long	0x50575E65, 0x6C737A81, 0x888F969D, 0xA4ABB2B9
.long	0xC0C7CED5, 0xDCE3EAF1, 0xF8FF060D, 0x141B2229
.long	0x30373E45, 0x4C535A61, 0x686F767D, 0x848B9299
.long	0xA0A7AEB5, 0xBCC3CAD1, 0xD8DFE6ED, 0xF4FB0209
.long	0x10171E25, 0x2C333A41, 0x484F565D, 0x646B7279
.Lfk:
.long	0xa3b1bac6, 0x56aa3350, 0x677d9197, 0xb27022dc
.size	_sm4_v8_consts,.-_sm4_v8_consts
.previous

.globl	sm4_v8_set_encrypt_key
.type	sm4_v8_set_encrypt_key,%function
.align	5
sm4_v8_set_encrypt_key:
	AARCH64_VALID_CALL_TARGET
	ld1	{v0.4s},[x0]
	adrp	x2,.Lfk
	add	x2,x2,#:lo12:.Lfk
	ld1	{v24.4s},[x2]
	adrp	x2,.Lck
	add	x2,x2,#:lo12:.Lck
	ld1	{v16.4s,v17.4s,v18.4s,v19.4s},[x2],64
#ifndef __AARCH64EB__
	rev32	v0.16b,v0.16b
#endif
	ld1	{v20.4s,v21.4s,v22.4s,v23.4s},[x2]
	eor	v0.16b,v0.16b,v24.16b;
.inst	0xce70c800	//sm4ekey v0.4S,v0.4S,v16.4S
.inst	0xce71c801	//sm4ekey v1.4S,v0.4S,v17.4S
.inst	0xce72c822	//sm4ekey v2.4S,v1.4S,v18.4S
.inst	0xce73c843	//sm4ekey v3.4S,v2.4S,v19.4S
.inst	0xce74c864	//sm4ekey v4.4S,v3.4S,v20.4S
	st1	{v0.4s,v1.4s,v2.4s,v3.4s},[x1],64
.inst	0xce75c885	//sm4ekey v5.4S,v4.4S,v21.4S
.inst	0xce76c8a6	//sm4ekey v6.4S,v5.4S,v22.4S
.inst	0xce77c8c7	//sm4ekey v7.4S,v6.4S,v23.4S
	st1	{v4.4s,v5.4s,v6.4s,v7.4s},[x1]
	ret
.size	sm4_v8_set_encrypt_key,.-sm4_v8_set_encrypt_key
.globl	sm4_v8_set_decrypt_key
.type	sm4_v8_set_decrypt_key,%function
.align	5
sm4_v8_set_decrypt_key:
	AARCH64_VALID_CALL_TARGET
	ld1	{v7.4s},[x0]
	adrp	x2,.Lfk
	add	x2,x2,#:lo12:.Lfk
	ld1	{v24.4s},[x2]
	adrp	x2,.Lck
	add	x2,x2,#:lo12:.Lck
	ld1	{v16.4s,v17.4s,v18.4s,v19.4s},[x2],64
#ifndef __AARCH64EB__
	rev32	v7.16b,v7.16b
#endif
	ld1	{v20.4s,v21.4s,v22.4s,v23.4s},[x2]
	eor	v7.16b, v7.16b,v24.16b;
.inst	0xce70c8e7	//sm4ekey v7.4S,v7.4S,v16.4S
.inst	0xce71c8e6	//sm4ekey v6.4S,v7.4S,v17.4S
.inst	0xce72c8c5	//sm4ekey v5.4S,v6.4S,v18.4S
	rev64	v7.4s,v7.4s
	rev64	v6.4s,v6.4s
	ext	v7.16b,v7.16b,v7.16b,#8
	ext	v6.16b,v6.16b,v6.16b,#8
.inst	0xce73c8a4	//sm4ekey v4.4S,v5.4S,v19.4S
.inst	0xce74c883	//sm4ekey v3.4S,v4.4S,v20.4S
	rev64	v5.4s,v5.4s
	rev64	v4.4s,v4.4s
	ext	v5.16b,v5.16b,v5.16b,#8
	ext	v4.16b,v4.16b,v4.16b,#8
.inst	0xce75c862	//sm4ekey v2.4S,v3.4S,v21.4S
.inst	0xce76c841	//sm4ekey v1.4S,v2.4S,v22.4S
	rev64	v3.4s,v3.4s
	rev64	v2.4s,v2.4s
	ext	v3.16b,v3.16b,v3.16b,#8
	ext	v2.16b,v2.16b,v2.16b,#8
.inst	0xce77c820	//sm4ekey v0.4S,v1.4S,v23.4S
	rev64	v1.4s, v1.4s
	rev64	v0.4s, v0.4s
	ext	v1.16b,v1.16b,v1.16b,#8
	ext	v0.16b,v0.16b,v0.16b,#8
	st1	{v0.4s,v1.4s,v2.4s,v3.4s},[x1],64
	st1	{v4.4s,v5.4s,v6.4s,v7.4s},[x1]
	ret
.size	sm4_v8_set_decrypt_key,.-sm4_v8_set_decrypt_key
.globl	sm4_v8_encrypt
.type	sm4_v8_encrypt,%function
.align	5
sm4_v8_encrypt:
	AARCH64_VALID_CALL_TARGET
	ld1	{v16.4s},[x0]
	ld1	{v0.4s,v1.4s,v2.4s,v3.4s},[x2],64
	ld1	{v4.4s,v5.4s,v6.4s,v7.4s},[x2]
#ifndef __AARCH64EB__
	rev32	v16.16b,v16.16b
#endif
.inst	0xcec08410	//sm4e v16.4s,v0.4s
.inst	0xcec08430	//sm4e v16.4s,v1.4s
.inst	0xcec08450	//sm4e v16.4s,v2.4s
.inst	0xcec08470	//sm4e v16.4s,v3.4s
.inst	0xcec08490	//sm4e v16.4s,v4.4s
.inst	0xcec084b0	//sm4e v16.4s,v5.4s
.inst	0xcec084d0	//sm4e v16.4s,v6.4s
.inst	0xcec084f0	//sm4e v16.4s,v7.4s
	rev64	v16.4S,v16.4S
	ext	v16.16b,v16.16b,v16.16b,#8
#ifndef __AARCH64EB__
	rev32	v16.16b,v16.16b
#endif
	st1	{v16.4s},[x1]
	ret
.size	sm4_v8_encrypt,.-sm4_v8_encrypt
.globl	sm4_v8_decrypt
.type	sm4_v8_decrypt,%function
.align	5
sm4_v8_decrypt:
	AARCH64_VALID_CALL_TARGET
	ld1	{v16.4s},[x0]
	ld1	{v0.4s,v1.4s,v2.4s,v3.4s},[x2],64
	ld1	{v4.4s,v5.4s,v6.4s,v7.4s},[x2]
#ifndef __AARCH64EB__
	rev32	v16.16b,v16.16b
#endif
.inst	0xcec08410	//sm4e v16.4s,v0.4s
.inst	0xcec08430	//sm4e v16.4s,v1.4s
.inst	0xcec08450	//sm4e v16.4s,v2.4s
.inst	0xcec08470	//sm4e v16.4s,v3.4s
.inst	0xcec08490	//sm4e v16.4s,v4.4s
.inst	0xcec084b0	//sm4e v16.4s,v5.4s
.inst	0xcec084d0	//sm4e v16.4s,v6.4s
.inst	0xcec084f0	//sm4e v16.4s,v7.4s
	rev64	v16.4S,v16.4S
	ext	v16.16b,v16.16b,v16.16b,#8
#ifndef __AARCH64EB__
	rev32	v16.16b,v16.16b
#endif
	st1	{v16.4s},[x1]
	ret
.size	sm4_v8_decrypt,.-sm4_v8_decrypt
.globl	sm4_v8_ecb_encrypt
.type	sm4_v8_ecb_encrypt,%function
.align	5
sm4_v8_ecb_encrypt:
	AARCH64_VALID_CALL_TARGET
	ld1	{v0.4s,v1.4s,v2.4s,v3.4s},[x3],#64
	ld1	{v4.4s,v5.4s,v6.4s,v7.4s},[x3]
1:
	cmp	x2,#64
	b.lt	1f
	ld1	{v16.4s,v17.4s,v18.4s,v19.4s},[x0],#64
	cmp	x2,#128
	b.lt	2f
	ld1	{v20.4s,v21.4s,v22.4s,v23.4s},[x0],#64
	// 8 blocks
#ifndef __AARCH64EB__
	rev32	v16.16b,v16.16b
#endif
#ifndef __AARCH64EB__
	rev32	v17.16b,v17.16b
#endif
#ifndef __AARCH64EB__
	rev32	v18.16b,v18.16b
#endif
#ifndef __AARCH64EB__
	rev32	v19.16b,v19.16b
#endif
#ifndef __AARCH64EB__
	rev32	v20.16b,v20.16b
#endif
#ifndef __AARCH64EB__
	rev32	v21.16b,v21.16b
#endif
#ifndef __AARCH64EB__
	rev32	v22.16b,v22.16b
#endif
#ifndef __AARCH64EB__
	rev32	v23.16b,v23.16b
#endif
.inst	0xcec08410	//sm4e v16.4s,v0.4s
.inst	0xcec08411	//sm4e v17.4s,v0.4s
.inst	0xcec08412	//sm4e v18.4s,v0.4s
.inst	0xcec08413	//sm4e v19.4s,v0.4s

.inst	0xcec08430	//sm4e v16.4s,v1.4s
.inst	0xcec08431	//sm4e v17.4s,v1.4s
.inst	0xcec08432	//sm4e v18.4s,v1.4s
.inst	0xcec08433	//sm4e v19.4s,v1.4s

.inst	0xcec08450	//sm4e v16.4s,v2.4s
.inst	0xcec08451	//sm4e v17.4s,v2.4s
.inst	0xcec08452	//sm4e v18.4s,v2.4s
.inst	0xcec08453	//sm4e v19.4s,v2.4s

.inst	0xcec08470	//sm4e v16.4s,v3.4s
.inst	0xcec08471	//sm4e v17.4s,v3.4s
.inst	0xcec08472	//sm4e v18.4s,v3.4s
.inst	0xcec08473	//sm4e v19.4s,v3.4s

.inst	0xcec08490	//sm4e v16.4s,v4.4s
.inst	0xcec08491	//sm4e v17.4s,v4.4s
.inst	0xcec08492	//sm4e v18.4s,v4.4s
.inst	0xcec08493	//sm4e v19.4s,v4.4s

.inst	0xcec084b0	//sm4e v16.4s,v5.4s
.inst	0xcec084b1	//sm4e v17.4s,v5.4s
.inst	0xcec084b2	//sm4e v18.4s,v5.4s
.inst	0xcec084b3	//sm4e v19.4s,v5.4s

.inst	0xcec084d0	//sm4e v16.4s,v6.4s
.inst	0xcec084d1	//sm4e v17.4s,v6.4s
.inst	0xcec084d2	//sm4e v18.4s,v6.4s
.inst	0xcec084d3	//sm4e v19.4s,v6.4s

.inst	0xcec084f0	//sm4e v16.4s,v7.4s
	rev64	v16.4S,v16.4S
.inst	0xcec084f1	//sm4e v17.4s,v7.4s
	ext	v16.16b,v16.16b,v16.16b,#8
	rev64	v17.4S,v17.4S
.inst	0xcec084f2	//sm4e v18.4s,v7.4s
	ext	v17.16b,v17.16b,v17.16b,#8
	rev64	v18.4S,v18.4S
.inst	0xcec084f3	//sm4e v19.4s,v7.4s
	ext	v18.16b,v18.16b,v18.16b,#8
	rev64	v19.4S,v19.4S
	ext	v19.16b,v19.16b,v19.16b,#8
.inst	0xcec08414	//sm4e v20.4s,v0.4s
.inst	0xcec08415	//sm4e v21.4s,v0.4s
.inst	0xcec08416	//sm4e v22.4s,v0.4s
.inst	0xcec08417	//sm4e v23.4s,v0.4s

.inst	0xcec08434	//sm4e v20.4s,v1.4s
.inst	0xcec08435	//sm4e v21.4s,v1.4s
.inst	0xcec08436	//sm4e v22.4s,v1.4s
.inst	0xcec08437	//sm4e v23.4s,v1.4s

.inst	0xcec08454	//sm4e v20.4s,v2.4s
.inst	0xcec08455	//sm4e v21.4s,v2.4s
.inst	0xcec08456	//sm4e v22.4s,v2.4s
.inst	0xcec08457	//sm4e v23.4s,v2.4s

.inst	0xcec08474	//sm4e v20.4s,v3.4s
.inst	0xcec08475	//sm4e v21.4s,v3.4s
.inst	0xcec08476	//sm4e v22.4s,v3.4s
.inst	0xcec08477	//sm4e v23.4s,v3.4s

.inst	0xcec08494	//sm4e v20.4s,v4.4s
.inst	0xcec08495	//sm4e v21.4s,v4.4s
.inst	0xcec08496	//sm4e v22.4s,v4.4s
.inst	0xcec08497	//sm4e v23.4s,v4.4s

.inst	0xcec084b4	//sm4e v20.4s,v5.4s
.inst	0xcec084b5	//sm4e v21.4s,v5.4s
.inst	0xcec084b6	//sm4e v22.4s,v5.4s
.inst	0xcec084b7	//sm4e v23.4s,v5.4s

.inst	0xcec084d4	//sm4e v20.4s,v6.4s
.inst	0xcec084d5	//sm4e v21.4s,v6.4s
.inst	0xcec084d6	//sm4e v22.4s,v6.4s
.inst	0xcec084d7	//sm4e v23.4s,v6.4s

.inst	0xcec084f4	//sm4e v20.4s,v7.4s
	rev64	v20.4S,v20.4S
.inst	0xcec084f5	//sm4e v21.4s,v7.4s
	ext	v20.16b,v20.16b,v20.16b,#8
	rev64	v21.4S,v21.4S
.inst	0xcec084f6	//sm4e v22.4s,v7.4s
	ext	v21.16b,v21.16b,v21.16b,#8
	rev64	v22.4S,v22.4S
.inst	0xcec084f7	//sm4e v23.4s,v7.4s
	ext	v22.16b,v22.16b,v22.16b,#8
	rev64	v23.4S,v23.4S
	ext	v23.16b,v23.16b,v23.16b,#8
#ifndef __AARCH64EB__
	rev32	v16.16b,v16.16b
#endif
#ifndef __AARCH64EB__
	rev32	v17.16b,v17.16b
#endif
#ifndef __AARCH64EB__
	rev32	v18.16b,v18.16b
#endif
#ifndef __AARCH64EB__
	rev32	v19.16b,v19.16b
#endif
#ifndef __AARCH64EB__
	rev32	v20.16b,v20.16b
#endif
#ifndef __AARCH64EB__
	rev32	v21.16b,v21.16b
#endif
	st1	{v16.4s,v17.4s,v18.4s,v19.4s},[x1],#64
#ifndef __AARCH64EB__
	rev32	v22.16b,v22.16b
#endif
#ifndef __AARCH64EB__
	rev32	v23.16b,v23.16b
#endif
	st1	{v20.4s,v21.4s,v22.4s,v23.4s},[x1],#64
	subs	x2,x2,#128
	b.gt	1b
	ret
	// 4 blocks
2:
#ifndef __AARCH64EB__
	rev32	v16.16b,v16.16b
#endif
#ifndef __AARCH64EB__
	rev32	v17.16b,v17.16b
#endif
#ifndef __AARCH64EB__
	rev32	v18.16b,v18.16b
#endif
#ifndef __AARCH64EB__
	rev32	v19.16b,v19.16b
#endif
.inst	0xcec08410	//sm4e v16.4s,v0.4s
.inst	0xcec08411	//sm4e v17.4s,v0.4s
.inst	0xcec08412	//sm4e v18.4s,v0.4s
.inst	0xcec08413	//sm4e v19.4s,v0.4s

.inst	0xcec08430	//sm4e v16.4s,v1.4s
.inst	0xcec08431	//sm4e v17.4s,v1.4s
.inst	0xcec08432	//sm4e v18.4s,v1.4s
.inst	0xcec08433	//sm4e v19.4s,v1.4s

.inst	0xcec08450	//sm4e v16.4s,v2.4s
.inst	0xcec08451	//sm4e v17.4s,v2.4s
.inst	0xcec08452	//sm4e v18.4s,v2.4s
.inst	0xcec08453	//sm4e v19.4s,v2.4s

.inst	0xcec08470	//sm4e v16.4s,v3.4s
.inst	0xcec08471	//sm4e v17.4s,v3.4s
.inst	0xcec08472	//sm4e v18.4s,v3.4s
.inst	0xcec08473	//sm4e v19.4s,v3.4s

.inst	0xcec08490	//sm4e v16.4s,v4.4s
.inst	0xcec08491	//sm4e v17.4s,v4.4s
.inst	0xcec08492	//sm4e v18.4s,v4.4s
.inst	0xcec08493	//sm4e v19.4s,v4.4s

.inst	0xcec084b0	//sm4e v16.4s,v5.4s
.inst	0xcec084b1	//sm4e v17.4s,v5.4s
.inst	0xcec084b2	//sm4e v18.4s,v5.4s
.inst	0xcec084b3	//sm4e v19.4s,v5.4s

.inst	0xcec084d0	//sm4e v16.4s,v6.4s
.inst	0xcec084d1	//sm4e v17.4s,v6.4s
.inst	0xcec084d2	//sm4e v18.4s,v6.4s
.inst	0xcec084d3	//sm4e v19.4s,v6.4s

.inst	0xcec084f0	//sm4e v16.4s,v7.4s
	rev64	v16.4S,v16.4S
.inst	0xcec084f1	//sm4e v17.4s,v7.4s
	ext	v16.16b,v16.16b,v16.16b,#8
	rev64	v17.4S,v17.4S
.inst	0xcec084f2	//sm4e v18.4s,v7.4s
	ext	v17.16b,v17.16b,v17.16b,#8
	rev64	v18.4S,v18.4S
.inst	0xcec084f3	//sm4e v19.4s,v7.4s
	ext	v18.16b,v18.16b,v18.16b,#8
	rev64	v19.4S,v19.4S
	ext	v19.16b,v19.16b,v19.16b,#8
#ifndef __AARCH64EB__
	rev32	v16.16b,v16.16b
#endif
#ifndef __AARCH64EB__
	rev32	v17.16b,v17.16b
#endif
#ifndef __AARCH64EB__
	rev32	v18.16b,v18.16b
#endif
#ifndef __AARCH64EB__
	rev32	v19.16b,v19.16b
#endif
	st1	{v16.4s,v17.4s,v18.4s,v19.4s},[x1],#64
	subs	x2,x2,#64
	b.gt	1b
1:
	subs	x2,x2,#16
	b.lt	1f
	ld1	{v16.4s},[x0],#16
#ifndef __AARCH64EB__
	rev32	v16.16b,v16.16b
#endif
.inst	0xcec08410	//sm4e v16.4s,v0.4s
.inst	0xcec08430	//sm4e v16.4s,v1.4s
.inst	0xcec08450	//sm4e v16.4s,v2.4s
.inst	0xcec08470	//sm4e v16.4s,v3.4s
.inst	0xcec08490	//sm4e v16.4s,v4.4s
.inst	0xcec084b0	//sm4e v16.4s,v5.4s
.inst	0xcec084d0	//sm4e v16.4s,v6.4s
.inst	0xcec084f0	//sm4e v16.4s,v7.4s
	rev64	v16.4S,v16.4S
	ext	v16.16b,v16.16b,v16.16b,#8
#ifndef __AARCH64EB__
	rev32	v16.16b,v16.16b
#endif
	st1	{v16.4s},[x1],#16
	b.ne	1b
1:
	ret
.size	sm4_v8_ecb_encrypt,.-sm4_v8_ecb_encrypt
.globl	sm4_v8_cbc_encrypt
.type	sm4_v8_cbc_encrypt,%function
.align	5
sm4_v8_cbc_encrypt:
	AARCH64_VALID_CALL_TARGET
	stp	d8,d9,[sp, #-16]!

	ld1	{v0.4s,v1.4s,v2.4s,v3.4s},[x3],#64
	ld1	{v4.4s,v5.4s,v6.4s,v7.4s},[x3]
	ld1	{v8.4s},[x4]
	cmp	w5,#0
	b.eq	.Ldec
1:
	cmp	x2, #64
	b.lt	1f
	ld1	{v16.4s,v17.4s,v18.4s,v19.4s},[x0],#64
	eor	v16.16b,v16.16b,v8.16b
#ifndef __AARCH64EB__
	rev32	v17.16b,v17.16b
#endif
#ifndef __AARCH64EB__
	rev32	v16.16b,v16.16b
#endif
#ifndef __AARCH64EB__
	rev32	v18.16b,v18.16b
#endif
#ifndef __AARCH64EB__
	rev32	v19.16b,v19.16b
#endif
.inst	0xcec08410	//sm4e v16.4s,v0.4s
.inst	0xcec08430	//sm4e v16.4s,v1.4s
.inst	0xcec08450	//sm4e v16.4s,v2.4s
.inst	0xcec08470	//sm4e v16.4s,v3.4s
.inst	0xcec08490	//sm4e v16.4s,v4.4s
.inst	0xcec084b0	//sm4e v16.4s,v5.4s
.inst	0xcec084d0	//sm4e v16.4s,v6.4s
.inst	0xcec084f0	//sm4e v16.4s,v7.4s
	rev64	v16.4S,v16.4S
	ext	v16.16b,v16.16b,v16.16b,#8
	eor	v17.16b,v17.16b,v16.16b
.inst	0xcec08411	//sm4e v17.4s,v0.4s
.inst	0xcec08431	//sm4e v17.4s,v1.4s
.inst	0xcec08451	//sm4e v17.4s,v2.4s
.inst	0xcec08471	//sm4e v17.4s,v3.4s
.inst	0xcec08491	//sm4e v17.4s,v4.4s
.inst	0xcec084b1	//sm4e v17.4s,v5.4s
.inst	0xcec084d1	//sm4e v17.4s,v6.4s
.inst	0xcec084f1	//sm4e v17.4s,v7.4s
	rev64	v17.4S,v17.4S
	ext	v17.16b,v17.16b,v17.16b,#8
#ifndef __AARCH64EB__
	rev32	v16.16b,v16.16b
#endif
	eor	v18.16b,v18.16b,v17.16b
.inst	0xcec08412	//sm4e v18.4s,v0.4s
.inst	0xcec08432	//sm4e v18.4s,v1.4s
.inst	0xcec08452	//sm4e v18.4s,v2.4s
.inst	0xcec08472	//sm4e v18.4s,v3.4s
.inst	0xcec08492	//sm4e v18.4s,v4.4s
.inst	0xcec084b2	//sm4e v18.4s,v5.4s
.inst	0xcec084d2	//sm4e v18.4s,v6.4s
.inst	0xcec084f2	//sm4e v18.4s,v7.4s
	rev64	v18.4S,v18.4S
	ext	v18.16b,v18.16b,v18.16b,#8
#ifndef __AARCH64EB__
	rev32	v17.16b,v17.16b
#endif
	eor	v19.16b,v19.16b,v18.16b
.inst	0xcec08413	//sm4e v19.4s,v0.4s
.inst	0xcec08433	//sm4e v19.4s,v1.4s
.inst	0xcec08453	//sm4e v19.4s,v2.4s
.inst	0xcec08473	//sm4e v19.4s,v3.4s
.inst	0xcec08493	//sm4e v19.4s,v4.4s
.inst	0xcec084b3	//sm4e v19.4s,v5.4s
.inst	0xcec084d3	//sm4e v19.4s,v6.4s
.inst	0xcec084f3	//sm4e v19.4s,v7.4s
	rev64	v19.4S,v19.4S
	ext	v19.16b,v19.16b,v19.16b,#8
#ifndef __AARCH64EB__
	rev32	v18.16b,v18.16b
#endif
#ifndef __AARCH64EB__
	rev32	v19.16b,v19.16b
#endif
	mov	v8.16b,v19.16b
	st1	{v16.4s,v17.4s,v18.4s,v19.4s},[x1],#64
	subs	x2,x2,#64
	b.ne	1b
1:
	subs	x2,x2,#16
	b.lt	3f
	ld1	{v16.4s},[x0],#16
	eor	v8.16b,v8.16b,v16.16b
#ifndef __AARCH64EB__
	rev32	v8.16b,v8.16b
#endif
.inst	0xcec08408	//sm4e v8.4s,v0.4s
.inst	0xcec08428	//sm4e v8.4s,v1.4s
.inst	0xcec08448	//sm4e v8.4s,v2.4s
.inst	0xcec08468	//sm4e v8.4s,v3.4s
.inst	0xcec08488	//sm4e v8.4s,v4.4s
.inst	0xcec084a8	//sm4e v8.4s,v5.4s
.inst	0xcec084c8	//sm4e v8.4s,v6.4s
.inst	0xcec084e8	//sm4e v8.4s,v7.4s
	rev64	v8.4S,v8.4S
	ext	v8.16b,v8.16b,v8.16b,#8
#ifndef __AARCH64EB__
	rev32	v8.16b,v8.16b
#endif
	st1	{v8.4s},[x1],#16
	b.ne	1b
	b	3f
.Ldec:
1:
	cmp	x2, #64
	b.lt	1f
	ld1	{v16.4s,v17.4s,v18.4s,v19.4s},[x0]
	ld1	{v24.4s,v25.4s,v26.4s,v27.4s},[x0],#64
	cmp	x2,#128
	b.lt	2f
	// 8 blocks mode
	ld1	{v20.4s,v21.4s,v22.4s,v23.4s},[x0]
	ld1	{v28.4s,v29.4s,v30.4s,v31.4s},[x0],#64
#ifndef __AARCH64EB__
	rev32	v16.16b,v16.16b
#endif
#ifndef __AARCH64EB__
	rev32	v17.16b,v17.16b
#endif
#ifndef __AARCH64EB__
	rev32	v18.16b,v18.16b
#endif
#ifndef __AARCH64EB__
	rev32	v19.16b,v19.16b
#endif
#ifndef __AARCH64EB__
	rev32	v20.16b,v20.16b
#endif
#ifndef __AARCH64EB__
	rev32	v21.16b,v21.16b
#endif
#ifndef __AARCH64EB__
	rev32	v22.16b,v22.16b
#endif
#ifndef __AARCH64EB__
	rev32	v23.16b,v23.16b
#endif
.inst	0xcec08410	//sm4e v16.4s,v0.4s
.inst	0xcec08411	//sm4e v17.4s,v0.4s
.inst	0xcec08412	//sm4e v18.4s,v0.4s
.inst	0xcec08413	//sm4e v19.4s,v0.4s

.inst	0xcec08430	//sm4e v16.4s,v1.4s
.inst	0xcec08431	//sm4e v17.4s,v1.4s
.inst	0xcec08432	//sm4e v18.4s,v1.4s
.inst	0xcec08433	//sm4e v19.4s,v1.4s

.inst	0xcec08450	//sm4e v16.4s,v2.4s
.inst	0xcec08451	//sm4e v17.4s,v2.4s
.inst	0xcec08452	//sm4e v18.4s,v2.4s
.inst	0xcec08453	//sm4e v19.4s,v2.4s

.inst	0xcec08470	//sm4e v16.4s,v3.4s
.inst	0xcec08471	//sm4e v17.4s,v3.4s
.inst	0xcec08472	//sm4e v18.4s,v3.4s
.inst	0xcec08473	//sm4e v19.4s,v3.4s

.inst	0xcec08490	//sm4e v16.4s,v4.4s
.inst	0xcec08491	//sm4e v17.4s,v4.4s
.inst	0xcec08492	//sm4e v18.4s,v4.4s
.inst	0xcec08493	//sm4e v19.4s,v4.4s

.inst	0xcec084b0	//sm4e v16.4s,v5.4s
.inst	0xcec084b1	//sm4e v17.4s,v5.4s
.inst	0xcec084b2	//sm4e v18.4s,v5.4s
.inst	0xcec084b3	//sm4e v19.4s,v5.4s

.inst	0xcec084d0	//sm4e v16.4s,v6.4s
.inst	0xcec084d1	//sm4e v17.4s,v6.4s
.inst	0xcec084d2	//sm4e v18.4s,v6.4s
.inst	0xcec084d3	//sm4e v19.4s,v6.4s

.inst	0xcec084f0	//sm4e v16.4s,v7.4s
	rev64	v16.4S,v16.4S
.inst	0xcec084f1	//sm4e v17.4s,v7.4s
	ext	v16.16b,v16.16b,v16.16b,#8
	rev64	v17.4S,v17.4S
.inst	0xcec084f2	//sm4e v18.4s,v7.4s
	ext	v17.16b,v17.16b,v17.16b,#8
	rev64	v18.4S,v18.4S
.inst	0xcec084f3	//sm4e v19.4s,v7.4s
	ext	v18.16b,v18.16b,v18.16b,#8
	rev64	v19.4S,v19.4S
	ext	v19.16b,v19.16b,v19.16b,#8
.inst	0xcec08414	//sm4e v20.4s,v0.4s
.inst	0xcec08415	//sm4e v21.4s,v0.4s
.inst	0xcec08416	//sm4e v22.4s,v0.4s
.inst	0xcec08417	//sm4e v23.4s,v0.4s

.inst	0xcec08434	//sm4e v20.4s,v1.4s
.inst	0xcec08435	//sm4e v21.4s,v1.4s
.inst	0xcec08436	//sm4e v22.4s,v1.4s
.inst	0xcec08437	//sm4e v23.4s,v1.4s

.inst	0xcec08454	//sm4e v20.4s,v2.4s
.inst	0xcec08455	//sm4e v21.4s,v2.4s
.inst	0xcec08456	//sm4e v22.4s,v2.4s
.inst	0xcec08457	//sm4e v23.4s,v2.4s

.inst	0xcec08474	//sm4e v20.4s,v3.4s
.inst	0xcec08475	//sm4e v21.4s,v3.4s
.inst	0xcec08476	//sm4e v22.4s,v3.4s
.inst	0xcec08477	//sm4e v23.4s,v3.4s

.inst	0xcec08494	//sm4e v20.4s,v4.4s
.inst	0xcec08495	//sm4e v21.4s,v4.4s
.inst	0xcec08496	//sm4e v22.4s,v4.4s
.inst	0xcec08497	//sm4e v23.4s,v4.4s

.inst	0xcec084b4	//sm4e v20.4s,v5.4s
.inst	0xcec084b5	//sm4e v21.4s,v5.4s
.inst	0xcec084b6	//sm4e v22.4s,v5.4s
.inst	0xcec084b7	//sm4e v23.4s,v5.4s

.inst	0xcec084d4	//sm4e v20.4s,v6.4s
.inst	0xcec084d5	//sm4e v21.4s,v6.4s
.inst	0xcec084d6	//sm4e v22.4s,v6.4s
.inst	0xcec084d7	//sm4e v23.4s,v6.4s

.inst	0xcec084f4	//sm4e v20.4s,v7.4s
	rev64	v20.4S,v20.4S
.inst	0xcec084f5	//sm4e v21.4s,v7.4s
	ext	v20.16b,v20.16b,v20.16b,#8
	rev64	v21.4S,v21.4S
.inst	0xcec084f6	//sm4e v22.4s,v7.4s
	ext	v21.16b,v21.16b,v21.16b,#8
	rev64	v22.4S,v22.4S
.inst	0xcec084f7	//sm4e v23.4s,v7.4s
	ext	v22.16b,v22.16b,v22.16b,#8
	rev64	v23.4S,v23.4S
	ext	v23.16b,v23.16b,v23.16b,#8
#ifndef __AARCH64EB__
	rev32	v16.16b,v16.16b
#endif
#ifndef __AARCH64EB__
	rev32	v17.16b,v17.16b
#endif
#ifndef __AARCH64EB__
	rev32	v18.16b,v18.16b
#endif
#ifndef __AARCH64EB__
	rev32	v19.16b,v19.16b
#endif
#ifndef __AARCH64EB__
	rev32	v20.16b,v20.16b
#endif
#ifndef __AARCH64EB__
	rev32	v21.16b,v21.16b
#endif
#ifndef __AARCH64EB__
	rev32	v22.16b,v22.16b
#endif
#ifndef __AARCH64EB__
	rev32	v23.16b,v23.16b
#endif
	eor	v16.16b,v16.16b,v8.16b
	eor	v17.16b,v17.16b,v24.16b
	eor	v18.16b,v18.16b,v25.16b
	mov	v8.16b,v31.16b
	eor	v19.16b,v19.16b,v26.16b
	eor	v20.16b,v20.16b,v27.16b
	eor	v21.16b,v21.16b,v28.16b
	eor	v22.16b,v22.16b,v29.16b
	eor	v23.16b,v23.16b,v30.16b
	st1	{v16.4s,v17.4s,v18.4s,v19.4s},[x1],#64
	st1	{v20.4s,v21.4s,v22.4s,v23.4s},[x1],#64
	subs	x2,x2,128
	b.gt	1b
	b	3f
	// 4 blocks mode
2:
#ifndef __AARCH64EB__
	rev32	v16.16b,v16.16b
#endif
#ifndef __AARCH64EB__
	rev32	v17.16b,v17.16b
#endif
#ifndef __AARCH64EB__
	rev32	v18.16b,v18.16b
#endif
#ifndef __AARCH64EB__
	rev32	v19.16b,v19.16b
#endif
.inst	0xcec08410	//sm4e v16.4s,v0.4s
.inst	0xcec08411	//sm4e v17.4s,v0.4s
.inst	0xcec08412	//sm4e v18.4s,v0.4s
.inst	0xcec08413	//sm4e v19.4s,v0.4s

.inst	0xcec08430	//sm4e v16.4s,v1.4s
.inst	0xcec08431	//sm4e v17.4s,v1.4s
.inst	0xcec08432	//sm4e v18.4s,v1.4s
.inst	0xcec08433	//sm4e v19.4s,v1.4s

.inst	0xcec08450	//sm4e v16.4s,v2.4s
.inst	0xcec08451	//sm4e v17.4s,v2.4s
.inst	0xcec08452	//sm4e v18.4s,v2.4s
.inst	0xcec08453	//sm4e v19.4s,v2.4s

.inst	0xcec08470	//sm4e v16.4s,v3.4s
.inst	0xcec08471	//sm4e v17.4s,v3.4s
.inst	0xcec08472	//sm4e v18.4s,v3.4s
.inst	0xcec08473	//sm4e v19.4s,v3.4s

.inst	0xcec08490	//sm4e v16.4s,v4.4s
.inst	0xcec08491	//sm4e v17.4s,v4.4s
.inst	0xcec08492	//sm4e v18.4s,v4.4s
.inst	0xcec08493	//sm4e v19.4s,v4.4s

.inst	0xcec084b0	//sm4e v16.4s,v5.4s
.inst	0xcec084b1	//sm4e v17.4s,v5.4s
.inst	0xcec084b2	//sm4e v18.4s,v5.4s
.inst	0xcec084b3	//sm4e v19.4s,v5.4s

.inst	0xcec084d0	//sm4e v16.4s,v6.4s
.inst	0xcec084d1	//sm4e v17.4s,v6.4s
.inst	0xcec084d2	//sm4e v18.4s,v6.4s
.inst	0xcec084d3	//sm4e v19.4s,v6.4s

.inst	0xcec084f0	//sm4e v16.4s,v7.4s
	rev64	v16.4S,v16.4S
.inst	0xcec084f1	//sm4e v17.4s,v7.4s
	ext	v16.16b,v16.16b,v16.16b,#8
	rev64	v17.4S,v17.4S
.inst	0xcec084f2	//sm4e v18.4s,v7.4s
	ext	v17.16b,v17.16b,v17.16b,#8
	rev64	v18.4S,v18.4S
.inst	0xcec084f3	//sm4e v19.4s,v7.4s
	ext	v18.16b,v18.16b,v18.16b,#8
	rev64	v19.4S,v19.4S
	ext	v19.16b,v19.16b,v19.16b,#8
#ifndef __AARCH64EB__
	rev32	v16.16b,v16.16b
#endif
#ifndef __AARCH64EB__
	rev32	v17.16b,v17.16b
#endif
#ifndef __AARCH64EB__
	rev32	v18.16b,v18.16b
#endif
#ifndef __AARCH64EB__
	rev32	v19.16b,v19.16b
#endif
	eor	v16.16b,v16.16b,v8.16b
	eor	v17.16b,v17.16b,v24.16b
	mov	v8.16b,v27.16b
	eor	v18.16b,v18.16b,v25.16b
	eor	v19.16b,v19.16b,v26.16b
	st1	{v16.4s,v17.4s,v18.4s,v19.4s},[x1],#64
	subs	x2,x2,#64
	b.gt	1b
1:
	subs	x2,x2,#16
	b.lt	3f
	ld1	{v16.4s},[x0],#16
	mov	v24.16b,v16.16b
#ifndef __AARCH64EB__
	rev32	v16.16b,v16.16b
#endif
.inst	0xcec08410	//sm4e v16.4s,v0.4s
.inst	0xcec08430	//sm4e v16.4s,v1.4s
.inst	0xcec08450	//sm4e v16.4s,v2.4s
.inst	0xcec08470	//sm4e v16.4s,v3.4s
.inst	0xcec08490	//sm4e v16.4s,v4.4s
.inst	0xcec084b0	//sm4e v16.4s,v5.4s
.inst	0xcec084d0	//sm4e v16.4s,v6.4s
.inst	0xcec084f0	//sm4e v16.4s,v7.4s
	rev64	v16.4S,v16.4S
	ext	v16.16b,v16.16b,v16.16b,#8
#ifndef __AARCH64EB__
	rev32	v16.16b,v16.16b
#endif
	eor	v16.16b,v16.16b,v8.16b
	mov	v8.16b,v24.16b
	st1	{v16.4s},[x1],#16
	b.ne	1b
3:
	// save back IV
	st1	{v8.4s},[x4]
	ldp	d8,d9,[sp],#16
	ret
.size	sm4_v8_cbc_encrypt,.-sm4_v8_cbc_encrypt
.globl	sm4_v8_ctr32_encrypt_blocks
.type	sm4_v8_ctr32_encrypt_blocks,%function
.align	5
sm4_v8_ctr32_encrypt_blocks:
	AARCH64_VALID_CALL_TARGET
	stp	d8,d9,[sp, #-16]!

	ld1	{v8.4s},[x4]
	ld1	{v0.4s,v1.4s,v2.4s,v3.4s},[x3],64
	ld1	{v4.4s,v5.4s,v6.4s,v7.4s},[x3]
#ifndef __AARCH64EB__
	rev32	v8.16b,v8.16b
#endif
	mov	w5,v8.s[3]
1:
	cmp	x2,#4
	b.lt	1f
	ld1	{v24.4s,v25.4s,v26.4s,v27.4s},[x0],#64
	mov	v16.16b,v8.16b
	mov	v17.16b,v8.16b
	mov	v18.16b,v8.16b
	mov	v19.16b,v8.16b
	add	w5,w5,#1
	mov	v17.s[3],w5
	add	w5,w5,#1
	mov	v18.s[3],w5
	add	w5,w5,#1
	mov	v19.s[3],w5
	cmp	x2,#8
	b.lt	2f
	ld1	{v28.4s,v29.4s,v30.4s,v31.4s},[x0],#64
	mov	v20.16b,v8.16b
	mov	v21.16b,v8.16b
	mov	v22.16b,v8.16b
	mov	v23.16b,v8.16b
	add	w5,w5,#1
	mov	v20.s[3],w5
	add	w5,w5,#1
	mov	v21.s[3],w5
	add	w5,w5,#1
	mov	v22.s[3],w5
	add	w5,w5,#1
	mov	v23.s[3],w5
.inst	0xcec08410	//sm4e v16.4s,v0.4s
.inst	0xcec08411	//sm4e v17.4s,v0.4s
.inst	0xcec08412	//sm4e v18.4s,v0.4s
.inst	0xcec08413	//sm4e v19.4s,v0.4s

.inst	0xcec08430	//sm4e v16.4s,v1.4s
.inst	0xcec08431	//sm4e v17.4s,v1.4s
.inst	0xcec08432	//sm4e v18.4s,v1.4s
.inst	0xcec08433	//sm4e v19.4s,v1.4s

.inst	0xcec08450	//sm4e v16.4s,v2.4s
.inst	0xcec08451	//sm4e v17.4s,v2.4s
.inst	0xcec08452	//sm4e v18.4s,v2.4s
.inst	0xcec08453	//sm4e v19.4s,v2.4s

.inst	0xcec08470	//sm4e v16.4s,v3.4s
.inst	0xcec08471	//sm4e v17.4s,v3.4s
.inst	0xcec08472	//sm4e v18.4s,v3.4s
.inst	0xcec08473	//sm4e v19.4s,v3.4s

.inst	0xcec08490	//sm4e v16.4s,v4.4s
.inst	0xcec08491	//sm4e v17.4s,v4.4s
.inst	0xcec08492	//sm4e v18.4s,v4.4s
.inst	0xcec08493	//sm4e v19.4s,v4.4s

.inst	0xcec084b0	//sm4e v16.4s,v5.4s
.inst	0xcec084b1	//sm4e v17.4s,v5.4s
.inst	0xcec084b2	//sm4e v18.4s,v5.4s
.inst	0xcec084b3	//sm4e v19.4s,v5.4s

.inst	0xcec084d0	//sm4e v16.4s,v6.4s
.inst	0xcec084d1	//sm4e v17.4s,v6.4s
.inst	0xcec084d2	//sm4e v18.4s,v6.4s
.inst	0xcec084d3	//sm4e v19.4s,v6.4s

.inst	0xcec084f0	//sm4e v16.4s,v7.4s
	rev64	v16.4S,v16.4S
.inst	0xcec084f1	//sm4e v17.4s,v7.4s
	ext	v16.16b,v16.16b,v16.16b,#8
	rev64	v17.4S,v17.4S
.inst	0xcec084f2	//sm4e v18.4s,v7.4s
	ext	v17.16b,v17.16b,v17.16b,#8
	rev64	v18.4S,v18.4S
.inst	0xcec084f3	//sm4e v19.4s,v7.4s
	ext	v18.16b,v18.16b,v18.16b,#8
	rev64	v19.4S,v19.4S
	ext	v19.16b,v19.16b,v19.16b,#8
.inst	0xcec08414	//sm4e v20.4s,v0.4s
.inst	0xcec08415	//sm4e v21.4s,v0.4s
.inst	0xcec08416	//sm4e v22.4s,v0.4s
.inst	0xcec08417	//sm4e v23.4s,v0.4s

.inst	0xcec08434	//sm4e v20.4s,v1.4s
.inst	0xcec08435	//sm4e v21.4s,v1.4s
.inst	0xcec08436	//sm4e v22.4s,v1.4s
.inst	0xcec08437	//sm4e v23.4s,v1.4s

.inst	0xcec08454	//sm4e v20.4s,v2.4s
.inst	0xcec08455	//sm4e v21.4s,v2.4s
.inst	0xcec08456	//sm4e v22.4s,v2.4s
.inst	0xcec08457	//sm4e v23.4s,v2.4s

.inst	0xcec08474	//sm4e v20.4s,v3.4s
.inst	0xcec08475	//sm4e v21.4s,v3.4s
.inst	0xcec08476	//sm4e v22.4s,v3.4s
.inst	0xcec08477	//sm4e v23.4s,v3.4s

.inst	0xcec08494	//sm4e v20.4s,v4.4s
.inst	0xcec08495	//sm4e v21.4s,v4.4s
.inst	0xcec08496	//sm4e v22.4s,v4.4s
.inst	0xcec08497	//sm4e v23.4s,v4.4s

.inst	0xcec084b4	//sm4e v20.4s,v5.4s
.inst	0xcec084b5	//sm4e v21.4s,v5.4s
.inst	0xcec084b6	//sm4e v22.4s,v5.4s
.inst	0xcec084b7	//sm4e v23.4s,v5.4s

.inst	0xcec084d4	//sm4e v20.4s,v6.4s
.inst	0xcec084d5	//sm4e v21.4s,v6.4s
.inst	0xcec084d6	//sm4e v22.4s,v6.4s
.inst	0xcec084d7	//sm4e v23.4s,v6.4s

.inst	0xcec084f4	//sm4e v20.4s,v7.4s
	rev64	v20.4S,v20.4S
.inst	0xcec084f5	//sm4e v21.4s,v7.4s
	ext	v20.16b,v20.16b,v20.16b,#8
	rev64	v21.4S,v21.4S
.inst	0xcec084f6	//sm4e v22.4s,v7.4s
	ext	v21.16b,v21.16b,v21.16b,#8
	rev64	v22.4S,v22.4S
.inst	0xcec084f7	//sm4e v23.4s,v7.4s
	ext	v22.16b,v22.16b,v22.16b,#8
	rev64	v23.4S,v23.4S
	ext	v23.16b,v23.16b,v23.16b,#8
#ifndef __AARCH64EB__
	rev32	v16.16b,v16.16b
#endif
#ifndef __AARCH64EB__
	rev32	v17.16b,v17.16b
#endif
#ifndef __AARCH64EB__
	rev32	v18.16b,v18.16b
#endif
#ifndef __AARCH64EB__
	rev32	v19.16b,v19.16b
#endif
#ifndef __AARCH64EB__
	rev32	v20.16b,v20.16b
#endif
#ifndef __AARCH64EB__
	rev32	v21.16b,v21.16b
#endif
#ifndef __AARCH64EB__
	rev32	v22.16b,v22.16b
#endif
#ifndef __AARCH64EB__
	rev32	v23.16b,v23.16b
#endif
	eor	v16.16b,v16.16b,v24.16b
	eor	v17.16b,v17.16b,v25.16b
	eor	v18.16b,v18.16b,v26.16b
	eor	v19.16b,v19.16b,v27.16b
	eor	v20.16b,v20.16b,v28.16b
	eor	v21.16b,v21.16b,v29.16b
	eor	v22.16b,v22.16b,v30.16b
	eor	v23.16b,v23.16b,v31.16b
	st1	{v16.4s,v17.4s,v18.4s,v19.4s},[x1],#64
	st1	{v20.4s,v21.4s,v22.4s,v23.4s},[x1],#64
	subs	x2,x2,#8
	b.eq	3f
	add	w5,w5,#1
	mov	v8.s[3],w5
	b	1b
2:
.inst	0xcec08410	//sm4e v16.4s,v0.4s
.inst	0xcec08411	//sm4e v17.4s,v0.4s
.inst	0xcec08412	//sm4e v18.4s,v0.4s
.inst	0xcec08413	//sm4e v19.4s,v0.4s

.inst	0xcec08430	//sm4e v16.4s,v1.4s
.inst	0xcec08431	//sm4e v17.4s,v1.4s
.inst	0xcec08432	//sm4e v18.4s,v1.4s
.inst	0xcec08433	//sm4e v19.4s,v1.4s

.inst	0xcec08450	//sm4e v16.4s,v2.4s
.inst	0xcec08451	//sm4e v17.4s,v2.4s
.inst	0xcec08452	//sm4e v18.4s,v2.4s
.inst	0xcec08453	//sm4e v19.4s,v2.4s

.inst	0xcec08470	//sm4e v16.4s,v3.4s
.inst	0xcec08471	//sm4e v17.4s,v3.4s
.inst	0xcec08472	//sm4e v18.4s,v3.4s
.inst	0xcec08473	//sm4e v19.4s,v3.4s

.inst	0xcec08490	//sm4e v16.4s,v4.4s
.inst	0xcec08491	//sm4e v17.4s,v4.4s
.inst	0xcec08492	//sm4e v18.4s,v4.4s
.inst	0xcec08493	//sm4e v19.4s,v4.4s

.inst	0xcec084b0	//sm4e v16.4s,v5.4s
.inst	0xcec084b1	//sm4e v17.4s,v5.4s
.inst	0xcec084b2	//sm4e v18.4s,v5.4s
.inst	0xcec084b3	//sm4e v19.4s,v5.4s

.inst	0xcec084d0	//sm4e v16.4s,v6.4s
.inst	0xcec084d1	//sm4e v17.4s,v6.4s
.inst	0xcec084d2	//sm4e v18.4s,v6.4s
.inst	0xcec084d3	//sm4e v19.4s,v6.4s

.inst	0xcec084f0	//sm4e v16.4s,v7.4s
	rev64	v16.4S,v16.4S
.inst	0xcec084f1	//sm4e v17.4s,v7.4s
	ext	v16.16b,v16.16b,v16.16b,#8
	rev64	v17.4S,v17.4S
.inst	0xcec084f2	//sm4e v18.4s,v7.4s
	ext	v17.16b,v17.16b,v17.16b,#8
	rev64	v18.4S,v18.4S
.inst	0xcec084f3	//sm4e v19.4s,v7.4s
	ext	v18.16b,v18.16b,v18.16b,#8
	rev64	v19.4S,v19.4S
	ext	v19.16b,v19.16b,v19.16b,#8
#ifndef __AARCH64EB__
	rev32	v16.16b,v16.16b
#endif
#ifndef __AARCH64EB__
	rev32	v17.16b,v17.16b
#endif
#ifndef __AARCH64EB__
	rev32	v18.16b,v18.16b
#endif
#ifndef __AARCH64EB__
	rev32	v19.16b,v19.16b
#endif
	eor	v16.16b,v16.16b,v24.16b
	eor	v17.16b,v17.16b,v25.16b
	eor	v18.16b,v18.16b,v26.16b
	eor	v19.16b,v19.16b,v27.16b
	st1	{v16.4s,v17.4s,v18.4s,v19.4s},[x1],#64
	subs	x2,x2,#4
	b.eq	3f
	add	w5,w5,#1
	mov	v8.s[3],w5
	b	1b
1:
	subs	x2,x2,#1
	b.lt	3f
	mov	v16.16b,v8.16b
	ld1	{v24.4s},[x0],#16
.inst	0xcec08410	//sm4e v16.4s,v0.4s
.inst	0xcec08430	//sm4e v16.4s,v1.4s
.inst	0xcec08450	//sm4e v16.4s,v2.4s
.inst	0xcec08470	//sm4e v16.4s,v3.4s
.inst	0xcec08490	//sm4e v16.4s,v4.4s
.inst	0xcec084b0	//sm4e v16.4s,v5.4s
.inst	0xcec084d0	//sm4e v16.4s,v6.4s
.inst	0xcec084f0	//sm4e v16.4s,v7.4s
	rev64	v16.4S,v16.4S
	ext	v16.16b,v16.16b,v16.16b,#8
#ifndef __AARCH64EB__
	rev32	v16.16b,v16.16b
#endif
	eor	v16.16b,v16.16b,v24.16b
	st1	{v16.4s},[x1],#16
	b.eq	3f
	add	w5,w5,#1
	mov	v8.s[3],w5
	b	1b
3:
	ldp	d8,d9,[sp],#16
	ret
.size	sm4_v8_ctr32_encrypt_blocks,.-sm4_v8_ctr32_encrypt_blocks