AES 암호화 데이터 전송 프로그램(C++) 리버싱

데이터를 AES 암호화하여 소켓 통신하는 C++ 프로그램을 리버싱해보겠습니다.

OpenSSL 라이브러리(v3.4.0)를 통해 AES 알고리즘을 사용하였습니다.

 

#include <iostream>
#include <iomanip>
#include <openssl/evp.h>
#include <openssl/rand.h>
#include <winsock2.h>
#include <ws2tcpip.h>

#pragma comment(lib, "ws2_32.lib")
#pragma comment(lib, "libssl.lib")
#pragma comment(lib, "libcrypto.lib")

#define AES_KEY_SIZE 32  // AES-256
#define AES_BLOCK_SIZE 16

// AES 암호화 함수 (EVP API 사용)
int aes_encrypt(const unsigned char* input, int input_len, unsigned char* output, const unsigned char* key, const unsigned char* iv) {
    EVP_CIPHER_CTX* ctx = EVP_CIPHER_CTX_new();
    if (!ctx) {
        std::cerr << "Error creating EVP context!" << std::endl;
        return -1;
    }

    int len;
    int ciphertext_len;

    if (1 != EVP_EncryptInit_ex(ctx, EVP_aes_256_cbc(), NULL, key, iv)) {
        std::cerr << "Error initializing encryption!" << std::endl;
        EVP_CIPHER_CTX_free(ctx);
        return -1;
    }

    if (1 != EVP_EncryptUpdate(ctx, output, &len, input, input_len)) {
        std::cerr << "Error during encryption!" << std::endl;
        EVP_CIPHER_CTX_free(ctx);
        return -1;
    }
    ciphertext_len = len;

    if (1 != EVP_EncryptFinal_ex(ctx, output + len, &len)) {
        std::cerr << "Error finalizing encryption!" << std::endl;
        EVP_CIPHER_CTX_free(ctx);
        return -1;
    }
    ciphertext_len += len;

    EVP_CIPHER_CTX_free(ctx);

    return ciphertext_len;
}

// 소켓 초기화 및 데이터 전송 함수
void send_encrypted_data(const char* host, int port, const unsigned char* encrypted_data, int data_len) {
    WSADATA wsaData;
    SOCKET sock;
    sockaddr_in server_addr;

    if (WSAStartup(MAKEWORD(2, 2), &wsaData) != 0) {
        std::cerr << "WSAStartup failed" << std::endl;
        return;
    }

    sock = socket(AF_INET, SOCK_STREAM, IPPROTO_TCP);
    if (sock == INVALID_SOCKET) {
        std::cerr << "Socket creation failed!" << std::endl;
        WSACleanup();
        return;
    }

    server_addr.sin_family = AF_INET;
    server_addr.sin_port = htons(port);
    inet_pton(AF_INET, host, &server_addr.sin_addr);

    if (connect(sock, (sockaddr*)&server_addr, sizeof(server_addr)) == SOCKET_ERROR) {
        std::cerr << "Connection failed!" << std::endl;
        closesocket(sock);
        WSACleanup();
        return;
    }

    // 데이터 전송
    send(sock, (const char*)encrypted_data, data_len, 0);

    std::cout << "Encrypted data sent!" << std::endl;

    closesocket(sock);
    WSACleanup();
}

int main() {
    // AES 키와 IV 설정
    unsigned char key[AES_KEY_SIZE] = {
        0x01, 0x23, 0x45, 0x67, 0x89, 0xAB, 0xCD, 0xEF,
        0x01, 0x23, 0x45, 0x67, 0x89, 0xAB, 0xCD, 0xEF,
        0x01, 0x23, 0x45, 0x67, 0x89, 0xAB, 0xCD, 0xEF,
        0x01, 0x23, 0x45, 0x67, 0x89, 0xAB, 0xCD, 0xEF
    };  // 32 바이트 (AES-256)

    unsigned char iv[AES_BLOCK_SIZE] = {
        0x01, 0x23, 0x45, 0x67, 0x89, 0xAB, 0xCD, 0xEF,
        0x01, 0x23, 0x45, 0x67, 0x89, 0xAB, 0xCD, 0xEF
    }; // 16 바이트 (AES 블록 크기)

    unsigned char input[] = "Hello, this is a test message for AES encryption!";
    unsigned char encrypted_data[1024];

    // 암호화
    int encrypted_len = aes_encrypt(input, strlen((char*)input), encrypted_data, key, iv);

    if (encrypted_len < 0) {
        std::cerr << "Encryption failed!" << std::endl;
        return 1;
    }

    // 소켓을 통해 암호화된 데이터 전송
    send_encrypted_data("127.0.0.1", 8080, encrypted_data, encrypted_len);

    return 0;
}

 

 

 

수정 전 코드는 key와 iv를 문자열로 저장했었습니다.

#define AES_KEY_SIZE 32
#define AES_BLOCK_SIZE 16
// 수정 전 key, iv
unsigned char key[AES_KEY_SIZE] = "0123456789abcdef0123456789abcdef";
unsigned char iv[AES_BLOCK_SIZE] = "0123456789abcdef";

 

 

그런데 해당 소스코드는 오버플로가 발생합니다.

이유는 key와 iv 배열 크기와 초기화 값(각 32, 16바이트)이 다르기 때문입니다.

C/C++ 문자열 데이터는 종료 문자(\0)를 포함하므로
key와 iv의 크기는 종료 문자(\0) 1바이트를 포함한 각 33, 17바이트가 되어 오버플로 이슈가 있습니다.

 

이럴 땐 데이터를 배열로 저장하거나 바이너리 데이터를 이용하면 됩니다. 그렇게 하면 종료 문자가 추가되지 않기 때문입니다.

그래서 배열에 바이너리 데이터를 저장하여 사용하겠습니다.

// 수정 후 key, iv
unsigned char key[AES_KEY_SIZE] = {
    0x01, 0x23, 0x45, 0x67, 0x89, 0xAB, 0xCD, 0xEF,
    0x01, 0x23, 0x45, 0x67, 0x89, 0xAB, 0xCD, 0xEF,
    0x01, 0x23, 0x45, 0x67, 0x89, 0xAB, 0xCD, 0xEF,
    0x01, 0x23, 0x45, 0x67, 0x89, 0xAB, 0xCD, 0xEF
};
unsigned char iv[AES_BLOCK_SIZE] = {
    0x01, 0x23, 0x45, 0x67, 0x89, 0xAB, 0xCD, 0xEF,
    0x01, 0x23, 0x45, 0x67, 0x89, 0xAB, 0xCD, 0xEF
};

내용도 확 바뀌었지만? 아무튼 수정 완료했으니 디스어셈블을 진행해보겠습니다.

 

---

 

 

1. 변수 정의

 

 

• xmmword
  128비트 벡터 데이터를 다룰 때 사용되는 용어
  xmm(128비트 크기의 레지스터) + word(데이터)

 

IDA에 wmmword가 숫자(hex)로 저장되어 있습니다.

변환 전

변환하면 반대로 뒤집힌 문자가 나옵니다.

변환 후

xmmword는 128비트 데이터를 저장하는 레지스터로 16바이트 문자열이 해당 레지스터에 저장되면 문자열을 역순으로 저장하는 경우가 발생할 수 있습니다. 데이터 바이트를 리틀 엔디언 방식으로 저장하기 때문입니다.

디버거로 확인한 전체 문자열

 

• 엔디언(Endian)
  • 컴퓨터 아키텍처가 여러 바이트로 구성된 데이터를 메모리에 저장할 때 그 순서(바이트 순서(byte order))를 지정하는 개념

 

• 리틀 엔디언(Little endian)
  • 작은 바이트부터 큰 바이트 순서대로 저장하는 방식
    • 첫 번째 바이트가 가장 작은 값!
  • 가장 중요한 바이트(Most Significant Byte, MSB)가 메모리의 가장 높은 주소에 저장
  • x84, x64 시스템을 비롯해 대부분의 아키텍처는 리틀 엔디언 방식을 사용
  • 예시)

주소	0x00	0x01	0x02	0x03
값	0x78	0x56	0x34	0x12

 

• 빅 엔디언(Big endian)
  • 큰 바이트부터 작은 바이트 순서대로 저장하는 방식
    • 첫 번째 바이트가 가장 큰 값!
  • 가장 중요한 바이트(MSB)가 메모리의 가장 낮은 주소에 저장
  • 네트워크 프로토콜(TCP/IP 등)에서 빅 엔디언 방식을 사용
  • 예시)

주소	0x00	0x01	0x02	0x03
값	0x12	0x34	0x56	0x78

 

2. 암복호화를 위한 준비

 

해당 프로그램은 암복호화 작업을 위해 EVP_CIPHER_CTX_new API를 호출

API 호출에 오류가 있으면 오류 메세지 출력

 

• EVP_CIPHER_CTX_new
  OpenSSL 라이브러리에서 사용하는 함수로 암호화 및 복호화 작업(암호화 API)을 수행하기 위해 필요
  EVP_CIPHER_CTX 컨텍스트 구조체를 초기화하여 그에 대한 포인터를 반환
  
  
  • EVP_CIPHER_CTX
    OpenSSL의 암/복호화 작업에서 사용하는 상태 정보를 저장하는 구조체
    다양한 암호화 알고리즘에 대해 암호화 및 복호화의 상태를 추적하는 데 사용
    키, 초기벡터(IV), 기타 필요한 내부 데이터를 저장

 

 

 

3. AES-256 암호화

 

소스코드 흐름(IDA)

1) EVP_aes_256_cbc API 호출

2) EVP_EncryptInit_ex API 호출

  2-1) 수행 작업 실패 시, 오류 메세지(Error initializing encryption!) 출력

3) EVP_EncryptUpdate API 호출

  3-1) 수행 작업 실패 시, 오류 메세지(Error during encryption!)를 출력하고 LABEL_7로 이동

4) EVP_EncryptFinal_ex  API 호출

  4-1) 수행 작업 실패 시, 오류 메세지(Error finalizing encryption!)를 출력하고 LABEL_7로 이동

5) EVP_CIPHER_CTX_free

6) 변수 v7가 0보다 크면 LABEL_13으로 이동

 - v7은 EVP_EncryptUpdate에서 반환된 암호화된 데이터의 길이(패딩을 포함한 마지막 블록의 길이) v17과 암호화된 데이터의 길이 v6를 더한 값으로, 최종적으로 암호화된 데이터의 전체 길이를 의미한다.

 

* LABEL: 어떤 조건문이나 분기에 의해 프로그램 흐름이 이동하는 지점으로 사용된다. if, goto, switch 또는 함수 반환 등 다양한 형태의 분기 구조를 포함할 수 있다. 

 

소스코드 흐름(C++)

C++ 소스코드

 

• EVP_aes_256_cbc
  AES-256 알고리즘을 CBC 모드로 사용하기 위한 함수
  
  
• EVP_EncryptInit_ex
  대칭키 암호화(ex. AES, DES 등)의 초기화를 처리하는 함수
  암호화 알고리즘을 설정하고 그에 맞는 키와 초기벡터(IV)를 지정하여 암호화 작업을 준비
  
  
• EVP_EncryptUpdate
  대칭키 암호화에서 입력 데이터를 암호화하는 함수
  암호화 작업은 버퍼 단위로 진행하고 암호화된 데이터는 출력 버퍼에 저장한다.
  
  
• EVP_EncryptFinal_ex
  대칭키 암호화 작업을 마무리할 때 마지막 단계에서 사용하는 함수
  필요 시 패딩(padding)을 추가하여 결과를 완성한다.
   * 대칭키 암호화 방식은 데이터가 블록 단위로 암호화되기 때문에 마지막 블록이 블록 크기에 맞지 않으면 패딩을 추가한다.
  
  
• EVP_CIPHER_CTX_free
  암호화 작업을 마친 후 사용된 암호화 컨텍스트를 해제하는 함수
  메모리 누수를 방지하고 사용이 끝난 암호화 관련 리소스를 정리하는데 사용된다.

 

 

 

4. 소켓 통신

4-1) socket 생성

 

 

• WSAStartup
  윈도우 소켓 API(Winsock)를 초기화하는 함수
  네트워크 작업을 수행하기 전에 소켓 라이브러리를 초기화
  
  
• socket
  소켓을 생성하기 위한 함수
  
  
  • socket(2, 1, 6)
    - 2: AF_INET ⇒ IPv4
    - 1: SOCK_STREAM ⇒ TCP
    - 6: IPPROTO_TCP ⇒ TCP

 

 

소켓(socket)

네트워크를 통해 연결되고 통신할 수 있게 해주는 인터페이스
IP 주소 및 포트를 사용하여 특정 프로그램과 특정 네트워크 연결을 식별

 

소켓 내부 구조

SOCKET WSAAPI socket(
  [in] int af,
  [in] int type,
  [in] int protocol
);

• af
  주소 패밀리 유형(사양)
  사용할 수 있는 값은 Winsock2.h 헤더파일에 정의되어 있음

af	AF_UNSPEC (0)	AF_INET (2)	AF_IPX (6)	AF_APPLETALK (16)	AF_NETBIOS (17)	AF_INET6 (23)	AF_IRDA (26)	AF_BTH (32)
의미	지정 안 함	IPv4	IPX/SPX	AppleTalk	NetBIOS	IPv6	IrDA (적외선 데이터 연결)	Bluetooth

 

• type
  소켓의 형식
  사용할 수 있는 값은 Winsock2.h 헤더파일에 정의되어 있음

type	SOCK_STREAM (1)	SOCK_DGRAM (2)	SOCK_RAW (3)	SOCK_RDM (4)	SOCK_SEQPACKET (5)
의미	TCP	UDP	IPv4/IPv6 헤더 옵션	PGM	데이터그램 기반 가상 스트림(pseudo-stream) 패킷

 

• protocol
  사용할 프로토콜
  사용할 수 있는 값은 Winsock2.h 및 Wsrm.h 헤더파일에 정의되어 있음

protocol	IPPROTO_ICMP (1)	IPPROTO_IGMP (2)	BTHPROTO_RFCOMM (3)	IPPROTO_TCP (6)	IPPROTO_UDP (17)	IPPROTO_ICMPV6 (58)	IPPROTO_RM (113)
의미	ICMP	IGMP	Bluetooth RFCOMM	TCP	UDP	ICMPv6	PGM

 

 

 

4-2) IP 주소 및 포트 번호 설정

 

 

• name ⇒ sockaddr
  IPv4 주소를 표현하는 데 사용되는 구조체
  소켓 프로그래밍에서 네트워크 연결을 설정할 때 사용

 

sockaddr 및 sockaddr_in 구조체 (IPv4)

struct sockaddr {
        ushort  sa_family;
        char    sa_data[14];
};

struct sockaddr_in {
        short   sin_family;
        u_short sin_port;
        struct  in_addr sin_addr;
        char    sin_zero[8];
};

 

 

• htons
  Host To Network Short
  포트 번호를 네트워크 바이트 순서로 변환하는 함수
  호스트 시스템에서 사용되는 바이트 순서(주로 little endian)를 네트워크에서 사용되는 바이트 순서(big endian)으로 변환
  
  
  • htons(0x1F90u)
    0x1F90 = 8080
    포트 번호: 8080
    
    
• inet_pton
  IP 주소 문자열을 바이너리 형태로 변환하는 함수
  IPv4 또는 IPv6 주소를 32비트 또는 128비트 이진 값으로 변환

inet_pton 함수

 

 

inet_pton 함수 파라미터

int inet_pton(int af, const char *src, void *dst);

 

• af: 주소 패밀리
  ⇒ RCX = 2
• src: IP 주소 문자열
  ⇒ RDX = 127.0.0.1
• dst: 변환된 이진 형태의 주소를 저장할 버퍼
  ⇒ R8 = 000000078E1FF3EC

 

inet_pton 함수가 호출되면 dst에 IP 주소(src)를 이진 형태로 변환하여 저장하는데, 디버거에서는 이를 16진수로 저장합니다. 네트워크(소켓) 프로그래밍은 IP 주소를 이진 형식으로 처리하는 것이 효율적이므로 해당 함수를 이용하여 변환 과정을 거칩니다.

127.0.0.1 (DEC) = 01111111.00000000.00000000.00000001 (BIN) = 7F000001 (HEX)

변환되어 저장된 IP주소

 

 

 

4-3) connect 및 send

 

connect 함수를 먼저 호출하여 연결에 실패하면 오류 메세지(Connection failed!)를 출력하고, 성공하면 send 함수를 통해 암호화된 데이터를 전송. 전송에 실패하면 오류 메시지(Encrypted data sent!)를 출력

 

• connect
  클라이언트가 서버와 연결하기 위해 사용하는 함수
  TCP 프로토콜 연결에 사용
  
  
• send
  데이터를 네트워크를 통해 전송하는데 사용하는 함수
  TCP 프로토콜 송수신에 사용

 

 

connect 파라미터 

int connect(int sockfd, const struct sockaddr *addr, socklen_t addrlen);

• sockfdd
  연결하려는 소켓의 파일 디스크립터로 socket 함수로 생성된 소켓
  
  
• addr
  서버의 주소 정보를 포함하는 sockaddr(sockaddr _in) 구조체
  
  
• addrlen
  addr(구조체)의 크기

 

addr(sockaddr_in) 구조체는 패밀리 유형(2바이트) + 포트번호(2바이트) + IP주소(4바이트) 총 8바이트지만, 최종적으로 connect 파라미터의 3번째 파라미터 addrlen는 16(바이트)입니다. 이는 8바이트의 패딩(padding) 때문입니다.

• C/C++ 구조체의 패딩(padding)
  • 메모리 정렬을 위해 여분의 바이트를 추가할 수 있습니다. 구조체의 필드들을 메모리의 적절한 경계에 맞게 배치하여 성능을 최적화하기 위해서입니다.
  • 컴퓨터 아키텍처에서 효율적인 메모리 접근을 위해 정렬(alignment)이 중요합니다. 예를 들어 4바이트 크기의 데이터는 4바이트 경계에서 시작하는 것이 성능에 더 유리합니다. C/C++ 컴파일러는 이러한 정렬을 맞추기 위해 자동으로 패딩을 삽입할 수 있습니다.

 

 

 

 

4-4) socket 종료

 

 

• closesocket
  소켓을 닫는 함수
  소켓 사용 후 리소스를 해제하고 소켓을 닫을 때 사용
  
  
• WSACleanup
  윈도우 소켓 라이브러리(Winsock)를 종료하는 함수
  소켓 관련 리소스를 해제하고 Winsock 라이브러리를 종료
  
  
• 0i64
  64비트 정수 타입을 나타내기 위해 사용
  0: 숫자 0, i: signed, 64: 64비트
  ⇒ 64비트 부호 있는 정수형 값 0을 의미
  
  
  • i64를 붙이는 이유??
    0을 그냥 0이라고 쓰면 기본적으로 32비트 정수로 취급됩니다. 64비트 정수 값을 명시하기 위해 i64를 붙여 타입을 명시합니다. 보통 Rust 같은 프로그래밍 언어에서 변수 타입을 명시적으로 지정해주기 위해 사용됩니다. C++의 표준 구문은 아니지만 MSVC(Visual C++ 컴파일러)는 i64 같은 접미사를 사용하여 타입을 명시하기도 합니다.