Pruebas automatizadas en GRPC

Introducción

gRPC es un framework de procedimiento remoto de alto rendimiento desarrollado por Google. Utiliza el protocolo HTTP/2 para la comunicación entre los servidores y los clientes, y permite la comunicación entre los servicios de diferentes lenguajes de programación.

Configuración del entorno

En el archivo build.gradle se añadieron las dependencias necesarias de gRPC

    testImplementation 'io.grpc:grpc-testing:1.41.0'
    testImplementation group: 'com.google.protobuf', name: 'protobuf-java', version:'3.23.2'
    implementation 'io.grpc:grpc-stub:1.53.0'
    implementation 'io.grpc:grpc-api:1.53.0'
    implementation 'io.grpc:protoc-gen-grpc-java:1.53.0'
    implementation 'io.grpc:grpc-core:1.53.0'
    implementation 'io.grpc:grpc-netty-shaded:1.53.0'
    implementation 'com.google.api.grpc:proto-google-common-protos:2.14.1'
    implementation 'javax.annotation:javax.annotation-api:1.3.2'
    implementation 'io.grpc:grpc-protobuf:1.55.1'

Archivos .proto

En gRPC, los servicios y los mensajes que se envían entre el cliente y el servidor se definen en archivos .proto, que utilizan el lenguaje de definición de interfaz (IDL) de Protocol Buffers. Aquí es donde se definen las operaciones que el servicio puede realizar y los tipos de datos que se envían y reciben. Esencialmente, es la especificación de la API de gRPC.

Agregar los archivos .proto necesarios para las pruebas de servicios en src/main/proto/servicename

ejemplo:

Stubs

Un "stub" se refiere al cliente de un servicio gRPC que se conecta a un servidor. Es esencialmente código generado a partir del archivo .proto que un cliente puede usar para invocar métodos de un servicio remoto. Toma un mensaje de protocolo, serializa el mensaje en el formato correcto, envía la solicitud a través de la red, y luego espera y deserializa las respuestas para enviarlas de vuelta al código de llamada.

El enfoque más común para realizar pruebas en Java con gRPC es utilizar un stub generado automáticamente. Esto permite enfocarse en probar la lógica específica del cliente sin preocuparse por la complejidad de la comunicación subyacente.

Generar los stubs (archivos Java) a partir del archivo .proto:

Gradle posee un plugin que permite generar los archivos Java, los cuales incluyen el código para los servicios y mensajes a partir de los archivos .proto, utilizando el compilador de Protocol Buffers (protobuf-protoc).

Se cuenta con el plugin de protobuf en el archivo build.gradle:

apply 
plugin
'com.google.protobuf'

También, se incluye la siguiente configuración para el plugin:

protobuf {
    protoc {
        artifact = 'com.google.protobuf:protoc:3.23.2'
    }
    plugins{
        grpc{
            artifact = 'io.grpc:protoc-gen-grpc-java:1.53.0'
        }
    }
    generateProtoTasks {
        all()*.plugins {
            grpc{
            }
        }
    }
}

Para que el plugin compile los archivos .proto se ejecuta el comando gradle build y se generan los archivos Java necesarios.

Los stubs serán generados automáticamente en el directorio build/generated/source/proto/main/grpc.

Si se desea no utilizar un stub y probar la comunicación con un servidor gRPC , se tendría que implementar manualmente toda la lógica de comunicación, serialización, deserialización y manejo de la comunicación de red, lo que puede ser bastante complejo y propenso a errores.

Tipos de Stubs en gRPC

Implementación del cliente

Después de generar el código del cliente y del servidor, se implementan los stubs en los script de prueba.

Creación del tipo de Stub

En gRPC en necesario especificar el tipo de stub (cliente) que que se requiere usar para hacer una petición. El tipo de stub que se elija, determina cómo se maneja la petición.

Para seleccionar el tipo de stub, se deben usar los métodos correspondientes de la clase generada automáticamente a partir del .proto.

Por ejemplo, si el servicio se llama AccountAggregationService, gRPC generará una clase AccountAggregationServiceGrpc que contiene métodos: newBlockingStub, newFutureStub, y newStub que se pueden usar para crear los distintos tipos de stubs.

A continuación se especifica como se crea un stub de gRPC bloqueante para la interfaz AccountAggregationService. Esto es esencialmente un cliente que se usará para hacer llamadas al servicio.

AccountAggregationServiceGrpc.AccountAggregationServiceBlockingStub = AccountAggregationServiceGrpc.newBlockingStub();

ServiceBase.java

Se optó por crear una clase principal con una estructura abstracta que maneje la apertura y cierre de canales, la infraestructura necesaria para construir y utilizar "stubs" gRPC, y la configuración de la URL del servidor que todos los tests de servicios gRPC requieren. Las subclases derivadas de ServiceBase deberán proporcionar la implementación específica de la construcción del stub.

ServiceBase.java es una clase abstracta genérica que proporciona la estructura y herramientas para configurar una conexión al servicio y comunicarse con él utilizando la librería de gRPC para la creación de canales y stubs.

Al iniciar una prueba, la clase se conecta a un servicio usando una dirección URL (url).
Una vez establecida la conexión, crea un "stub" o punto de conexión para comunicarse con el servicio.
Al finalizar una prueba, cierra la conexión.

public abstract class ServiceBase<T extends AbstractStub<T>> extends TestBase

🛠️ La razón principal para hacer la clase abstracta es que contiene un método abstracto (buildStub) que las clases hijas deben implementar obligatoriamente.

🔗 T es un tipo genérico. La clase está diseñada para trabajar con cualquier tipo T que extienda (o sea un subtipo de) AbstractStub<T>.

protected abstract T buildStub(ManagedChannel channel);

buildStubtiene el propósito de construir (o inicializar) un "stub". Es abstracto, no tiene una implementación en esta clase ya que las clases que hereden de esta deben proporcionarla.

Cada servicio en gRPC puede tener su propio stub. Esta función será implementada por las subclases para construir el stub dependiendo del servicio que se esté probando.

Al ser T es un tipo que extiende de AbstractStub<T>. El método buildStub devolverá un objeto de tipo T, que será una especie de AbstractStub.

(ManagedChannel channel): El método recibirá un parámetro llamado channel de tipo ManagedChannel El cual representa una conexión a un servidor gRPC.

@Before
    public void setup() {
        channel = ManagedChannelBuilder.forTarget(url)
                .usePlaintext()
                .intercept(new LoggingClientInterceptor(url))
                .build();
        blockingStub = buildStub(channel);
    }
@After
public void tearDown() throws Exception {
    if (channel != null) {
        channel.shutdownNow().awaitTermination(5, TimeUnit.SECONDS);
    }
}

Estos métodos se utilizan para configurar y limpiar recursos antes y después de cada prueba individual.

🚀 setup():

Crea un canal gRPC para comunicarse con un servicio remoto a la url que será proporcionada por la clase que herede de ServiceBase.
Añade un interceptor de registro. (Para imprimir en el log: Calling URL, Calling method, Sending message y Received response)
Construye un "stub" bloqueante utilizando el canal recién creado.

🧹 tearDown():

Verifica si el canal existe.
Si existe, cierra el canal inmediatamente y espera hasta 5 segundos para que se cierre completamente.

MirrorStrategyServiceBase.java

Esta clase proporciona la implementación concreta para el método buildStub que está declarado en ServiceBase. Esta implementación crea y devuelve una nueva instancia de un stub bloqueante para AccountAggregationServiceGrpc usando el canal gRPC proporcionado.

public abstract class MirrorStrategyServiceBase extends ServiceBase<AccountAggregationServiceGrpc.AccountAggregationServiceBlockingStub>  {

Esta clase es específico está parametrizada con AccountAggregationServiceGrpc.AccountAggregationServiceBlockingStub para el tipo genérico T.

Es decir, MirrorStrategyServiceBase trabaja específicamente con el "stub bloqueante" del servicio AccountAggregationServiceGrpc.

Recordemos que AccountAggregationServiceGrpc es la clase generada automáticamente al compilarse un archivo .proto. Y AccountAggregationServiceBlockingStub es un tipo de stub de una clase interna generadas dentro de AccountAggregationServiceGrpc.

Por cada servicio a probar es necesario tener estas clases generadas para poderlas ocupar en la creación del tipo de stub.

public MirrorStrategyServiceBase() {
    setUrl();
    }

Cuando se crea una instancia de esta clase, automáticamente se establece su URL al valor de baseMirrorStrategyADDRESS usando el método setUrl.

El valor de baseMirrorStrategyADDRESS se obtiene de la clase de configuración cuyo origen es el config.properties. Esta implementación es igual a la del proyecto de API REST.

public abstract class TestConfig extends Runner {

@BeforeClass
public static void setUp() throws IOException {
    if (globalSetup) {
        ...
        baseMirrorStrategyADDRESS = configProperties.getProperty(PropertiesHandler.paths().get("baseMirrorStrategyADDRESS"));
    }
}
/**
 * End up execution after test class is being executed.
 */
@AfterClass
...
}

@Override
    protected AccountAggregationServiceGrpc.AccountAggregationServiceBlockingStub buildStub(ManagedChannel channel) {
        return AccountAggregationServiceGrpc.newBlockingStub(channel);
    }

El tag @Override indica que ese método está sobrescribiendo al método de la clase en ServiceBase. Aquí ya se está proporcionando una implementación específica del método buildStub, recibe el canal creado para posteriormente crear un objeto stub bloqueante con el canal obtenido y lo devuelve de tipo AccountAggregationServiceGrpc.AccountAggregationServiceBlockingStub esto ya permitirá hacer las llamadas a procedimientos remotos en el @Before de la clase ServiceBase.

ServiceDetailsPositiveTests.java

Esta clase es un ejemplo de una clase de prueba para un servicio es especifico y hereda de MirrorStrategyServiceBase.

@Test
@Title
("GRPC - Consult account details")

En esencia, esta clase está estructurada de la misma forma que en los test del proyecto de REST.

Contiene las notaciones de método de prueba y de la descripción del caso (@Tesy y @Title)

Construcción de la solicitud:

Se crea un objeto request de tipo AccountDetailsRequestDTO (generado por el compilador de Protocol Buffers-protoc).
Después se usa el método newBuilder() para iniciar la construcción.

Como lo veíamos anteriormente gRPC, utiliza Protocol Buffers (protobuf) como su mecanismo de serialización. Uno de los métodos que se generan a partir del .proto es newBuilder(). Este método permite construir una instancia del mensaje paso a paso (Indicando las propiedades y valores del mensaje) y devuelve una instancia del builder asociado a ese objeto.

La función setAccountNumber() establece el número de cuenta obtenido de dataProperties

Este es otro método generado automáticamente por protoc basado en la definición del mensaje en el archivo .proto. En este caso, indica que hay que mandar un campo llamado accountNumber en el mensaje de AccountDetailsRequestDTO.

Finalmente, build() completa y devuelve una instancia completamente construida del mensaje.

public void getAccountDetailsTest() {
        AccountDetailsRequestDTO request = AccountDetailsRequestDTO
                .newBuilder()
                .setAccountNumber(dataProperties.getProperty(PropertiesConsts.MIRROR_STRATEGY_AUTOMATION_USER_1_ACCOUNT_NUMBER))
                .build();
        AccountDetailsResponseDTO response = Perform.performGRPCRequest(request, req -> blockingStub.getAccountDetails(req));
        Validate.validateResponseStatus(Perform.latestStatusCode, Status.Code.OK);
    }

Envío de la solicitud GRPC:

Se realiza la solicitud GRPC usando el método performGRPCRequest de la clase Perform.
Se le pasa la solicitud que se creó en el paso anterior.
Se utiliza una lambda req -> blockingStub.getAccountDetails(req) para especificar cómo debe realizarse la solicitud. Esto indica que hay una instancia de blockingStub que tiene un método getAccountDetails para realizar la acción deseada.

En este caso la expresión lambda se ocupa ya que en la clase Perform tenemos definido un método de interface funcional.

Al invocar Perform.performGRPCRequest, se le pasan dos argumentos:

El objeto request.
Una expresión lambda: req -> blockingStub.getAccountDetails(req).

Dentro de la definición del método Perform.performGRPCRequest, la función tomará el primer argumento (request) y en algún punto, invocará la expresión lambda pasándole este argumento. En ese momento, req tomará el valor de request.

Validación:

Se valida el estado de la respuesta utilizando el método validateResponseStatus de la clase Validate.
Se comprueba si el último código de estado (obtenido a través de Perform.latestStatusCode) es "OK", lo que indica una respuesta exitosa.

Perform.java

Esta clase define una forma estructurada de realizar llamadas a GRPC y manejar errores de manera uniforme.

@FunctionalInterface
    public interface GRPCCall<R, S> {
        R execute(S request) throws StatusRuntimeException;
    }

@FunctionalInterface es una anotación que indica que la interfaz tiene un método abstracto y puede servir como tipo objetivo para una expresión lambda.
GRPCCall<R, S> es la interfaz funcional que define un método execute, que toma un argumento S (la solicitud) y devuelve R (la respuesta).

Se implementó una interfaz funcional ya que es más fácil cambiar la operación gRPC que queremos invocar pasándola como un argumento de lambda. En el ejemplo usamos blockingStub.getAccountDetails(req), pero si quisiéramos usar una operación diferente, simplemente tendríamos que cambiar el lambda que pasamos, sin necesidad de modificar el método performGRPCRequest.

public static <R, S> R performGRPCRequest(S request, GRPCCall<R, S> call) {
        R response;
        try {
            response = call.execute(request);
            latestStatusCode = Status.Code.OK; // Aquí establecemos OK porque la petición fue exitosa
        } catch (StatusRuntimeException e) {
            System.out.println("Error: " + e.getStatus());
            response = null;
            latestStatusCode = e.getStatus().getCode(); // Establecemos el código de error aquí
        }
        return response;
    }

Este es el método principal que se usa previamente en la clase de los tests.

S request es el objeto de solicitud que se pasará a la función GRPC.
GRPCCall<R, S> call es una instancia de la interfaz funcional que hemos definido. Puede ser una expresión lambda, una referencia a método o una instancia de una clase que implemente GRPCCall.
Dentro de este método:
- Se intenta ejecutar la llamada GRPC con response = call.execute(request);. Si es exitoso, latestStatusCode se establece en Status.Code.OK.
- Si se lanza una excepción StatusRuntimeException, se atrapa dentro del bloque catch, se imprime el error y se establece latestStatusCode al código de error adecuado.

Para implementar otras formas de enviar peticiones (Por ejemplo con metadatos o cabeceras) entonces se podría sobrecargar el método performGRPCRequest para manejar tanto llamadas que requieran metadatos como las que no.

Ejemplo:

Clase del test:

    AccountDetailsResponseDTO response = Perform.performGRPCRequest(request, headers, (req, hdrs) -> blockingStub.getAccountDetails(req, hdrs));

Clase Perform:

    @FunctionalInterface
    public interface GRPCCallWithMetadata<R, S> {
        R execute(S request, Metadata headers) throws StatusRuntimeException;
    }
  
    public static <R, S> R performGRPCRequest(S request, Metadata headers, GRPCCallWithMetadata<R, S> call) {
        R response;
        try {
            response = call.execute(request, headers); 
            latestStatusCode = Status.Code.OK;
        } catch (StatusRuntimeException e) {
            System.out.println("Error: " + e.getStatus());
            response = null;
            latestStatusCode = e.getStatus().getCode();
        }
        return response;
    }
}