Especialista Senior en Cloudera (Big Data y Google Cloud)

Requisitos

• 6+ años de experiencia en la carrera
• Cloudera
• Google Cloud

Habilidades deseadas

• Big Data

Tareas y Responsabilidades

SOBRE LA VACANTE

Buscamos un profesional para actuar como Especialista Senior de Cloudera en un proyecto estratégico de migración de plataforma de datos de una gran institución financiera.

El desafío implica la migración del entorno Cloudera en AWS a Google Cloud, con aproximadamente 13 mil jobs de Spark y PySpark y 2,5 PB de datos. El profesional será la referencia técnica del entorno legado, contribuyendo a preservar el comportamiento de los componentes durante la migración.

La vacante también está abierta a personas con discapacidad.

RESPONSABILIDADES DE LA VACANTE

Analizar el entorno Cloudera CDP, sus servicios, configuraciones, dependencias y jobs en producción.

Apoyar el levantamiento del inventario y de las dependencias entre orígenes, jobs, tablas y consumidores.

Mapear recursos de Cloudera e indicar equivalencias o adecuaciones necesarias en Google Cloud.

Apoyar la migración de Spark, Hive, Impala, Kudu, HBase, Kafka y NiFi, incluyendo versiones legadas de Spark.

Investigar diferencias entre los entornos de origen y destino e identificar sus causas.

Apoyar la migración de políticas de seguridad y gobernanza, incluyendo Ranger, Atlas y Kerberos.

Colaborar con especialistas del cliente en la comprensión de los frameworks propietarios sobre Cloudera.

Documentar el conocimiento del entorno legado para los equipos de ingeniería.

REQUISITOS

Título universitario completo en Tecnología, Ingeniería o áreas afines.

Mínimo 6 años de experiencia con el ecosistema Hadoop, siendo al menos 4 años con Cloudera CDH o CDP.

Experiencia mínima de 1 año con Google Cloud en proyectos o entornos de datos.

Disponibilidad para actuar 100% presencial en São Paulo y en ventanas de implementación.

COMPETENCIAS COMPORTAMENTALES

Didáctica para explicar el entorno legado a equipos y especialistas de diferentes niveles.

Capacidad de investigar problemas de forma estructurada, con enfoque en la causa raíz.

Colaboración cercana con los especialistas del cliente.

Organización en la documentación y el intercambio de conocimiento técnico.

COMPETENCIAS TÉCNICAS

Experiencia con Cloudera CDH o CDP en producción y con el ecosistema Hadoop.

Dominio de Spark, PySpark, Hive e Impala en entornos de producción de gran escala.

Experiencia con Kudu, HBase, Kafka o NiFi.

Conocimiento de seguridad y gobernanza en Cloudera: Ranger, Atlas y Kerberos.

Experiencia con Google Cloud: Dataproc, BigQuery y Cloud Storage.

Son diferenciales: experiencia en migración de Cloudera o Hadoop a la nube; certificación Cloudera o Google Cloud; experiencia con Cloudera Data Engineering (CDE), Airflow, Apache Flink y CDC (Debezium); y experiencia en instituciones financieras.

MODELO DE TRABAJO

Contratación: CLT + beneficios.

Salario: negociable.

Formato: 100% presencial.

Ubicación: institución financiera en la Avenida Paulista, São Paulo/SP.