🧠 Job Data Insight

Análise do mercado de trabalho em dados no Brasil

🔗 Sobre o Projeto

O Job Data Insight é um projeto de análise investigativa sobre o mercado de trabalho em dados no Brasil.

A partir de uma coleta estruturada de vagas publicadas em plataformas profissionais, o projeto transforma descrições textuais em dados organizados — mapeando padrões, exigências, tendências e possíveis distorções nas definições de senioridade.

Funciona como uma plataforma de inteligência de mercado, orientando decisões, acelerando desenvolvimento de competências e promovendo uma compreensão mais clara sobre o cenário real da área de dados no Brasil.

🔥 Origem e Propósito do Projeto

O Job Data Insight nasceu como uma ferramenta prática e estratégica dentro do processo de transição de carreira para dados.

Entender o mercado de trabalho não é apenas uma etapa complementar — é parte central da construção de uma transição estruturada.

Diante de um cenário onde as exigências, competências e expectativas nem sempre são claras, a decisão foi construir uma abordagem orientada por dados:

→ Mapear as vagas
→ Entender os padrões de demanda
→ Identificar como as competências se distribuem entre setores, cargos e níveis de senioridade

O projeto se estabelece como uma ferramenta de inteligência sobre o mercado de dados no Brasil, capaz de responder perguntas como:

Quais são as hard skills e soft skills mais demandadas?
Existe coerência entre os cargos, as exigências e os níveis declarados?
Como os setores se diferenciam (ou não) na busca por profissionais de dados?

Mais do que entender o mercado, este projeto também cumpre um papel estratégico:
→ Guiar decisões sobre onde concentrar esforços, quais competências priorizar e como se posicionar dentro do universo de dados.

🚦 Observação Ética e Técnica sobre a Coleta

Para garantir total alinhamento ético, a coleta dos dados foi feita de forma manual na Fase 1, sem qualquer violação de termos de uso.

Posteriormente, o processo foi complementado com um agente de automação leve — um script que acessa os links manualmente coletados, aguarda o carregamento da página e extrai o HTML da descrição da vaga.

Não se trata de web scraping massivo ou coleta indiscriminada de dados.
Toda a abordagem foi projetada para ser ética, responsável e transparente.

🎯 Objetivo Geral

Mapear e compreender padrões no mercado de trabalho em dados no Brasil.
Analisar demandas técnicas, comportamentais e setoriais.
Identificar possíveis incoerências entre cargos, exigências e níveis de senioridade.
Transformar dados não estruturados (descrições de vagas) em insights acionáveis.
Construir uma base que alimente os relatórios periódicos do Data Job Signals.

🏗️ Arquitetura do Projeto

Etapa 1 — Coleta e Estruturação dos Dados
→ Coleta manual dos links das vagas em plataformas profissionais.
→ Captura do HTML das vagas.
→ Extração dos dados brutos.

Etapa 2 — Processamento e Estruturação
→ Uso de agentes de NLP (via GPT) para transformar descrições em dados estruturados:

Hard skills
Soft skills
Idiomas
Benefícios
Nível de senioridade estimado
Sinais de incoerência nas exigências

Etapa 3 — Análise Exploratória e Investigação
→ Análise dos padrões de exigências.
→ Classificação por setor e subsetor.
→ Detecção de distorções e inconsistências no mercado.

Etapa 4 — Publicação e Storytelling
→ Consolidação dos dados no relatório Data Job Signals.
→ Publicação dos insights no site do Small Data Lab.

🔍 Sobre o Dataset

O dataset do Job Data Insight é estruturado de forma contínua e acumulativa, reunindo dados de vagas da área de dados publicadas em plataformas profissionais no Brasil.

A coleta ocorre de forma periódica, permitindo análises tanto do panorama atual quanto da evolução das demandas ao longo do tempo.

O projeto tem como foco principal o cargo de Cientista de Dados, por ser referência no mercado e alinhado aos objetivos estratégicos desta análise.

Entretanto, outras funções como Analista de Dados, Engenheiro de Dados e Analista de BI também são incorporadas de forma complementar, ampliando a compreensão sobre o ecossistema de dados no país.

Cada relatório do Data Job Signals representa um recorte específico desse dataset, com análises focadas no período de coleta, mas sempre conectado a um contexto mais amplo de evolução do mercado.

🚩 Status Atual

→ Projeto ativo e em andamento contínuo.
→ Dataset inicial estruturado com 75 vagas de Cientista de Dados (Edição 1).
→ Coleta em expansão, incorporando as funções de Analista de Dados, Engenheiro de Dados e Analista de BI (a partir da Edição 2).
→ Primeira edição do relatório Data Job Signals publicada.
→ Processo contínuo de expansão da amostra, evolução dos agentes e aprofundamento das análises.

🚀 Próximos Passos

Expandir a amostra para outras funções da área de dados (Analista de Dados, Engenheiro de Dados e Analista de BI).
Refinar os agentes de extração e classificação.
Explorar análises temporais e evolução do mercado.
Desenvolver dashboards interativos.
Publicar futuras edições do Data Job Signals com recortes específicos e análises aprofundadas.

🛑 Disclaimer

Este projeto é uma demonstração técnica, sem qualquer vínculo com empresas, plataformas de vagas, consultorias de recrutamento ou qualquer entidade relacionada.

Os dados utilizados são públicos, coletados a partir de descrições de vagas disponíveis em plataformas profissionais, anonimizados e tratados exclusivamente para fins de desenvolvimento de competências, análise crítica do mercado de dados e demonstração de soluções técnicas aplicadas à Ciência de Dados.

🔥 Observação Final

O Job Data Insight é um projeto central no ecossistema do Small Data Lab, funcionando como um laboratório contínuo de análise de mercado, desenvolvimento de competências em análise de dados, NLP, storytelling e inteligência aplicada ao mercado de trabalho em dados.

🛠️ Tecnologias e Ferramentas

→ Linguagem:

Python

→ Processamento e Banco Local:

DuckDB
Pandas

→ NLP e Extração:

Agentes GPT (OpenAI API)
BeautifulSoup
Selenium (captura de HTML)

→ Visualização:

Matplotlib
Seaborn

→ Gestão de Projeto:

Git
GitHub

🔗 Acesso ao Código no GitHub

Todo o pipeline, os scripts, os notebooks, os datasets tratados e a documentação técnica deste projeto estão disponíveis publicamente no GitHub.

→ Acessar o repositório no GitHub

📊 Relatórios Derivados — Data Job Signals

Este projeto é a base dos relatórios periódicos do Small Data Lab sobre o mercado de trabalho em dados no Brasil.

→ Data Job Signals — Edição 1 (Junho/2025)

✔️ À medida que o projeto evolui, novas edições serão publicadas, acompanhando as mudanças e os movimentos do mercado.