5 passos para obter de dados sobre o mercado Imobiliário na prática

Abel Rapha

Abel Rapha

Já imaginou como é que algumas empresas conseguem extrair dados da internet? E mais, como elas conseguem fazer esses dados se tornarem informações útil para o seu negócio no ramo imobiliário? Bom, então meu objetivo aqui é te mostrar como nós, programadores, fazemos isso e fazemos a mágica acontecer

Passo 1: Onde pegaremos essas informações?

Bom, vamos pensar? 🤔. Que tal se a gente pegasse isso de uma rede social corporativa onde empresas que buscam networking estão? E se você pensou no Linkedin, acertou em cheio!!

Passo 2: Quais dados eu consigo extrair dos perfis?

Certo, nesse ponto conseguimos encontrar algumas informações úteis das empresas como:

  • Nome da Empresa
  • Website
  • Data da fundação
  • Localização
  • Quantidade de funcionários
  • Setor em que atua

Todas essas informações são de cadastro da própria empresa, então, caso a empresa não tenha preenchido completamente todas as informações é possível que não tenhamos algumas informações para realizarmos a análise.

Passo 3: Mas com qual ferramenta irei realizar essa extração?

E é aí que entra o meu queridinho: o Python .

Isso mesmo, usaremos uma linguagem de programação para fazer essa extração de forma ágil e automatizada. CAAAALLLMMMAAA!! Não fecha esse artigo ainda não! TE PROMETO, não é um bicho de 7 cabeças.

Tá, eu vou usar o Python e mais o quê? Okay, vamos utilizar algumas bibliotecas, que são nada mais nada menos que códigos que outra pessoas criaram e que podemos reutilizar para outra finalidade [emoji smile]. As bibliotecas que utilizaremos serão:

  • Selenium (automação web)
  • Beautiful Soup (extração e tratamento das informações)
  • Pandas (armazenamento das informações para um tipo planilha do Excel) 

Passo 4: Criação do código, obtenção dos dados,

tratamento e armazenamento das informações

Nossa, mas que quarto ponto grande! Parece, grande, mas é que todas essas bibliotecas fazem isso para a gente de forma automatizada.

Para isso precisaremos de um navegador para acessar o linkedin e coletar as informações. Eu utilizarei o Chrome. Também vamos precisar de um editor de texto. Pode ser esse bloco de notas do seu computador mesmo. Só não esqueça de renomear o arquivo com final .py, tipo assim: “nome-do-arquivo.py”.

Agora mão na massa!!!

No editor de texto você vai começar a codar

– Importando as bibliotecas: Selenium, Pandas, Beautiful Soup e o Time

from bs4 import BeautifulSoup

from selenium import webdriver as web

import pandas as pd

import time

 

– Configurando o navegador

# Acessar a home do linkedin

option = web.ChromeOptions()

option.headless = True

driver = web.Chrome(options=option)

 

– Entrando no Linkedin

#Encontrando os elementos para realizar o login

elementID = driver.find_element_by_id(‘username’)

elementID.send_keys(login)

elementID = driver.find_element_by_id(“password”)

elementID.send_keys(password)

elementID.submit()

Acessando um perfil de empresas, coloque o link desses perfis em um bloco de notas na mesma pasta onde você está criando o seus códigos. Veja um exemplo com as 7 empresas do Grupo Brognoli.

– Código de extração, tratamento e exportando os dados

Para estruturar esse código você vai precisar de algumas coisas:

1. Um dicionário, para que armazene as informações a serem obtidas

2. Estrutura de repetição, para que esse conjunto de empresas sejam coletadas de forma automática

3. Obter o HTML da página do Linkedin. (Clicando com o Botão esquerdo do mouse e depois em inspecionar, você verá o html ao seu lado direito da página)

4. Pegue o id=”main”, pois é lá que está todas as informações necessárias

5. Com a Beautiful Soup é possível buscar pelo HTML os dados que queríamos:

      Nome da Empresa

      Website

      Data da fundação

      Localização

      Quantidade de funcionários

      Setor em que atua

 

E aqui está o resultado!

Passo 5: Agora chegou a forma de apresentar os

dados em informações visuais

Nesse caso eu recomendo fortemente o Google Data Studio. É uma excelente ferramenta para criação de dashboards e análise dados. E o melhor de tudo é que é uma ferramento gratuita e basta ter uma conta do gmail.

Basta exportar a planilha que obtemos para o Data Studio, e começar a criar alguns gráficos e métricas que podem ser importantes para analisar o mercado imobiliário.

 

  • Mediana do Tempo de fundação
  • Quantidade de funcionários para cada empresa do setor
  • Localidade das empresas
  • Setores que a empresa atua no ramo imobiliário

 

A partir disso é possível obter uma visão geral do mercado que você deseja, seja por cidade ou estado. E conseguir analisar o crescimento das empresas analisadas também pelo google trends também. Podendo fazer algumas relações entre as empresas analisadas e verificar a penetrabilidade dessas empresas com relação a concorrência.

E aí? Conseguiu se inserir um pouquinho mais na era dos dados? Esperamos que sim!

Sobre o autor

Abel Rapha

Abel Rapha

Abel Rapha

Abel Rapha

Continue explorando..