Descrição do Curso
Uma realidade da maioria dos projectos de visualização de dados é que, normalmente, terá de enfrentar a tarefa de obter ou criar alguns dos dados de que necessita. Nestas lições, concentramo-nos em duas das técnicas automatizadas mais comuns para obter dados e enfatizamos como pode sempre introduzir os dados de que necessita. Aprenderá que um website é todo em HTML, com muitas etiquetas que podem ser utilizadas para identificar e obter dados. Em nosso exemplo, usaremos a biblioteca Beautiful Soup para interrogar um site à procura de uma palavra-chave e, em seguida, extrair todos os links da Web associados a essa palavra-chave, disponibilizando os links de forma programática.
Em seguida, usaremos uma API RESTful para obter dados de uma abordagem cada vez mais comum para a troca de dados. A Representational State Transfer, ou REST, é uma interface de programa de aplicação que funciona na Internet e permite o acesso programático a um repositório de informações. Também vamos explorar várias APIs e extrair dados para um modelo que podemos plotar. Por fim, combinaremos várias práticas recomendadas num único exercício e exploraremos dados de uma estrutura de dados do Pandas com longitude, latitude e magnitude de eventos que podemos representar num mapa mundial.
O Que Você Vai Aprender
- Obter dados por web scraping de sites usando tags HTML
- Usar a biblioteca Beautiful Soup e a biblioteca requests para encontrar uma palavra-chave e extrair links web associados programaticamente
- Obter dados através de APIs RESTful para acessar um repositório de informações pela internet
- Extrair dados de várias APIs em um modelo que você pode plotar
- Plotar dados de longitude, latitude e magnitude de um dataframe Pandas em um mapa-múndi
- Reconhecer dados geocêntricos
Principais Conclusões
- A maioria dos projetos de visualização de dados exige que você obtenha ou crie alguns dos dados você mesmo, e os dados podem sempre ser digitados manualmente quando necessário.
- Um site é todo HTML, com muitas tags que podem ser usadas para identificar e extrair dados.
- Beautiful Soup pode interrogar um site para uma palavra-chave e disponibilizar os links web associados programaticamente.
- REST (Transferência de Estado Representacional) é uma interface de programação de aplicação que funciona pela internet e permite acesso programático a um repositório de informações.
- Os dados de um dataframe Pandas contendo longitude, latitude e magnitude de eventos podem ser plotados em um mapa-múndi.
Perguntas Frequentes
Que técnicas de coleta de dados este curso abrange?
Ele se concentra em duas técnicas automatizadas comuns para obter dados: web scraping de sites usando a biblioteca Beautiful Soup e obtenção de dados através de APIs RESTful. Ele também enfatiza que você sempre pode digitar os dados de que precisa.
Que bibliotecas e ferramentas vou trabalhar?
Você usará a biblioteca Beautiful Soup e a biblioteca requests para fazer web scraping de sites, APIs RESTful para obter dados e um dataframe Pandas para plotar dados em um mapa-múndi.
O que vou conseguir fazer ao final do curso?
Você conseguirá obter dados por scraping e por APIs RESTful, compreender Beautiful Soup e a biblioteca requests, reconhecer dados geocêntricos e plotar longitude, latitude e magnitude de eventos em um mapa-múndi.
Que aulas estão incluídas neste curso?
O curso inclui três aulas: Web Scraping Usando a Web, Web Scraping Usando uma API e Plotagem de Dados em Mapas Geográficos.
Que habilidades este curso ajuda a construir?
Ele constrói habilidades em mapeamento de dados, visualização de dados, mapas de dados, visualização de informações, visualização científica e visualização.
