Introdução ao R on Profa. Renata Oliveira

Atividade 1

Fri, 15 Oct 2021 00:00:00 +0100

A Unidade 1 é estruturada considerando os seguintes tópicos:

Instalação do R e do RStudio
Como instalar o Git
Criando uma conta no Github
Instalar e carregar pacotes no R
Instalar pacotes no R a partir do Github
E aí, R? Entendendo o ambiente de trabalho
Primeiros documentos no R - RMarkdown

Esta atividade deverá ser realizada até dia 19/10, quando teremos nosso primeiro encontro síncrono. São propostas as seguintes atividades:

Instale o R, o RStudio e o Git no seu computador - Link
Crie uma conta no Github, caso ainda não tenha - Link
Faça o tutorial - Link
Faça o tutorial de Markdown desenvolvido pelas R-Ladies Beatriz Milz e Haydée Svab - Link
Crie o seu primeiro documento RMarkdown. Para tanto, escolha o tipo de output que quer gerar. Não se preocupe com o conteúdo por enquanto. Apenas explore as diferentes possibilidades de outputs! Lembre-se que a extensão desse arquivo é .Rmd - Link

No site do RStudio há uma série de modelos de arquivos que podem ser gerados a partir do RMarkdown.

A(s) entrega(s) será(ão):

Arquivo .Rmd referente à tarefa 5 desta atividade pela tarefa no SIGAA.
Explorar toda a documentação, tentar solucionar dúvidas com os colegas e trazer dúvidas para nosso encontro!

Algumas dicas adicionais para a tarefa 5.

No RStudio, crie um novo documento R Markdown escolhendo Arquivo | Novo | R Markdown. Clique no botão Knit HTML na barra de ferramentas do doc para visualizar seu documento.

Se você quiser tornar o seu documento público, recomendo, inicialmente, utilizar o RPubs. Alguns passos para isso:

Na janela de pré-visualização, clique no botão Publicar.
É um processo em duas etapas. Na primeira etapa, você precisa registrar uma conta RPubs ou fazer o login, caso já tenha uma. Você escreve o título de seu documento e dá uma breve descrição (para que outros possam encontrar seu trabalho a partir da busca).
Uma vez terminado e clicando no botão Continue na parte inferior, você irá diretamente para o artigo publicado.
Você pode optar por atualizar seu conteúdo.

BÔNUS: Rode o seu primeiro documento em RMarkdown!

Salve o arquivo em um diretório que você consiga acessar depois. Sugiro criar um diretório para essa finalidade.
Abra o arquivo no RStudio: File | Open File e navegue até o arquivo 01-covid.Rmd selecionando-o.
Você identificará o arquivo por meio do YAML com title: "Mortes por COVID-19"
Verifique se houve alguma mensagem abaixo da barra de ferramentas da janela de edição do RMarkdown para que sejam instalados packages necessários para rodar esse .Rmd
Clique no botão de knitr.

Aprecie o seu documento BÔNUS!

Atividade 2

Fri, 15 Oct 2021 00:00:00 +0100

A Unidade 2 é estruturada considerando os seguintes tópicos:

Estrutura de dados no R;
Tipos de dados, importação de base de dados, criação de objeto (vetores, matrizes, data frames), operadores aritméticos, de comparação e lógicos;
Visualização de dados no R.

Esta atividade deverá ser realizada até dia 26/10, quando teremos nosso segundo encontro síncrono. São propostas as seguintes atividades:

Faça o download do arquivo disponível no link
Resolva as questões.
Gere um tipo de documento .Rmd de sua preferência.
Envie por email (renataoliveira@gmail.com ou renataoliveira@cefetmg.br) o arquivo .Rmd e o arquivo gerado.

A(s) entrega(s) será(ão):

Arquivos referentes à tarefa 4 desta atividade.

Operações matemáticas e vetores

Exercícios:

Questão 1:

Qual é a classe dos vetores abaixo? Imprima o vetor com print e tente advinhar. Use a função class para descobrir a resposta.

v1 <- c(1, 2, TRUE, 4)
v2 <- c("T", "TRUE", "FALSE", "T")
v3 <- c("1", "2", "3", "4")
v4 <- c(1, "4", 4, 1)
v5 <- c(1, 2, "feijao com arroz")
v6 <- c("Beatriz", "Pedro", TRUE)
v7 <- c(T, T, F, T, F, F, 42)

Você consegue identificar as regras de combinação de tipos de dados diferentes em um mesmo vetor? Se tiver dúvidas, pergunte.

Questão 2:

Veja as cores de veículos comercializados por uma concessionária na semana passada.

colours <- factor(c("red","blue","red","white",
"silver","red","white","silver",
"red","red","white","silver","silver"),
levels=c("red","blue","white","silver","black"))

Se você colocar o código a seguir, o que acontece? Por que? Responda na atividade da semana.

colours[4] <- "orange"
colours

Utilize a função table para determinar a quantidade de automóveis comercializados de cada cor. Pesquise na internet e pergunte caso tenha dúvidas.

table(colours)

d11 <- plyr::count(colours)
d12 <- plyr::count(mtcars, vars = "cyl")
d13 <- gmodels::CrossTable(colours)

Questão 3:

Considere:

car.type <- factor(c("saloon","saloon","hatchback",
"saloon","convertible","hatchback","convertible",
"saloon", "hatchback","saloon", "saloon",
"saloon","hatchback"),
levels=c("saloon","hatchback","convertible"))

Gere a tabela de frequências para os dados car.type.

Experimente:

table(car.type, colours)
gmodels::CrossTable(car.type, colours)

Qual a diferença entre o uso da função table com um ou argumentos? Qual a diferença entre table(car.type, colours) e table(colours, car.type)?

Questão 4:

Crie dois novos vetores. No primeiro, anote (invente) o número de palavras que você escreveu no último trabalho acadêmico ou relatório técnico em cada semana, considerando os últimos três meses. No segundo, anote (chute, novamente) quantos litros de café você tomou em cada semana.
Nomeie os elementos dos 2 vetores.
Calcule sua produtividade em “palavras por Litro de café”. Atribua o resultado a um novo vetor.

Lab 1

Fri, 15 Oct 2021 00:00:00 +0100

A Unidade 1 é estruturada considerando os seguintes tópicos:

Instalação do R e do RStudio
Como instalar o Git
Criando uma conta no Github
Instalar e carregar pacotes no R
Instalar pacotes no R a partir do Github
E aí, R? Entendendo o ambiente de trabalho
Primeiros documentos no R - RMarkdown

Diretrizes gerais:

Baixe o arquivo .Rmd e abra no RStudio.

Arquivo

Instale os pacotes:

"tidyverse"
"tinytex"
"knitr"
"flexdashboard"
"xaringan"
"xaringanthemer"

Chame as bibliotecas dos pacotes instalados

library("tidyverse")
library("tinytex")
library("knitr")
library("flexdashboard")
library("xaringan")
library("xaringanthemer")

Corrija os problemas de códigos nos respectivos chunks.
Rode o arquivo .Rmd por meio do ícone knitr
Salve o .Rmd e submeta-o por meio da tarefa no Sigaa.

Dica: As barras que delimitam o endereçamento do arquivo no seu computador, quando exibidas no explorer do Windows, são invertidas (). O R trabalha com barras normais (/) para endereçamento.

Preparação para o exercício:

Carregue o data frame mtcars

data(mtcars)

Encontre o erro em todos os códigos abaixo, corrija-os e rode o script:

Q1)

Head(mtcars)

Q2)

str(Mtcars)

Q3)

dim[mtcars]

Q4)

nomes(mtcars)

Q5)

head(mtcars, x = 10)

Q6)

v1 <- ("pato", "cachorro", "minhoca", "lagarto")

Q7)

v2 <- c("1", "2", "3", "4")
v1 + 42

Q8)

v1 <- c("pato", "cachorro", "minhoca", "lagarto"

Q9)

v3 <- c(33 31 40 25 27 40)

Q10)

v1 <- c(pato, cachorro, minhoca, lagarto)

Q11)

v1 <- c("pato" "cachorro" "minhoca" "lagarto")

Q12)

v3 <- C(33, 31, 40, 25, 27, 40)

Q13)

v1 <- c("pato", "cachorro"", "minhoca", "lagarto")
v3 <- c(33, 31, 40, 25, 27, 40)
myData <- data.frame(v1, v3)

Q14)

v1 <- c("pato", "cachorro"", "minhoca", "lagarto")
v4 <- c(33, 31, 40, 25)
myData <- data.frame(v1 = animal, v4 = idade)

Q15)

ls

Q16)

v1 <- c("pato", "cachorro", "minhoca", "lagarto")
sum(v1)

Atividade 3

Fri, 15 Oct 2021 00:00:00 +0100

A Unidade 3 é estruturada considerando os seguintes tópicos:

Manipulação e transformação de dados no R: funções para manipulação e tratamento de dados.
Estatística descritiva e mineração de dados

Esta atividade deverá ser realizada até dia 09/11, quando teremos nosso segundo encontro síncrono. São propostas as seguintes atividades:

Faça o download do arquivo disponível no link
Resolva as questões.
Gere um tipo de documento .Rmd de sua preferência.
Envie por email (renataoliveira@gmail.com ou renataoliveira@cefetmg.br) o arquivo .Rmd e o arquivo gerado.

A(s) entrega(s) será(ão):

Arquivos referentes à tarefa 4 desta atividade.

A poluição por plástico é um problema importante e crescente, afetando negativamente a saúde dos oceanos e da vida selvagem. Our World in Data tem muitos dados em vários níveis, em escala global, por país e ao longo do tempo.

Para este laboratório, nos concentramos nos dados de 2010.

Além disso, a National Geographic realizou um concurso de comunicação de visualização de dados sobre resíduos plásticos, como visto aqui.

Os dados estão no Link

Objetivos de aprendizagem

Visualizar dados numéricos e categóricos e interpretar visualizações
Recriação de visualizações

Pacotes

Usaremos o pacote tidyverse* para esta análise. Execute o seguinte código no Console para carregar este pacote.

library(tidyverse)

Dados

O conjunto de dados para esta tarefa pode ser encontrado no link a seguir, acessado por meio do comando:


#url_file <- "atalho no seu computador/plastic-waste.csv"
#plastic_waste <- read_csv(url_file)
#library(readr)
plastic_waste <- read_csv("D:/OneDrive - cefetmg.br/01_disciplinas/ERE/2020_2/R_adm/00_aulas/class07_dados_adm/data/plastic-waste.csv")
View(plastic_waste)

As descrições das variáveis são as seguintes:

code: código do país
entity: Nome do país
continent: Nome do continente
year: Ano
gdp_per_cap: PIB per capita internacional 2011 $, taxa
plastic_waste_per_cap: Quantidade de resíduos plásticos per capita em kg/dia
mismanaged_plastic_waste_per_cap: Quantidade de resíduos plásticos mal administrados per capita em kg/dia
mismanaged_plastic_waste: Toneladas de resíduos plásticos mal administrados
coastal_pop: Número de indivíduos que vivem no litoral/na costa
total_pop: População total de acordo com Gapminder

Warm up

Recorde que o RStudio está dividido em quatro painéis. Sem olhar, você pode nomeá-las todas e descrever brevemente seu propósito?
Verifique se o conjunto de dados foi carregado para o Ambiente. Quantas observações há no conjunto de dados? Ao clicar no conjunto de dados no Ambiente, você poderá inspecioná-lo com mais cuidado. Alternativamente, você pode digitar View(plastic_waste) no Console para fazer isso.
Dê uma rápida olhada nos dados e observe que há células que levam o valor NA - o que isso significa?

Exercícios

Vamos começar dando uma olhada na distribuição de resíduos plásticos per capita em 2010.

ggplot(data = plastic_waste, aes(x = plastic_waste_per_cap)) +
geom_histogram(binwidth = 0.2)

Um país se destaca como uma observação incomum no topo da distribuição.

Uma maneira de identificar este país é filtrar os dados para países onde os resíduos plásticos per capita são maiores que 3,5 kg/pessoa.

plastic_waste %>%
filter(plastic_waste_per_cap > 3.5)

Você esperava este resultado?

Você poderia considerar fazer alguma pesquisa sobre Trinidad e Tobago para ver por que os resíduos plásticos per capita são tão altos lá, ou se isto é um erro de dados.

Faça um histograma para a distribuição de resíduos plásticos per capita desagregados (facet) por continente. O que você pode dizer sobre como os continentes se comparam uns aos outros em termos de seus resíduos plásticos per capita?

ggplot(data = plastic_waste, aes(x = plastic_waste_per_cap)) +
geom_histogram() +
facet_wrap(~ continent)

Outra forma de visualizar os dados numéricos é utilizando gráficos de densidade.

ggplot(data = plastic_waste, aes(x = plastic_waste_per_cap)) +
geom_density()

E comparar as distribuições entre continentes por curvas de densidade de coloração por continente.

ggplot(data = plastic_waste,
mapping = aes(x = plastic_waste_per_cap,
color = continent)) +
geom_density()

O gráfico resultante pode ser um pouco difícil de ler, então vamos também preencher as curvas com cores.

ggplot(data = plastic_waste,
mapping = aes(x = plastic_waste_per_cap,
color = continent,
fill = continent)) +
geom_density()

A sobreposição de cores torna difícil dizer o que está acontecendo com as distribuições nos continentes plotados devido a continentes plotados sobre eles.

Podemos mudar o nível de transparência da cor de preenchimento para ajudar nisso.

O argumento alpha recebe valores entre 0 e 1: 0 é completamente transparente e 1 é completamente opaco. Não há como dizer qual valor funcionará melhor, então você só precisa tentar alguns valores.

ggplot(data = plastic_waste,
mapping = aes(x = plastic_waste_per_cap,
color = continent,
fill = continent)) +
geom_density(alpha = 0.5)

Isto ainda não parece ótimo…

Recriar as parcelas de densidade acima usando um nível alpha diferente (inferior) que funcione melhor para exibir as curvas de densidade para todos os continentes.
Descreva porque definimos a “cor” e “preenchimento” das curvas através do mapeamento estético do gráfico, mas definimos o nível “alpha” como uma característica da geometria de plotagem.

E ainda outra maneira de visualizar esta relação é utilizando gráficos boxplot.

ggplot(data = plastic_waste,
mapping = aes(x = continent,
y = plastic_waste_per_cap)) +
geom_boxplot()

Converta os boxplot da tarefa anterior para plot de violino. O que os gráficos de violino revelam que os boxplot não revelam? Quais características são aparentes nas parcelas de box mas não nas parcelas de violino?

ggplot(data = plastic_waste,
mapping = aes(x = continent,
y = plastic_waste_per_cap)) +
geom_violin()

Visualizar a relação entre os resíduos plásticos per capita e os resíduos plásticos mal administrados per capita usando um gráfico de dispersão. Descrever a relação.
Colorir os pontos no gráfico de dispersão por continente. Parece haver alguma distinção clara entre continentes com relação a como os resíduos plásticos per capita e os resíduos plásticos mal administrados per capita estão associados?
Visualize a relação entre os resíduos plásticos per capita e a população total, assim como os resíduos plásticos per capita e a população costeira. Você precisará fazer duas parcelas separadas. Algum destes pares de variáveis parece estar associado de forma mais linear?


plastic_waste %>%
ggplot(aes(x = mismanaged_plastic_waste_per_cap, y = plastic_waste_per_cap, color = continent)) +
geom_point() +
scale_color_viridis_d() +
labs(x = "Resíduos plásticos mal administrados per capita",
y = "Resíduos plásticos per capita",
color = "Continente",
title = "Resíduos plásticos per capita e os resíduos plásticos mal administrados per capita",
subtitle = "por continente") +
theme_minimal()
plastic_waste %>%
ggplot(aes(x = coastal_pop, y = plastic_waste_per_cap, color = continent)) +
geom_point() +
scale_color_viridis_d() +
labs(x = "Resíduos plásticos mal administrados per capita",
y = "Resíduos plásticos per capita",
color = "Continente",
title = "Resíduos plásticos per capita e os resíduos plásticos mal administrados per capita",
subtitle = "por continente") +
theme_minimal()
plastic_waste %>%
ggplot(aes(x = total_pop, y = plastic_waste_per_cap, color = continent)) +
geom_point() +
scale_color_viridis_d() +
labs(x = "Resíduos plásticos mal administrados per capita",
y = "Resíduos plásticos per capita",
color = "Continente",
title = "Resíduos plásticos per capita e os resíduos plásticos mal administrados per capita",
subtitle = "por continente") +
theme_minimal()

Recrie o seguinte gráfico e interprete o que você vê no contexto dos dados.

plastic_waste %>%
mutate(coastal_pop_prop = coastal_pop / total_pop) %>%
filter(plastic_waste_per_cap < 3) %>%
ggplot(aes(x = coastal_pop_prop, y = plastic_waste_per_cap, color = continent)) +
geom_point() +
geom_smooth(color = "black") +
scale_color_viridis_d() +
labs(x = "Coastal population proportion (Coastal / total population)",
y = "Plastic waste per capita ",
color = "Continent",
title = "Plastic waste vs. coastal population proportion",
subtitle = "by continent") +
theme_minimal()

Lab 2.1 - `ggplot`

Fri, 15 Oct 2021 00:00:00 +0100

A Unidade 2 é estruturada considerando os seguintes tópicos:

Estrutura de dados no R;
Tipos de dados, importação de base de dados, criação de objeto (vetores, matrizes, data frames), operadores aritméticos, de comparação e lógicos;
Visualização de dados no R.

Diretrizes gerais

Baixe o arquivo .Rmd e abra no RStudio.

Arquivo

Siga as diretrizes da atividade.
Rode o arquivo .Rmd por meio do ícone knitr
Salve o .Rmd e submeta-o por meio da tarefa no Sigaa.

Atividade

Dê uma olhada no dataframe Starwars.

glimpse(starwars)

Modifique o seguinte gráfico para que a cor de todos os pontos seja ROSA.

ggplot(starwars,
aes(x = height, y = mass, color = gender, size = birth_year)) +
geom_point(color = "pink")

Adicione texto no título, eixos x e y e tamanho dos pontos. Remova o comentário para ver o efeito.

ggplot(starwars,
aes(x = height, y = mass, color = as.factor(gender), size = birth_year)) +
geom_point() +
labs(
title = "TEste",
x = "Adoro",
y = "WOW",
size = "Idade"
)

Escolha uma única variável categórica do conjunto de dados e faça um gráfico de barras de sua distribuição.

(Um pouco de código inicial é fornecido abaixo, e o chunk é definido para não ser rodado com eval = FALSE porque o código atual ali não é válido e, portanto, o documento não permitia o knit. Uma vez substituído o código por um código válido, defina a opção “eval = TRUE”, ou remova a opção “eval” por completo, uma vez que está definida como “TRUE” por padrão).

ggplot(starwars, aes(___)) +
geom___

Escolha uma única variável numérica e faça um histograma dela.

(Desta vez nenhum código inicial é fornecido, você está por sua conta!)

Escolha uma variável numérica e uma variável categórica e faça uma visualização (você escolhe o tipo!) para visualizar a relação entre as duas variáveis. Junto com seu código e sua saída, forneça uma interpretação da visualização.

Escolha duas variáveis categóricas e faça uma visualização para entender visualmente a relação entre as duas variáveis. Junto com seu código e saída, forneça uma interpretação da visualização.

Escolha duas variáveis numéricas e duas variáveis categóricas e faça uma visualização que incorpore todas elas e forneça uma interpretação com sua resposta.

Atividade 4

Fri, 15 Oct 2021 00:00:00 +0100

Introdução ao R - Processamento com Matrizes

Lucélia Vaz

Retrospecto e agenda

1 - O que é o ambiente R e para que serve?

2 - Tipos básicos de dados no R.

3 - Criando e nomeando vetores no R.

4 - Subconjuntos de vetores no R.

5 - Como criar e nomear matrizes no R.

6 - Operações aritméticas com matrizes.

Recursos

Vídeos DataCamp

Dados

Exercício

Os dados abaixo correspondem às observações sobre Despesa de Consumo Pessoal e Produto Interno Bruto em bilhões de dólares de 2000, para os Estados Unidos. Os dados foram obtidos no livro do Gujarati, intitulado Econometria básica. Existe uma teoria que estabelece uma relação entre o consumo e a renda de um país (medida em termos do Produto Interno Bruto). Partindo do pressuposto que, esta é uma relação linear, temos que o a Despesa de consumo pessoal (Y) guarda a seguinte relação com o Produto Interno Bruto (X).

Y= β₀ + β₁X

Com base no exposto acima, siga as orientações abaixo para obter os valores de β0 e β1 e, assim, determinar a equação da reta.

Base de dados

as.matrix(RendaConsumo)

Atividade

a - Crie um vetor de uns que tenha um número de entradas igual ao número de linhas da matriz acima. Pode denominá-lo “uns”.

b - Crie uma matriz juntando o vetor de “uns” e a terceira coluna da matriz acima. Pode denominá-la X.

c - Crie um vetor a partir da segunda coluna da matriz acima. Pode denominá-lo Y.

d - Realize o seguinte cálculo: (X^TX)⁻¹ X^TY.

e - Identifique o β₀ e o β₁.

Lab 2.2 - `ggplot` e `dplyr`

Fri, 15 Oct 2021 00:00:00 +0100

A Unidade 2 é estruturada considerando os seguintes tópicos:

Estrutura de dados no R;
Tipos de dados, importação de base de dados, criação de objeto (vetores, matrizes, data frames), operadores aritméticos, de comparação e lógicos;
Visualização de dados no R.

Diretrizes gerais

Baixe o arquivo .Rmd e abra no RStudio.

Arquivo

Siga as diretrizes da atividade.
Rode o arquivo .Rmd por meio do ícone knitr
Salve o .Rmd e submeta-o por meio da tarefa no Sigaa.

Atividade

Nessa mini-análise trabalharemos com os dados usados no projeto publicada por Five Thirty Eight “The Dollar-And-Cents Case Against Hollywood’s Exclusion of Women”.

Sua tarefa é preencher os espaços em branco assinalados por ___.

Dados e pacotes

Começamos com o carregamento dos pacotes que vamos utilizar. Lembrem-se que, caso haja algum problema com o carregamento dos pacotes, tente instalá-los novamente.

library(fivethirtyeight)
library(tidyverse)

O conjunto de dados contém informações sobre r nrow(bechdel) filmes lançados entre r min(bechdel$year) e r max(bechdel$year).

Entretanto, vamos focar nossa análise em filmes lançados entre 1990 e 2013.

bechdel90_13 <- bechdel %>%
filter(between(year, 1990, 2013))

Existem ‘___’ filmes. (insira a quantidade de filmes)

As variáveis financeiras em que vamos nos concentrar são as seguintes:

budget_2013: Orçamento em dólares de 2013 ajustados à inflação.
domgross_2013: Dólares internos brutos (EUA) em 2013, dólares ajustados pela inflação.
intgross_2013: Total internacional (i.e., mundial) bruto em 2013 dólares corrigidos da inflação.

E também utilizaremos as variáveis binary e clean_test para grouping.

Análise

Vamos ver como o orçamento médio e o bruto variam conforme o filme caso tenha passado no teste de Bechdel, que é armazenado na variável “binary”.

bechdel90_13 %>%
group_by(binary) %>%
summarise(med_budget = median(budget_2013),
med_domgross = median(domgross_2013, na.rm = TRUE),
med_intgross = median(intgross_2013, na.rm = TRUE))

Em seguida, vamos ver como o orçamento meidano e o bruto variam por um indicador mais detalhado do resultado do teste de Bechdel.

Essa informação é armazenada na variável ‘clean_test’, que assume os seguintes valores:

ok = passa no teste
dubious.
men = as mulheres só falam de homens
notalk = as mulheres não falam umas com as outras
nowomen = menos de duas mulheres

bechdel90_13 %>%
group_by(clean_test) %>%
summarise(med_budget = median(budget_2013),
med_domgross = median(domgross_2013, na.rm = TRUE),
med_intgross = median(intgross_2013, na.rm = TRUE))

A fim de avaliar como o retorno do investimento varia entre os filmes que passam e fracassam no teste de Bechdel, vamos primeiro criar uma nova variável chamada roi como uma razão do orçamento bruto.

bechdel90_13 <- bechdel90_13 %>%
mutate(roi = (intgross_2013 + domgross_2013) / budget_2013)

Vamos ver quais filmes têm o maior retorno sobre o investimento.

bechdel90_13 %>%
arrange(desc(roi)) %>%
select(title, roi, year)

Abaixo está uma visualização do retorno do investimento por resultado de teste, porém é difícil ver as distribuições devido a algumas observações extremas.

ggplot(data = bechdel90_13,
mapping = aes(x = clean_test, y = roi, color = binary)) +
geom_boxplot() +
labs(title = "Retorno do investimento vs. Resultados do teste Bechdel",
x = "Resultado detalhado de Bechdel",
y = "___",
color = "Resultado binário de Bechdel")

Quais são os filmes com retorno de investimento muito altos?

bechdel90_13 %>%
filter(roi > 400) %>%
select(title, budget_2013, domgross_2013, year)

Veja como é a relação entre os filmes com menor retorno e o resultado detalhado do teste Bechedel.

A ampliação dos filmes com roi < ___ proporciona uma melhor visão de como os medianos através das categorias se comparam:

ggplot(data = bechdel90_13, mapping = aes(x = clean_test, y = roi, color = binary)) +
geom_boxplot() +
labs(title = "Retorno do investimento vs. Resultado do teste de Bechdel",
subtitle = "___", # Something about zooming in to a certain level
x = "Resultado detalhado de Bechdel",
y = "Retorno do investimento",
color = "Resultado binário de Bechdel") +
coord_cartesian(ylim = c(0, 15))

Lab 3.1

Fri, 15 Oct 2021 00:00:00 +0100

A Unidade 3 é estruturada considerando os seguintes tópicos:

Manipulação e transformação de dados no R: funções para manipulação e tratamento de dados.
Estatística descritiva e mineração de dados

Diretrizes gerais:

Baixe o arquivo .Rmd e abra no RStudio.

Arquivo

Siga as diretrizes da atividade.
Rode o arquivo .Rmd por meio do ícone knitr
Salve o .Rmd e submeta-o por meio da tarefa no Sigaa.

Manipulação de dados

Exercício 1.

Carregue os dados no seu ambiente.

# From TidyTuesday: https://github.com/rfordatascience/tidytuesday/blob/master/data/2020/2020-02-11/readme.md
hotels <- read_csv("https://raw.githubusercontent.com/rfordatascience/tidytuesday/master/data/2020/2020-02-11/hotels.csv")

Exercício 2.

As pessoas estão viajando por um capricho? Vamos ver…

Preencha os espaços em branco para filtragem de reservas de hotel onde o hóspede é não dos EUA (código do país USA) e o lead_time é menos de 1 dia.

Nota: Você precisará definir eval=TRUE quando tiver uma resposta que queira experimentar.


# on the fly
hotels %>%
filter(
country != "USA",
lead_time < 1
)
# Com registro de objeto
hotel <- hotels %>%
filter(country != "USA", lead_time < 1) %>%
select(country, lead_time)
# Sem pipe
hotels_sem_pipe <- filter(hotels, country != "USA", lead_time < 1)
hotels_sem_pipe <- select(hotels_sem_pipe, country, lead_time)

Exercício 3.

Quantas marcações envolvem pelo menos 1 criança ou bebê?

No seguinte chunk, substitua

[AT LEAST] com o operador lógico para “pelo menos” (em dois lugares)
[OR] com o operador lógico para “ou”

Nota: Você precisará definir eval=TRUE quando tiver uma resposta que queira experimentar.

hotels %>%
filter(children >= 1 | babies >= 1)
# Com registro de objeto
hotel_bebe_chil <- hotels %>%
filter(children >= 1 | babies >= 1)
# Sem pipe
hotel_bebe_chil_sem_pipe <- filter(hotels, children >= 1 | babies >= 1)

Exercício 4.

Você acha que é mais provável encontrar reservas com crianças ou bebês em hotéis urbanos ou resorts hoteleiros? Teste sua intuição.

Usando filter() determine o número de reservas em hotéis resort que têm mais de 1 criança ou bebê no quarto?

Então, faça o mesmo para hotéis urbanos, e compare o número de linhas no dataframe filtrado resultantes.

# Com registro de objeto
hotel_bebe_chil_resort <- hotels %>%
filter(children >= 1 | babies >= 1) %>%
filter(hotel == "Resort Hotel")
# Sem pipe
hotel_bebe_chil_sem_pipe <- filter(hotels, children >= 1 | babies >= 1)
hotel_bebe_chil_resort_sem_pipe <- filter(hotel_bebe_chil_resort, hotel == "Resort Hotel")

# Com registro de objeto
hotel_bebe_chil_city <- hotels %>%
filter(children >= 1 | babies >= 1) %>%
mutate(hotel = tolower(hotel)) %>%
filter(hotel == "city hotel")
# Sem pipe
hotel_bebe_chil_sem_pipe <- filter(hotels, children >= 1 | babies >= 1)
hotel_bebe_chil_city_sem_pipe <- filter(hotel_bebe_chil_sem_pipe, hotel == "City Hotel")

hotel_bebe_chil_class <- hotels %>%
filter(children >= 1 | babies >= 1) %>%
group_by(hotel) %>%
summarise(n = max(stays_in_weekend_nights))

Exercício 5.

Criar uma tabela de freqüência do número de adults em uma reserva.

Mostre os resultados em ordem decrescente para que a observação mais comum esteja no topo.

Qual é o número mais comum de adultos em reservas neste conjunto de dados?

Há algum resultado surpreendente?

Nota: Não esqueça de rotular também seu chunk R (onde diz lable-me-1). Seu rótulo deve ser curto, informativo, e não deve incluir espaços. Também não deve repetir uma etiqueta anterior, caso contrário o R Markdown lhe dará um erro sobre a repetição de etiquetas R em pedaços.

Exercício 6.

Repita o exercício 5, uma vez para reservas canceladas (is_canceled codificado como 1) e uma vez para reservas não canceladas (is_canceled codificado como 0).

O que isto revela sobre os resultados surpreendentes que você observou no exercício anterior?

Note: Não se esqueça de rotular também seu chunk de R (onde diz label-me-2).

# add code here
# pay attention to correctness and code style

Exercício 7.

Calcular a tarifa mínima, média, mediana e máxima média diária (adr) agrupados por tipo de hotel para que você possa obter estas estatísticas separadamente para hotéis de resorts e cidades.

Que tipo de hotel é mais caro, em média?

# add code here
# pay attention to correctness and code style

Exercício 8.

Observamos dois valores incomuns nas estatísticas resumidas acima – um mínimo negativo, e um máximo muito alto). Que tipos de hotéis são estes?

Localize estas observações no conjunto de dados e descubra a data de chegada (ano e mês), assim como quantas pessoas (adultos, crianças e bebês) permaneceram no quarto.

Você pode investigar os dados no espectador para localizar estes valores, mas de preferência você deve identificá-los de forma reprodutível com algum código.

Dica: Por exemplo, você pode filter para o dado quantidade adr e select as colunas relevantes.

# add code here
# pay attention to correctness and code style

Dicionário de dados

Abaixo está o dicionário de dados completo. Note que é longo (há muitas variáveis nos dados), mas utilizamos um conjunto limitado de variáveis para nossa análise.

variable	class	description
hotel	character	Hotel (H1 = Resort Hotel or H2 = City Hotel)
is_canceled	double	Value indicating if the booking was canceled (1) or not (0)
lead_time	double	Number of days that elapsed between the entering date of the booking into the PMS and the arrival date
arrival_date_year	double	Year of arrival date
arrival_date_month	character	Month of arrival date
arrival_date_week_number	double	Week number of year for arrival date
arrival_date_day_of_month	double	Day of arrival date
stays_in_weekend_nights	double	Number of weekend nights (Saturday or Sunday) the guest stayed or booked to stay at the hotel
stays_in_week_nights	double	Number of week nights (Monday to Friday) the guest stayed or booked to stay at the hotel
adults	double	Number of adults
children	double	Number of children
babies	double	Number of babies
meal	character	Type of meal booked. Categories are presented in standard hospitality meal packages: Undefined/SC – no meal package; BB – Bed & Breakfast; HB – Half board (breakfast and one other meal – usually dinner); FB – Full board (breakfast, lunch and dinner)
country	character	Country of origin. Categories are represented in the ISO 3155–3:2013 format
market_segment	character	Market segment designation. In categories, the term “TA” means “Travel Agents” and “TO” means “Tour Operators”
distribution_channel	character	Booking distribution channel. The term “TA” means “Travel Agents” and “TO” means “Tour Operators”
is_repeated_guest	double	Value indicating if the booking name was from a repeated guest (1) or not (0)
previous_cancellations	double	Number of previous bookings that were cancelled by the customer prior to the current booking
previous_bookings_not_canceled	double	Number of previous bookings not cancelled by the customer prior to the current booking
reserved_room_type	character	Code of room type reserved. Code is presented instead of designation for anonymity reasons
assigned_room_type	character	Code for the type of room assigned to the booking. Sometimes the assigned room type differs from the reserved room type due to hotel operation reasons (e.g. overbooking) or by customer request. Code is presented instead of designation for anonymity reasons
booking_changes	double	Number of changes/amendments made to the booking from the moment the booking was entered on the PMS until the moment of check-in or cancellation
deposit_type	character	Indication on if the customer made a deposit to guarantee the booking. This variable can assume three categories: No Deposit – no deposit was made; Non Refund – a deposit was made in the value of the total stay cost; Refundable – a deposit was made with a value under the total cost of stay.
agent	character	ID of the travel agency that made the booking
company	character	ID of the company/entity that made the booking or responsible for paying the booking. ID is presented instead of designation for anonymity reasons
days_in_waiting_list	double	Number of days the booking was in the waiting list before it was confirmed to the customer
customer_type	character	Type of booking, assuming one of four categories: Contract - when the booking has an allotment or other type of contract associated to it; Group – when the booking is associated to a group; Transient – when the booking is not part of a group or contract, and is not associated to other transient booking; Transient-party – when the booking is transient, but is associated to at least other transient booking
adr	double	Average Daily Rate as defined by dividing the sum of all lodging transactions by the total number of staying nights
required_car_parking_spaces	double	Number of car parking spaces required by the customer
total_of_special_requests	double	Number of special requests made by the customer (e.g. twin bed or high floor)
reservation_status	character	Reservation last status, assuming one of three categories: Canceled – booking was canceled by the customer; Check-Out – customer has checked in but already departed; No-Show – customer did not check-in and did inform the hotel of the reason why
reservation_status_date	double	Date at which the last status was set. This variable can be used in conjunction with the ReservationStatus to understand when was the booking canceled or when did the customer checked-out of the hotel

Junção de dataframes

Exercício 1.

Carregar arquivos

Façam o download do arquivo .zip.
Removam os arquivos de dados do arquivo .zip.
Carregue os arquivos de dados usando a função read_csv e atribuindo cada conjunto de dados a um objeto

professions <- read_csv("D:/Dropbox/Public/dados/professions.csv")
dates <- read_csv("D:/Dropbox/Public/dados/dates.csv")
works <- read_csv("D:/Dropbox/Public/dados/works.csv")
enrolment <- read_csv("D:/Dropbox/Public/dados/enrolment.csv")
survey <- read_csv("D:/Dropbox/Public/dados/survey.csv")
purchases <- read_csv("D:/Dropbox/Public/dados/purchases.csv")
prices <- read_csv("D:/Dropbox/Public/dados/prices.csv")

Exercício 2.

Manipulação de dados - mulheres cientistas

Faça a junção dos dataframes
Ordene por ano de nascimento
Filtre apenas as linhas que têm informações sobre ano de nascimento e ano de morte
Encontre as pesquisadoras que estão vivas
Gere um dataframe considerando apenas a coluna com o nome das cientistas.

Exercício 3.

Manipulação de dados - matrículas

Gere um dataframe com os alunos matriculados e que responderam estar frequentando as aulas.
Gere um dataframe com os alunos matriculados e que responderam não estar frequentando as aulas.
Gere um dataframe com os alunos que estão frequentando as aulas e que não estão matriculados.

Exercício 4.

Manipulação de dados - compras

Gere um dataframe com a síntese da soma da receita da loja por consumidor

Atividade 5

Fri, 15 Oct 2021 00:00:00 +0100

Esta atividade deverá ser realizada até dia 22/11. São propostas as seguintes atividades:

Instale o pacote cepespR

devtools::install_github("Cepesp-Fgv/cepesp-r")

Baixe o arquivo .Rmd e o .csvb e abra no RStudio.

Arquivo .Rmd

Resolva as questões.
Gere um tipo de documento .Rmd de sua preferência.
Envie por email (renataoliveira@gmail.com ou renataoliveira@cefetmg.br) o arquivo .Rmd e o arquivo gerado.

Agradecimento: Leo Barone pelo maravilhoso tutorial!

Botando o computador para trabalhar

Se há um tutorial sobre lógica de programação, é este. Os tópicos deste tutorial são os mais importantes para que possamos escrever algoritmos e botar o computador para fazer o que sabe de melhor: repetir instruções e tarefas. Veremos, em primeiro lugar, operadores relacionais e lógicos e, a seguir, cláusulas condicionais, loops e funções.

Operadores relacionais

Uma das especialidades do computador é verificar se proposições simples são verdadeiras ou falsas. Operadores relacionais servem para verificar se objetos são iguais, diferentes, maiores ou menores. São seis operadores relacionais e a tabela abaixo apresenta os seus símbolos.

Operador	Símbolo
Igual	==
Diferente	!=
Maior	>
Maior ou igual	>=
Menor	<
Menor ou igual	<=

Não discutiremos todas as regras de comparação de objetos, mas passaremos por um conjunto grande de exemplos a partir do qual elas podem ser inferidas.

Vamos começar com alguns exemplos simples:

42 == 41
42 != 41
(2 + 2) == (3 + 1)
(2 + 2) != (3 + 1)
5 > 3
5 < 3
42 > 42
42 < 41
42 >= 42
42 <= 41

Antes de avançar, tenha certeza que entendeu os exemplos acima.

Operadores relacionais também vale para textos:

"texto" == "texto"
"texto" == "texTo"
"texto" != "texto"

Note no segundo exemplo que o R é “case sensitive”, ou seja, diferencia maiúsculas de minúsculas ao comparar textos.

Textos também podem ser ordenados (lexicograficamente, isto é, alfabeticamente):

"a" > "b"
"a" < "b"
"A" < "b"
"A" > "a"

Inclusive palavras inteiras e sentenças:

"cachorro" < "cachorro quente"
"churrasco de gato" > "cachorro quente"

E valores lógicos? Veja se entende o que acontece nos exemplos abaixo:

TRUE == 1
FALSE == 0
TRUE > FALSE

Podemos comparar valores armazenados em variáveis da mesma maneira que fizemos nos exemplos até aqui:

x <- 5
y <- 10
x > y

Operadores relacionais e vetores

É possível comparar um vetor com um valor. Neste caso, cada elemento do vetor é comparado individualmente ao valor e o resultado é um vetor lógico de tamanho igual ao vetor comparado.

votos16 <- c(1030, 551, 992, 345, 203, 2037)
votos16 >= 1000

Vamos usar o vetor “votos16”, que contém votos de candidatos fictícios em 2016, com os votos dos mesmo candidatos em 2012:

votos12 <- c(890, 354, 950, 400, 50, 3416)
votos16 > votos12

Veja que, na comparação entre dois vetores, os elementos são comparados par a par de acordo com a sua posição no vetor. O vetor lógico resultante tem o mesmo tamanho dos vetores comparados.

Operadores Lógicos (Booleanos)

É perfeitamente possível combinar proposições com os operadores lógicos “e”, “ou” e “não”:

Operador	Símbolo
E	&
Ou	\|
Não	!

Por exemplo, se queremos verificar todos os candidatos que obtiveram acima de 500 (exclusive) E abaixo de 1500 (inclusive) votos, fazemos:

votos16 > 500 & votos16 <= 1500

Veja a tabela de possibilidades de combinação de duas proposições com a conjunção “e”:

Proposição 1	Proposição 2	Combinação
TRUE	TRUE	TRUE
TRUE	FALSE	FALSE
FALSE	TRUE	FALSE
FALSE	FALSE	FALSE

Se o valor atende às duas condições, então o resultado é TRUE. Se ao menos uma proposição é falsa, sob a conjunção “e”, então a combinação das proposições também é.

Com o operador “Ou”, a combinação de proposições é verdadeira se pelo menos uma delas for verdadeira.

votos16 < 500 | votos12 > 1500

Veja a tabela de possibilidades de combinação de duas proposições com a conjunção “ou”:

Proposição 1	Proposição 2	Combinação
TRUE	TRUE	TRUE
TRUE	FALSE	TRUE
FALSE	TRUE	TRUE
FALSE	FALSE	FALSE

Finalmente, o operador lógico “não” tem a função de reverter um proposição:

!TRUE
!(5 > 3)
!(votos16 > 500 & votos16 <= 1500)

Lembre-se que, quando trabalhamos com vetores lógicos, podemos tratá-los como se fossem zeros e uns, tal qual no exemplo:

sum(votos16 > votos12)

Cláusulas condicionais

Um dos usos mais importantes dos operadores relacionais e lógicos é na construção de cláusulas condicionais, “if”, “else” e “else if”. Elas são fundamentais para a construção de funções e algoritmos. Veja um uso simples do condicional if, para o cálculo do valor absoluto de uma variável:

# exemplo com x negativo
x <- -23
if (x < 0){
x <- -x
}
print(x)
# exemplo com x positivo
x <- 23
if (x < 0){
x <- -x
}
print(x)

A condição que o if deve atender vem entre parênteses. A instrução a ser atendida caso a cláusula seja verdadeira vem dentro das chaves. Aliás, é boa prática (na maioria dos casos) abrir as chaves em uma linha, escrever as instruções em outra, e fechar as chaves na linha seguinte ao final das instruções, como no exemplo. Também é boa prática “identar”, ou seja, desalinhar as instruções do restante do código. Falaremos sobre “estilo” em algum momento do curso. Por enquanto, apenas observe e não se assuste. Diferentemente de outras linguagens, R não requer identação para funcionar.

Vamos supor que um candidato teve determinada quantia de votos. Ele precisava de 700 para ser eleito. Vamos criar uma nova variável, “status”, que receberá valor “eleito” se “votos” for maior que 700. Supondo que o candidato recebeu 800 votos, fazemos:

votos <- 800
if (votos > 700){
status <- "eleito"
}
print(status)

Mas e se quisermos dar o valor “nao eleito” a “status” caso ele não tenha recebido mais de 700 votos? Usamos else para indicar o que fazer em todos os casos em que a condição em if não foi atendida.

if (votos > 700){
status <- "eleito"
} else {
status <- "nao eleito"
}
print(status)

Por fim, vamos imaginar um regra mais complexa. Se o total de “votos” do candidato for maior que 1200, então ele está eleito. Se a votação tiver ficado entre 700 (exclusive) e 1200 (inclusive), ele recebe “status” igual a “suplente”. Com 700 votos ou menos, o “status” é não eleito.

Veja como traduzir a regra acima em código usando if, else if e else.

if (votos > 1200){
status <- "eleito"
} else if (votos > 700 & votos <= 1200){
status <- "suplente"
} else {
status <- "nao eleito"
}
print(status)

Outro exemplos simples do uso de condicionais, agora com uma variável de textos

partido <- "PMDB"
if (partido == "PMDB" | partido == "PSD" | partido == "DEM") {
print("governo")
} else {
print("oposição")
}

É possível complicar bastante o uso dos condicionais “aninhando” uma cláusula dentro da outra e criando “labirintos” de condições. Fazer isso, porém, é mais uma questão de lógica do que de uso da linguagem. Não há variações relevantes do uso em relação aos exemplos simples apresentados acima. Se você consegue fazer os condicionais em papel e caneta e se os exemplos anteriores tiverem ficado claros, então consegue fazê-los em R.

Exercício

Anote quantos cafés você tomou cada dia esta semana. Guarde o valor na variavel ‘cafe’.
Represente com condicionais a regra: se você tomou 3 ou mais, imprima “Hummm, café!”. Se você tomou menos de 3, imprima “zzzzzz”.

Repetindo tarefas - while loop

Uma das vantagens dos computadores em relação aos seres humanos é a capacidade de repetir tarefas a um custo baixo. Vamos ver um exemplo simples: con tar até 42. Usaremos como recurso um while loop, ou seja, daremos um estado inicial, uma condição e uma instrução para o computador e pediremos para ele repetir a instrução enquanto a condição for atendida.

Em nosso caso, a instrução será: imprima o número “atual” (você já entenderá isso), armazenado na variável “contador”, e some mais um. A condição será: enquanto a variável “contador” for menor ou igual a 42. Se vamos começar a contar a partir do 1, nosso estado inicial será igualar o “contador” a 1. Veja como fica o código:

contador <- 1
while (contador <= 42) {
print(contador)
contador <- contador + 1
}
print(contador)

Traduzindo para o português: “enquanto o contador for menor ou igual a 42, imprima e some um”. A estrutura de um while loop é sempre: “enquanto” (condição), “faça” (instrução).

Veja que precisamos planejar muito bem o while loop. Se, por exemplo, esquecermos de pensar como a condição inicial será alterada a cada iteração (sem o “n” mesmo, pois é diferente de “interação”), corremos o risco de criar um “loop infinito”. O critério de parada (condição entre parênteses) deve ser atendido em algum ponto do programa para que ele seja interrompido.

Vamos complicar. Seguiremos contando até 42, mas todas as vezes em que o número for par (ou seja, múltiplo de 2), deixaremos de imprimir o número. Como fazer isso? Com if.

Dica: para saber se um número é divisível por outro, basta usar o resto da divisão (consulte o tutorial anterior %%) e checar se é igual a zero.

contador <- 1
while (contador <= 42) {
if ((contador %% 2) != 0){
print(contador)
}
contador <- contador + 1
}
print(contador)

Veja que temos agora um código “aninhado”, pois colocamos um condicional dentro de um loop. Novamente, combinar estruturas de código é mais um problema de lógica do que de linguagem e, se você consegue fazer no papel, consegue traduzir para o R.

Repetindo tarefas - for loop

E se em vez de repetir uma tarefa até atingir uma condição já soubermos quantas vezes queremos repetí-la? Neste caso, podemos usar o for loop. O loop não será mais do tipo “enquanto x faça y” mas “para todo i ‘em’ a até b”. Veja como o exemplo de contar até 42 ficaria com for loop:

for (i in 1:42){
print(i)
}

Neste caso, lemos “para cada i ‘em’ 1 até 42, faça”. O que o for loop faz é variar o i a cada iteração de acordo com a sequência estabelecida. Outro exemplo, agora na ordem reversa:

for (i in 10:-10){
print(i)
}

Agora com a condição de não imprimir os pares:

for (i in 1:42){
if((i %% 2) != 0){
print(i)
}
}

for loops não precisam ser apenas com números. Na verdade, você pode colocar após o “in” qualquer vetor. Por exemplo, um vetor das regiões brasileiras (ou UFs, se você tiver paciência de escrever todas):

vetor_regioes <- c("norte", "nordeste", "sudeste","sul", "centro-oeste")
for (regiao in vetor_regioes){
print(regiao)
}

Se você já trabalhou com dados eleitorais brasileiros, você certamente teve de abrir diversos arquivos semelhantes, cada um contendo informações de um estado brasileiro. Ou ainda, se você já obteve informações na internet talvez tenha precisado “passar” por diversas páginas semelhantes. Loops resolvem problemas desse tipo: eles repetem procedimentos variando apenas um índice. Aprender a usar loops economiza um tempo enorme, pois conseguimos automatizar tarefas ou, pelo menos, escrever um código mais curto para aplicar o mesmo comando inúmeras vezes.

Vamos parar por aqui com loops e voltaremos a eles para fazermos exercícios.

Escrevendo funções

Ao longo dos três tutorais que fizemos usamos diversas funções e já estamos acostumados com elas. Vamos agora aprender a construir funções simples. Vamos do exemplo à aplicação. E nosso exemplo será, novamente, um conversor de farenheit para celsius:

conversor <- function(farenheit){
celsius <- ((farenheit - 32) / 9) * 5
return(celsius)
}
conversor(212)
conversor(32)

Temos vários elementos no “construtor” de funções. Em primeiro lugar, criamos a função como criamos um objeto. Quer dizer, escolhemos um nome para ela e atribuímos a função criada a esse nome.

Para criar uma função, usamos function. Basicamente, o “construtor” tem duas partes: os argumentos da função, que inserimos no parênteses após function; e o corpo da função em chaves, que utiliza os argumentos para realizar uma tarefa e retorna um resultado, indicado pela função return.

Exercício

Crie uma função chamada “quadrado” que recebe um número “x” e retorna o quadrado de x.

Reposta

quadrado <- function(x){
resultado <- x * x
return(resultado)
}
quadrado(4)
quadrado(17)

Exercício

Crie uma função que recebe um valor em reais e retorna o valor em dólares (use a cotação do dia e coloque como nota no script)
Crie uma função que recebe um valor em reais e uma cotação do dólar e retorna o valor em dólares (ou seja, que contém 2 parâmetros).

Dica de Leitura

Uma boa leitura para acompanhar esta parte do curso são as partes II e III do livro Hands-on Programming With R, de Garret Grolemund.

Lab 3.2

Fri, 15 Oct 2021 00:00:00 +0100

A Unidade 3 é estruturada considerando os seguintes tópicos:

Manipulação e transformação de dados no R: funções para manipulação e tratamento de dados.
Estatística descritiva e mineração de dados

Diretrizes gerais:

Baixe o arquivo .Rmd e abra no RStudio.

Arquivo .Rmd

Dados_1

Dados_2

Siga as diretrizes da atividade.
Rode o arquivo .Rmd por meio do ícone knitr
Salve o .Rmd e submeta-o por meio da tarefa no Sigaa.

Manipulação de dados

Exercício 1.

Carregue os dados no seu ambiente.


dados1 <- read_csv("")
dados2 <- read_csv("")

Exercício 2.

Responda as seguintes perguntas:

Qual país historicamente ganhou mais medalhas nas olimpíadas de verão? Quantas foram? E qual a representação das mulheres nessa quantidade?
Demonstre o ranking de medalhas por país por ano olímpico separando os dados em olimpíadas de verão e de inverno.
Considere as olimpíadas de verão: para o país com o maior número de medalhas, demonstre o número de medalhas conquistadas por mulheres e o número de medalhas conquistadas por homens (considere as medalhas totais, levando em conta os atletas (medalhas) em esportes coletivos).
Qual país ganhou mais medalhas no volei masculino? Qual país ganhou mais medalhas no volei feminino?

Lab 4.1

Fri, 15 Oct 2021 00:00:00 +0100

Juntando dados

Nessa atividade você aprenderá a fazer a união e a junção (cruzamento) de dois dataframes usando o tidyverse.

A união de dados é mais intuitiva. Basta ter a mesma quantidade de campos e que estes estejam “alinhados”. A função mais usada para isso é o famoso rbind() (Row Bind). Caso os campos tenham exatamente os mesmos nomes e tipo, o rbind() consegue fazer a união perfeitamente.

O cruzamento de dados (junção) é um pouco mais complexo, mas nem por isso chega a ser algo difícil.

Para entender-se como fazer “joins” (cruzamentos), é preciso compreender-se o conceito de chave. Entenda chave como uma coluna que está presente da mesma forma em dois conjuntos de dados distintos. O conceito completo de chave é bem mais complexo que isto, mas, para começarmos a entender e usar os joins, basta usar essa intuição.

Tendo esse conceito simplificado de chave em mente, a primeira coisa que se deve fazer quando for preciso cruzar dois conjuntos de dados é tentar identificar quais os campos chaves, ou seja, quais campos estão presentes nos dois grupos.

O que acontece quando nem todos os códigos de um grupo estão no outro? E quando um grupo tem códigos repetidos em várias linhas? Para responder a essas e outras perguntas precisamos conhecer os diferentes tipos de joins. Existe pelo menos uma dezena de tipos de joins, mas 90% das vezes você precisará apenas dos tipos básicos que explicaremos a seguir. Usaremos o pacote dplyr para aplicar os joins. O R base possui a função merge() para joins, se tiver curiosidade procure mais sobre ela depois.

Inner Join (ou apenas Join)

Trata-se do join mais simples, mais básico e mais usado dentre todos os outros tipos. O seu comportamento mantém no resultado apenas as linhas presentes nos dois conjuntos de dados que estão sendo cruzados. O inner join funciona da seguinte forma:

A tabela final, após o cruzamento, conterá as linhas com as chaves que estiverem em AMBOS os conjuntos de dados. As linhas com chaves que não estão em ambos serão descartadas. Esta característica torna o inner join muito útil para fazer-se filtros.

Left Outer Join

Chama-se left outer join pois todos os registros do “conjunto à esquerda” estarão presentes no resultado final, além dos registros à direita que coincidirem na chave.

Right Outer Join

O princípio é EXATAMENTE o mesmo do left join. A única diferença é a permanência dos registros do conjunto à direita. Podemos chegar ao mesmo resultado anterior apenas mudando os data frames de posição na manipulação.

Full Outer Join

Existem, ainda, as situações em que é necessário preservar todos os registros de ambos os conjuntos de dados. O full join tem essa característica. Nenhum dos conjuntos de dados perderá registros no resultado final, isto é, quando as chaves forem iguais, todos os campos estarão preenchidos. Quando não houver ocorrência das chaves em ambos os lados, será informado NA em qualquer um deles.

Exercícios

Diretrizes gerais:

Baixe o arquivo .Rmd e abra no RStudio.

Arquivo .Rmd

Siga as diretrizes da atividade.
Rode o arquivo .Rmd por meio do ícone knitr
Salve o .Rmd e submeta-o por meio do email renataoliveira@gmail.com.

Exercício 1.

Utilizando os dataframes abaixo, gere:

um dataframe com os participantes
um dataframe com os aprovados
um dataframe com os eliminados

Faça a junção de todos os tres dataframes em um único objeto.

participantes <- data.frame(
Nome = c('Carlos', 'Maurício', 'Ana Maria', 'Rebeca', 'Patrícia'),
Estado = c('Brasília', 'Minas Gerais', 'Goiás', 'São Paulo', 'Ceará'),
Idade = c(23, 24, 22, 29, 28)
)
aprovados <- data.frame(
Nome = c('Carlos', 'Patrícia'),
Pontuacao = c(61, 62)
)
eliminados <- data.frame(
Nome = c('Maurício', 'Ana Maria', 'Rebeca'),
Pontuacao = c(49, 48, 48)
)

Créditos da atividade: Ciência de Dados com R - Introdução. Autores: Saulo Guerra, Paulo Felipe de Oliveira, Robert McDonnell e Sillas Gonzaga

Lab 4.2

Fri, 15 Oct 2021 00:00:00 +0100

Dados wide x long

Exercícios

Diretrizes gerais:

Baixe o arquivo .Rmd e o .csvb e abra no RStudio.

Arquivo .Rmd

Arquivo .csv

Siga as diretrizes da atividade.
Rode o arquivo .Rmd por meio do ícone knitr
Salve o .Rmd e submeta-o por meio do email renataoliveira@gmail.com.

Exercício 1.

Rode o código para gerar o histograma a seguir:

# library
library(tidyverse)

## -- Attaching packages --------------------------------------- tidyverse 1.3.1 --

## v ggplot2 3.3.5 v purrr 0.3.4
## v tibble 3.1.6 v dplyr 1.0.7
## v tidyr 1.1.4 v stringr 1.4.0
## v readr 2.1.1 v forcats 0.5.1

## -- Conflicts ------------------------------------------ tidyverse_conflicts() --
## x dplyr::filter() masks stats::filter()
## x dplyr::lag() masks stats::lag()

# Build dataset with different distributions
data <- data.frame(
type = c(rep("variable 1", 1000), rep("variable 2", 1000)),
value = c(rnorm(1000), rnorm(1000, mean = 0, sd = 5))
)
# Represent it
p <- data %>%
ggplot(aes(x=value, fill=type)) +
geom_histogram( color="#e9ecef", alpha=0.6, position = 'identity') +
scale_fill_manual(values=c("#69b3a2", "#404080")) +
theme_minimal() +
labs(fill="")
p

## `stat_bin()` using `bins = 30`. Pick better value with `binwidth`.

Transformação com dados numéricos

# get first observation for each Species in iris data -- base R
mini_iris <- iris[c(1, 51, 101), ]
mini_iris %>% gather(key = "flower_att", value = "measurement", -Species)

## Species flower_att measurement
## 1 setosa Sepal.Length 5.1
## 2 versicolor Sepal.Length 7.0
## 3 virginica Sepal.Length 6.3
## 4 setosa Sepal.Width 3.5
## 5 versicolor Sepal.Width 3.2
## 6 virginica Sepal.Width 3.3
## 7 setosa Petal.Length 1.4
## 8 versicolor Petal.Length 4.7
## 9 virginica Petal.Length 6.0
## 10 setosa Petal.Width 0.2
## 11 versicolor Petal.Width 1.4
## 12 virginica Petal.Width 2.5

Transformando dados de wide para long para representar dois dados iguais de recortes distintos no mesmo gráfico - dados categóricos

dados_bh <- read_delim("dados_aluno.csv",
delim = ";", escape_double = FALSE, trim_ws = TRUE)

# "Na unha!!!!"
antes <- dados_bh %>%
select(internet_compras_antes, genero, escolaridade) %>%
mutate(dado = "antes") %>%
rename("internet" = "internet_compras_antes")
depois <- dados_bh %>%
select(internet_compras_depois, genero, escolaridade) %>%
mutate(dado = "durante") %>%
rename("internet" = "internet_compras_depois")
data_plot <- data.frame(rbind(antes, depois))
##### Alternativa usando a função gather para gerar o data_plot - "elegante"
data_plot_long <- dados_bh %>%
gather(key = "dado", value = "antes_depois", -genero, -escolaridade)

Gráficos

ggplot(data_plot_long) +
geom_bar(aes(x = antes_depois, fill = dado), position = "dodge") +
coord_flip() +
facet_wrap(~ genero)
ggplot(data_plot_long) +
geom_bar(aes(x = antes_depois, fill = dado), position = "dodge") +
coord_flip() +
facet_grid(escolaridade ~ genero)

Extra: função “case_when” dentro do mutate

data_plot_long <- dados_bh %>%
gather(key = "dado", value = "antes_depois", -genero, -escolaridade) %>%
mutate(dado = case_when(dado == 'internet_compras_antes' ~ 'antes',
dado == 'internet_compras_depois' ~ 'depois'))
ggplot(data_plot_long) +
geom_bar(aes(x = antes_depois, fill = dado), position = "dodge") +
coord_flip() +
facet_wrap(~ genero)

Lab 4.3

Fri, 15 Oct 2021 00:00:00 +0100

library(tidyverse)

 #---
# +++ Matrix Basics ----
#
matrix( data= 1:20, nrow= 4)
matrix( data= 1:20, nrow= 5)
matrix( data= 1:20, 4)
matrix( data= 1:20, ncol= 4)
matrix( data= 1:20, , 4)
#---
# OBS IMPORTANTE: ordem DEFAULT de preenchimento: por coluna
#---
mA= matrix( data= 1:20, nrow= 4, byrow= T)
mA
#---
# Transposi��o
#---
t(mA)
#---
# Matrizes de caracteres ...
#---
mChar= matrix( data= month.abb, nrow= 4)
#---
# ... ou de logicos
#---
vTemp= ((1:12)%%4) == 1
mLog= matrix( vTemp, nrow= 4)
mLog
#---
# + direto:
#---
matrix( ((1:12)%%4) == 1, 4)
#---
#
# OBS Elementos de uma matriz sempre têm mesmo tipo.
# Se não for assim são modificados!
# Na marra e na surdina.
#
#---
matrix( c(1:10,T,T), 4)
matrix( c(1:10,"T",T), 4)
#
# +++ END Basics ----
#---
#---
# +++ BEG Operações elementares I: Matrizes e Escalares ----
#
mA
2*mA
sqrt(mA)
mA^(1/3)
2^mA
mA>5
paste(mA, "1")
c(mA, "1")
c(mA, 1)
#
# +++ END Operações elementares I: Matrizes e Escalares ----
#---
#---
# +++ BEG Operações elementares II: Matrizes e Vetores ----
#
mA= t(mA)
mA
#---
mA + 1:20 # Business as usual
#---
#---
mA + 1:10 # 2 {length(mA) / length(1:10) } Ciclos
#---
#---
mA + 1:16 # Numero não inteiro de ciclos
#---
1:20+1:16
matrix( 1:20+1:16, 5 )
#---
# outro exemplo de ciclo
#---
mB= matrix( 1:12, 4 )
(1:3)^mB
#
# +++ END Operações elementares II: Matrizes e Vetores ----
#---
#---
# +++ BEG Operações elementares III: Matrizes e Matrizes ----
#
mB
mA
mA + mB
mA= matrix(1:16, 4)
mC= matrix(1:8, 4)
mA+mC
#---
# Produto matricial
#---
dim(mA)
dim(mB)
mA%*%mB
#---
# Inversa
#---
solve(mA)
set.seed(1)
mD= matrix(runif(16), 4)
solve(mD)
mD %*% solve(mD)
round(mD %*% solve(mD), digits=6)
#
# +++ END Operações elementares III: Matrizes e Matrizes ----
#---
#---
# +++ BEG Submatrizes , etc ----
#
mA
mA[1,3] # elemento [1,3]
mA[2,] # segunda linha
mA[1:2,] # primeira e segunda linhas
mA[,c(1,3)] # primeira e terceira colunas
mA[1:2,c(1,3)] # Uma SubMatriz
#---
# Lembrando subvetores
#---
y= 10*(1:11)
length(y)
y
ehPar= c(F, T, F, T, F, T, F, T, F, T, F)
y[ehPar]
ehPar= ((1:length(y))%%2 == 0)
#---
# Análogo pra formação de submatrizes
#---
mD= round(100*mD, 0)
row(mD)
col(mD)
LinMaiorQCol= row(mD)>col(mD)
mD[LinMaiorQCol]
mD
mD[row(mD)==col(mD)]
#
# +++ END Submatrizes , etc ----
#---
#---
# +++ BEG documentando vetores ----
#
y=1:12
names(y)= month.abb
y
y[c(2,4)]
y[c("Jan", "Feb", "Jul")]
#
# +++ END documentando vetores ----
#---
#---
# +++ BEG documentando matrizes ----
#---
mA= matrix(1:20, 5)
dimnames(mA)= list(letters[1:5],month.abb[1:4])
mA
summary(matrix(1:20, 5))
summary(mA)
#---
# +++ END documentando matrizes ----
#---
#---
# END matrizes: vetores especiais ----
#---
#---
# BEG listas: uma estrutura mais geral ----
#---
dadosDeGB=
list( nome="Giordanno Bruno",
idade= 48,
ehCasado= F,
numerosPreferidos= c(pi, log(10)))
#---
# Obs: Ao contrário de vetores e matrizes,
# NÃO é necessário que todas as componentes
# sejam de mesmo tipo
#---
#---
# recuperando componentes
#---
dadosDeGB[[2]]
dadosDeGB$nome
dadosDeGB["nome"]
dadosDeGB[c("nome","idade")]
#---
dadosDeGB[[1:2]] # <=== Isso não dá pra fazer
#---
#---
# incorporando componentes
#---
names(dadosDeGB)
dadosDeGB$anosDeEstudo= 40
names(dadosDeGB)
#
# END listas: uma estrutura mais geral ----
#---

Lab 5

Fri, 15 Oct 2021 00:00:00 +0100

Funções e programação de interações no R

Exercícios

Diretrizes gerais:

Instale o pacote cepespR

devtools::install_github("Cepesp-Fgv/cepesp-r")

## Using github PAT from envvar GITHUB_PAT

## Skipping install of 'cepespR' from a github remote, the SHA1 (7253b4af) has not changed since last install.
## Use `force = TRUE` to force installation

Baixe o arquivo .Rmd e o .csvb e abra no RStudio.

Arquivo .Rmd

Siga as diretrizes da atividade.
Rode o arquivo .Rmd por meio do ícone knitr
Salve o .Rmd e submeta-o por meio do email renataoliveira@gmail.com.

Exercício 1.

Agradecimento: Leo Barone pelo maravilhoso exercício!

Funções, iteração e vetorialização do código

Neste breve tutorial vamos ver alguns exemplos de como criar funções e utilizar processos iterativos (loops), e sua forma vetorializada (famílias de funções apply e map) facilitam a organização do código, reduzem bastante o esforço de programação e tornam o programa mais eficiente.

Estes exemplos servirão de norte para que você leia, em sala, os capítulos 19 - Functions, 20 - Iteration, e o trecho do capítulo 18 - Vectors que trata de listas.

Exemplo 1 - substituindo repetição de código por loops

Imagine que você precisa organizar dados dos candidatos à presidência de diversos anos (2006 a 2014) e vai utilizar a API do CEPESP Data. Utilizando a função candidates do pacote cepespR podemos obter os dados:

library(cepespR)
candidatos06 <- get_candidates(year = 2006, position = "President")
candidatos10 <- get_candidates(year = 2010, position = "President")
candidatos14 <- get_candidates(year = 2014, position = "President")

e, a seguir, podemos juntar todos em um único data_frame:

candidatos <- rbind(candidatos06, candidatos10, candidatos14)

Simples, não? Imagine agora que você quer repetir mesma tarefa não 4, mas centenas de vezes. O código deixaria de ser simples e passaria a ter centenas de linhas.

Essa centena de linhas seria pura repetição de código. No nosso exemplo, a obtenção dos dados para candidatos à presidência em 2006 e em 2010 são idênticas, exceto por 2 números. Como podemos evitar a repetição de códigos?

Neste tutorial vamos rever dois tópicos que são fundamentais para tornar o seu código mais enxuto e eficiente: funções e iterações (loops e similares).

No exemplo acima, um simples for loop resolveria nosso problema de repetição de código. Veja abaixo e tente entender sozinha(o) o que está acontencendo:

library(dplyr)
vetor_anos <- c(2006, 2010, 2014)
candidatos <- data.frame()
for (ano in vetor_anos){
candidatos <- bind_rows(candidatos,
get_candidates(year = ano, position = "President"))
}

Simples, não? Se quiséssemos utilizar mais anos em nossa análise, bastaria mudar o vetor “percorrido” pelo loop que contém o número de anos.

Vamos supor agora que não queremos juntar todos os anos, apenas contar o número de linhas (que é o número de candidatos) em cada um dos anos e armazenar o resultado em um vetor. Veja como fazemos isso com um for loop:

n_candidatos <- c()
for (ano in vetor_anos){
n_candidatos <- c(n_candidatos, nrow(get_candidates(year = ano, position = "President")))
}

Igualmente simples. Há outras maneiras de produzir o mesmo resultado em R sem utilizar for loops. Note que podemos pensar um for loop como uma função que recebe como argumento um vetor e realiza a mesma tarefa para cada elemento do vetor.

Exemplo 2 - combinando loops e funções

Uma das bases mais estudadas em política comparada e estudos empíricos sobre é a Polity IV, que contém varáveis sobre diversas características de um conjunto grande de países e em vários anos. Quem quiser conhecer mais sobre os dados pode acessar aqui ou ler a documentação aqui.

A principal variável da base de dados é um indicador de grau de democracia que resulta da combinação de um conjunto variáveis componentes codificadas diretamente a partir da observação dos casos. Vamos ignorar seus significados e apenas observar que essas variáveis componentes recebem valores de 0 a 7, se o caso for uma democracia, ou os códigos -66, -77 e -88 em períodos autoritários ou de transição.

Comece abrindo os dados que estão no repositório do curso e criando uma cópia, ‘p4’, que será modificada.

p4_raw <- read.csv2("https://raw.githubusercontent.com/leobarone/FLS6397_2018/master/data/p4v2016.csv")
p4 <- p4_raw

Como as variáveis contêm alguns códigos numéricos cujas distâncias matemáticas não fazem nenhum sentido (-66, -77 e -88), precisamos transformá-los em NA para podermos calcular qualquer estatística descritiva com a variável. Vamos realizar a transformação nas variáveis ‘xconst’, ‘xrreg’, ‘xropen’, ‘xconst’ e aprender um novo operador, %in%. Todas as variáveis se referem sobre características da competição pelo poder Executivo em um país em um ano:

p4$xrcomp[p4$xrcomp %in% c(-66, -77, -88)] <- NA
p4$xrreg[p4$xrreg %in% c(-66, -77, -88)] <- NA
p4$xropen[p4$xropen %in% c(-66, -77, -88)] <- NA
p4$xconst[p4$xconst %in% c(-66, -77, -88)] <- NA

Como vamos repetir a mesma transformação de variáveis diversas vezes, convém escrever uma função para tal transformação. Observe com cuidado o código abaixo:

limpa_var <- function(x) {
x[x %in% c(-66, -77, -88)] <- NA
return(x)
}

Vamos refazer o código acima utilizando a função que acabamos de criar (lembre-se criar um novo objeto ‘p4’, pois as variáveis foram transformadas no código anterior):

p4 <- p4_raw
p4$xrcomp <- limpa_var(p4$xrcomp)
p4$xrreg <- limpa_var(p4$xrreg)
p4$xropen <- limpa_var(p4$xropen)
p4$xconst <- limpa_var(p4$xconst)

Melhor. Temos linhas mais enxutas. Se estívessemos aplicando transformações mais complexas às variáveis, encurtaríamos bastante o código.

Ainda assim, temos muitas repetições de linha. O que muda de uma linha à outra é apenas o nome da variável. Como vimos no caso anterior, podemos realizar tarefas repetidas em loop. Vamos, dessa forma, aplicar a função que criamos em loop:

p4 <- p4_raw
vetor_var <- c('xrcomp', 'xrreg', 'xropen', 'xconst')
for (var in vetor_var){
p4[, var] <- limpa_var(p4[, var])
}

Se estívessemos utilizando todas as variáveis do banco de dados codificadas da mesma maneira (são várias) teríamos uma economia bastante importante de código.

Obs: uma forma alternativa de selecionar variáveis de um data frame utilizando colchetes é aplicando colchetes duplo (em vez de separar linhas e colunas dentro do colchetes por vírgula). O estilo de código abaixo, encontrado com frequência no livro “R for Data Science”, é equivalente ao que acabamos de ver.

for (var in vetor_var){
p4[[var]] <- limpa_var(p4[[var]])
}

Exercício

Refere-se os dados de ‘Polity’ baixados anteriormente (p4_raw). 1. Use um for loop para identificar o valor máximo na tabela das três variáveis: parcomp (a competitividade da participação), polcomp (a competitividade da política) e polity2 (o indicador geral da democracia).

Lab 5.1

Fri, 15 Oct 2021 00:00:00 +0100

Funções e programação de interações no R

Exercícios

Diretrizes gerais:

Instale o pacote cepespR

devtools::install_github("Cepesp-Fgv/cepesp-r")

## Using github PAT from envvar GITHUB_PAT

## Skipping install of 'cepespR' from a github remote, the SHA1 (7253b4af) has not changed since last install.
## Use `force = TRUE` to force installation

Baixe o arquivo .Rmd e o .csvb e abra no RStudio.

Arquivo .Rmd

Siga as diretrizes da atividade.
Rode o arquivo .Rmd por meio do ícone knitr
Salve o .Rmd e submeta-o por meio do email renataoliveira@gmail.com.

Exercício 1.

Agradecimento: Leo Barone pelo maravilhoso exercício!

Funções, iteração e vetorialização do código

Estes exemplos servirão de norte para que você leia, em sala, os capítulos 19 - Functions, 20 - Iteration, e o trecho do capítulo 18 - Vectors que trata de listas.

Exemplo 1 - substituindo repetição de código por loops

library(cepespR)
candidatos06 <- get_candidates(year = 2006, position = "President")
candidatos10 <- get_candidates(year = 2010, position = "President")
candidatos14 <- get_candidates(year = 2014, position = "President")

e, a seguir, podemos juntar todos em um único data_frame:

candidatos <- rbind(candidatos06, candidatos10, candidatos14)

Simples, não? Imagine agora que você quer repetir mesma tarefa não 4, mas centenas de vezes. O código deixaria de ser simples e passaria a ter centenas de linhas.

Neste tutorial vamos rever dois tópicos que são fundamentais para tornar o seu código mais enxuto e eficiente: funções e iterações (loops e similares).

No exemplo acima, um simples for loop resolveria nosso problema de repetição de código. Veja abaixo e tente entender sozinha(o) o que está acontencendo:

library(dplyr)
vetor_anos <- c(2006, 2010, 2014)
candidatos <- data.frame()
for (ano in vetor_anos){
candidatos <- bind_rows(candidatos,
get_candidates(year = ano, position = "President"))
}

Simples, não? Se quiséssemos utilizar mais anos em nossa análise, bastaria mudar o vetor “percorrido” pelo loop que contém o número de anos.

n_candidatos <- c()
for (ano in vetor_anos){
n_candidatos <- c(n_candidatos, nrow(get_candidates(year = ano, position = "President")))
}

Exemplo 2 - combinando loops e funções

Comece abrindo os dados que estão no repositório do curso e criando uma cópia, ‘p4’, que será modificada.

p4_raw <- read.csv2("https://raw.githubusercontent.com/leobarone/FLS6397_2018/master/data/p4v2016.csv")
p4 <- p4_raw

p4$xrcomp[p4$xrcomp %in% c(-66, -77, -88)] <- NA
p4$xrreg[p4$xrreg %in% c(-66, -77, -88)] <- NA
p4$xropen[p4$xropen %in% c(-66, -77, -88)] <- NA
p4$xconst[p4$xconst %in% c(-66, -77, -88)] <- NA

Como vamos repetir a mesma transformação de variáveis diversas vezes, convém escrever uma função para tal transformação. Observe com cuidado o código abaixo:

limpa_var <- function(x) {
x[x %in% c(-66, -77, -88)] <- NA
return(x)
}

Vamos refazer o código acima utilizando a função que acabamos de criar (lembre-se criar um novo objeto ‘p4’, pois as variáveis foram transformadas no código anterior):

p4 <- p4_raw
p4$xrcomp <- limpa_var(p4$xrcomp)
p4$xrreg <- limpa_var(p4$xrreg)
p4$xropen <- limpa_var(p4$xropen)
p4$xconst <- limpa_var(p4$xconst)

Melhor. Temos linhas mais enxutas. Se estívessemos aplicando transformações mais complexas às variáveis, encurtaríamos bastante o código.

p4 <- p4_raw
vetor_var <- c('xrcomp', 'xrreg', 'xropen', 'xconst')
for (var in vetor_var){
p4[, var] <- limpa_var(p4[, var])
}

Se estívessemos utilizando todas as variáveis do banco de dados codificadas da mesma maneira (são várias) teríamos uma economia bastante importante de código.

for (var in vetor_var){
p4[[var]] <- limpa_var(p4[[var]])
}

Exercício

Lab 5.2

Fri, 15 Oct 2021 00:00:00 +0100

Scrape em tabelas

Exercícios

Diretrizes gerais:

Instale o pacote tabulizer

devtools::install_github(c("ropensci/tabulizerjars", "ropensci/tabulizer"))

## Using github PAT from envvar GITHUB_PAT

## Skipping install of 'tabulizerjars' from a github remote, the SHA1 (d1924e01) has not changed since last install.
## Use `force = TRUE` to force installation

## Downloading GitHub repo ropensci/tabulizer@HEAD

##
##
checking for file 'C:\Users\user\AppData\Local\Temp\RtmpygmzgX\remotesf3f45826743b\ropensci-tabulizer-3049a79/DESCRIPTION' ...
v checking for file 'C:\Users\user\AppData\Local\Temp\RtmpygmzgX\remotesf3f45826743b\ropensci-tabulizer-3049a79/DESCRIPTION' (565ms)
##
- preparing 'tabulizer':
## checking DESCRIPTION meta-information ...
checking DESCRIPTION meta-information ...
v checking DESCRIPTION meta-information
##
- checking for LF line-endings in source and make files and shell scripts
##
- checking for empty or unneeded directories
##
Removed empty directory
Removed empty directory 'tabulizer/docs'
##
- building 'tabulizer_0.2.2.tar.gz'
##
##

## Installing package into 'C:/Users/user/Documents/R/win-library/4.1'
## (as 'lib' is unspecified)

Baixe o arquivo .Rmd e o folder com os arquivos em .pdf e abra no RStudio.

Arquivo .Rmd

Arquivos .pdf

Siga as diretrizes da atividade.
Rode o arquivo .Rmd por meio do ícone knitr
Salve o .Rmd e submeta-o por meio do email renataoliveira@gmail.com.

library(hrbrthemes)
library(ggplot2)
library(Cairo)
library(extrafont)
library(rJava) # Needed for tabulizer
library(tabulizer) # Handy tool for PDF Scraping
library(tidyverse) # Core data manipulation and visualization libraries
library(janitor)
extrafont::loadfonts()

Este chunk serve para fazer a leitura dos arquivos

# PDF Scrape Tables
#Store folder of pdf to be loaded
folder <- "pdf/"
# Number of files in folder
num_files <- length(dir(folder, pattern="*.pdf"))
# Generate file list of shapefiles
files <- as.data.frame(dir(folder, pattern="*.pdf"))
names(files) <- "data"
## Generate static maps
tmp <- data.frame(bairro = NA , sg = NA, srag = NA, obitos = NA, data = NA)
for (i in 1:num_files) {
file_name <- files[i,1]
data <- print(str_sub(files[i,1], -14, -7))
scrape <- tabulizer::extract_tables(file = paste0("pdf/", files[i,1]), output = "data.frame", page = 2, guess = TRUE, method = "stream")
scrape1 <- as.data.frame(scrape[[1]])
scrape1 <- scrape1 %>%
separate(col = 'Síndrome.Respiratória.Aguda.Grave', into = c("total de casos", "óbitos"), sep = ' ') %>%
slice(-1)
scrape1 <- scrape1[,c(1,3,5,6)]
names(scrape1) <- c("bairro", "sg", "srag", "obitos")
if (length(scrape) != 1) {
scrape2 <- as.data.frame(scrape[[2]])
scrape2[5,] <- colnames(scrape2)
names(scrape2) <- c("bairro", "sg", "srag", "obitos")
scrape2 <- scrape2 %>%
filter(bairro != "TOTAL")
scrape2 <- scrape2 %>%
mutate(bairro = str_replace_all(bairro, "\\.", " "), sg = str_replace(sg, "X", ""), srag = str_replace(srag, "X", ""), obitos = str_replace(obitos, "X", ""))
tmp_dia <- rbind(scrape1, scrape2)
tmp_dia[,5] <- data
names(tmp_dia) <- c("bairro", "sg", "srag", "obitos", "data")
} else {
tmp_dia <- scrape1
tmp_dia[,5] <- data
names(tmp_dia) <- c("bairro", "sg", "srag", "obitos", "data")
}
tmp <- tmp %>%
bind_rows(tmp, tmp_dia) %>%
filter(!is.na(sg))
}

Encontro Síncrono 1

Fri, 15 Oct 2021 00:00:00 +0100

LINK

Encontro Síncrono 2

Fri, 15 Oct 2021 00:00:00 +0100

LINK

Encontro Síncrono 3

Mon, 25 Oct 2021 00:00:00 +0100

LINK

Encontro Síncrono 4

Mon, 25 Oct 2021 00:00:00 +0100

LINK

Encontro Síncrono 5

Mon, 25 Oct 2021 00:00:00 +0100

LINK