Os dados de mais de um milhão de licenças de construção (registros em dois conjuntos de dados) do Departamento de Construção de São Francisco nos permitem analisar não apenas a atividade de construção na cidade , mas também examinar criticamente as últimas tendências e história da indústria da construção nos últimos 40 anos , desde 1980 a 2019.
Dados abertos permitem estudar os principais fatores que influenciaram e influenciarão o desenvolvimento da indústria da construção na cidade, dividindo-os em “externo” (booms e crises econômicas) e “interno” (influência de feriados e ciclos sazonais-anuais).
Conteúdo
Dados abertos e uma revisão dos parâmetros iniciais
Atividade anual de construção em San Francisco
Expectativa e realidade na elaboração do custo estimado
Atividade de construção dependendo da estação do ano
Montante total dos investimentos em imóveis em San Francisco
Nas áreas em que investimos nos últimos 40 anos
Custo médio estimado de aplicação pela prefeitura
Estatísticas totais de aplicativos por mês e dia
O futuro do setor de construção de São Francisco
Abra dados e visão geral dos parâmetros originais.
Esta não é uma tradução do artigo. Escrevo no LinkedIn e não para criar gráficos em vários idiomas - todos os gráficos estão em inglês. Link para o Jupyter Notebook com dados e gráficos (para aqueles que estão registrados no Kaggle - por favor, coloque mais Notebook - Obrigado).
Link para a versão em inglês: Os altos e baixos da indústria da construção de São Francisco. Tendências e História da Construção.
Dados sobre licenças de construção para a cidade de São Francisco - extraídos do portal de dados abertos - data.sfgov.org . O portal possui vários conjuntos de dados sobre o tópico de construção. Dois desses conjuntos de dados armazenam e atualizam dados sobre licenças emitidas para a construção ou reparo de instalações na cidade:
- Licenças de construção para o período 1980-2013 (850 mil registros)
- Licenças de construção para o período após 2013 (280 mil registros, dados são baixados e atualizados semanalmente)
Esses conjuntos de dados contêm informações sobre licenças de construção emitidas, com várias características do objeto para o qual a permissão é emitida. O número total de entradas (licenças) recebidas no período 1980-2019 é de 1.137.695 licenças .
Os principais parâmetros desse conjunto de dados que foram usados para análise:
- allow_creation_date - data de criação do aplicativo (na verdade, o dia a partir do qual o trabalho de construção começa)
- desctription - descrição do aplicativo (duas ou três palavras-chave que descrevem o objeto de construção (obra) para o qual a permissão foi criada)
- estimativa_custo - custo estimado (estimado) das obras
- revised_cost - custo revisado (custo do trabalho após a reavaliação, aumento ou diminuição do volume original do aplicativo)
- existente_utilização - tipo de moradia (casa unifamiliar, bifamiliar, apartamentos, escritórios, produção etc.)
- CEP, localização - CEP e coordenadas do objeto
Atividade anual de construção em San Francisco
No gráfico abaixo, os dados dos parâmetros estimativa_cost e custo revisado são apresentados como uma distribuição do custo total do trabalho por mês.
data_cost_m = data_cost.groupby(pd.Grouper(freq='M')).sum()Para reduzir as "emissões" mensais, os dados mensais são agrupados por ano. O gráfico da quantia investida ao longo dos anos recebeu uma forma mais lógica e passível de análise.
data_cost_y = data_cost.groupby(pd.Grouper(freq='Y')).sum()
Pelo movimento anual da soma dos custos (todas as permissões para o ano) em instalações urbanas , são claramente visíveis fatores econômicos que de 1980 a 2019 influenciaram o número e o custo dos projetos de construção, ou de outra maneira nos investimentos imobiliários de São Francisco.
O número de licenças de construção (o número de obras de construção ou o número de investimentos) nos últimos 40 anos está intimamente relacionado à atividade econômica no Vale do Silício.
O primeiro pico da atividade de construção foi associado ao hype da eletrônica em meados dos anos 80 no vale. O declínio que se seguiu em eletrônica e bancos em 1985 levou ao declínio do mercado imobiliário regional, do qual não havia se recuperado por quase dez anos.
Depois disso, mais duas vezes (em 1993-2000 e 2009-2016) antes do colapso da bolha pontocom e do boom tecnológico dos últimos anos, a indústria da construção em San Francisco passou por um crescimento parabólico de vários milhares de por cento .
Removendo os picos e vales intermediários e deixando os valores mínimo e máximo em cada ciclo econômico, fica claro quantas flutuações de mercado afetaram a indústria nos últimos 40 anos.
O maior aumento no investimento em construção ocorreu durante o boom das pontocom, quando, de 1993 a 2001, foram investidos US $ 10 bilhões em reparos e construção, ou cerca de US $ 1 bilhão por ano. Se você conta em metros quadrados (o custo de 1m² em 1995 - US $ 3000) - isso representa aproximadamente 350.000 m2 por ano durante 10 anos, a partir de 1993.
O crescimento do total de investimentos anuais nesse período foi de 1215%.
As empresas que alugavam equipamentos de construção durante esse período eram semelhantes aos escritórios que vendiam pás durante a corrida do ouro (na mesma região em meados do século XIX). Somente em vez de pás - na década de 2000 já havia guindastes e bombas de concreto, para as empresas recém-formadas que queriam ganhar dinheiro com o boom da construção.
Após cada uma das muitas crises que a indústria da construção sofreu ao longo dos anos, nos próximos dois anos pós-crise, o investimento (a quantidade de pedidos de licenças) na construção de cada vez caiu em pelo menos 50% .
As maiores crises na indústria da construção de São Francisco ocorreram nos anos 90. Onde, com uma frequência de 5 anos, a indústria caiu (-85% entre 1983-1986) e depois subiu novamente (+ 895% entre 1988-1992), permanecendo em termos anuais em 1981, 1986, 1988, 1993 - no mesmo nível.
Depois de 1993, todas as recessões subsequentes na indústria da construção não foram superiores a 50%. Mas a crise econômica que se aproxima (devido ao COVID-19) pode criar uma crise recorde na indústria da construção no período 2017-2021, cuja queda já para o período 2017-2019 é superior a 60% no total.
O crescimento populacional de São Francisco no período 1980-1993 também mostrou crescimento quase exponencial. A força econômica e a energia inovadora do Vale do Silício foram uma base sólida sobre a qual foram construídas as hipérboles da Nova Economia, do Renascimento Americano e da pontocom. Foi o epicentro da nova economia. Mas, em contraste com o crescimento do investimento imobiliário, após o pico das pontocom, a população chegou a um platô.
Se antes do pico das pontocom em 2001, desde 1950, o crescimento anual da população era de aproximadamente 1% ao ano. Depois que a bolha estourou, o fluxo de novas populações diminuiu e, desde 2001, foi de apenas 0,2% ao ano.
Em 2019 (pela primeira vez desde 1950), a dinâmica de crescimento mostrou uma saída da população (-0,21% ou 7.000 pessoas) da cidade de São Francisco.
Expectativa e realidade na preparação do custo estimado
Nos conjuntos de dados utilizados, os dados sobre o custo das permissões para um objeto de construção são divididos em:
- custo estimado inicial ( custo_ estimado )
- custo do trabalho após a reavaliação ( revised_cost )
Durante o boom, o principal objetivo da reavaliação é aumentar o custo inicial, quando o investidor (cliente da construção) mostra apetite após o início da construção.
Durante a crise, eles tentam não exceder o custo estimado, e as estimativas iniciais praticamente não sofrem alterações (exceto o terremoto de 1989).
No gráfico plotado sobre a diferença entre o custo reavaliado e o estimado (custo revisto - custo estimado), é possível observar que:
A quantidade de aumento de custo durante a reavaliação do volume de obras - depende diretamente dos ciclos do boom econômico
data_spread = data_cost.assign(spread = (data_cost.revised_cost-data_cost.estimated_cost))
Durante períodos de rápido crescimento econômico, os clientes do trabalho (investidores) gastam seu dinheiro generosamente, aumentando suas demandas após o início do trabalho.
O cliente (investidor), sentindo-se seguro financeiramente, pede ao empreiteiro ou arquiteto que estenda a licença de construção já emitida. Pode ser uma decisão de aumentar o comprimento inicial da piscina ou aumentar a área da casa (após o início dos trabalhos e a emissão de uma licença de construção).
No auge das pontocom, essas despesas "adicionais" atingiam os "1 bilhão" extras por ano.
Se você observar esta tabela já com uma alteração percentual, o pico do aumento na estimativa (100% ou 2 vezes o custo estimado original) caiu no ano anterior ao terremoto que ocorreu em 1989, próximo à cidade. Suponho que após o terremoto, os projetos de construção iniciados em 1988 exigissem após o terremoto em 1989 - mais tempo e dinheiro para implementar.
Por outro lado, uma revisão em baixa do custo estimado (que ocorreu apenas uma vez de 1980 a 2019) alguns anos antes do terremoto, presumivelmente devido ao fato de que alguns objetos iniciados em 1986-1987 foram congelados ou investimentos nesses objetos foram cortados. Na programaçãoem média, para cada objeto iniciado em 1987 - a redução de custo estimada foi de -20% do plano original .
data_spred_percent = data_cost_y.assign(spred = ((data_cost_y.revised_cost-data_cost_y.estimated_cost)/data_cost_y.estimated_cost*100))
O aumento do custo estimado inicial em mais de 40% indicou ou possivelmente foi o resultado de uma bolha iminente no mercado financeiro e, posteriormente, na construção.
Qual o motivo da diminuição do spread (diferença) entre os valores estimado e revisado após 2007?
Talvez os investidores tenham começado a analisar cuidadosamente os números (o valor médio em 20 anos aumentou de US $ 100 mil para US $ 2 milhões), ou talvez o departamento de construção, alertando e desacelerando as bolhas emergentes no mercado imobiliário, tenha introduzido novas regras e restrições para reduzir possíveis manipulações e possíveis riscos que surgirão durante os anos de crise.
Atividade de construção, dependendo da estação do ano
Depois de agrupar os dados por semanas do calendário em um ano (54 semanas), é possível observar a atividade de construção da cidade de São Francisco, dependendo da sazonalidade e da época do ano.
No Natal, todas as organizações de construção estão tentando conseguir permissão para novos objetos "grandes" (ao mesmo tempo! O número de! Permissões nos mesmos meses fica no mesmo nível ao longo do ano). Os investidores, que planejam adquirir suas propriedades no próximo ano, celebram contratos nos meses de inverno, contando com grandes descontos (desde que os contratos de verão, em sua maioria, estão chegando ao fim no final do ano e as empresas de construção estão interessadas em receber novas aplicações).
Antes do Natal, os maiores valores são apresentados nas solicitações (um aumento de uma média de 1 a 1,5 bilhão por mês. Até 5 bilhões somente em dezembro).O número total de pedidos por mês permanece no mesmo nível (consulte a seção a seguir :. Estatísticas sobre o número total de pedidos por mês e dia)
Após as férias de inverno, a indústria da construção (ativamente (com quase nenhum aumento no número de licenças)) se envolve no planejamento e implementação das ordens de "Natal" para até o meio do ano (antes do feriado do "Dia da Independência") - para ter tempo de liberar recursos antes da nova onda de contratos de verão, que começa imediatamente após os feriados de junho.
data_month_year = data_month_year.assign(week_year = data_month_year.permit_creation_date.dt.week)
data_month_year = data_month_year.groupby(['week_year'])['estimated_cost'].sum()
Os mesmos dados percentuais (linha laranja) também mostram que o setor trabalha "exatamente" ao longo do ano, mas antes e depois das férias, a atividade aumenta para 150% entre a semana 20-24 (antes do Dia da Independência) e diminui imediatamente após o feriado até -70%.
Antes do Halloween e do Natal, a atividade na indústria da construção em San Francisco, na semana 43-44, aumenta em 150% (de baixo para pico) e depois diminui para zero durante as férias.
Assim, a indústria está em um ciclo semestral, que é separado pelos feriados "Dia da Independência dos EUA" (semana 20) e "Natal" (semana 52).
Investimento total em imóveis de São Francisco
Com base nos dados sobre licenças de construção na cidade:
O investimento total em projetos de construção de São Francisco entre 1980 e 2019 é de US $ 91,5 bilhões.
sf_worth = data_location_lang_long.cost.sum()
O valor total de mercado de todos os imóveis residenciais em São Francisco, avaliado pelo imposto sobre a propriedade (que é o valor estimado de todos os imóveis e todos os bens pessoais de propriedade de São Francisco) atingiu US $ 208 bilhões em 2016 .
Em quais áreas de São Francisco foram investidas nos últimos 40 anos
Com a ajuda da biblioteca Folium, vamos ver onde esses US $ 91,5 bilhões foram investidos pelo distrito. Para fazer isso, agrupando os dados por CEP, represente o valor resultante usando círculos (a função Círculo da biblioteca Folium).
import folium
from folium import Circle
from folium import Marker
from folium.features import DivIcon
# map folium display
lat = data_location_lang_long.lat.mean()
long = data_location_lang_long.long.mean()
map1 = folium.Map(location = [lat, long], zoom_start = 12)
for i in range(0,len(data_location_lang_long)):
Circle(
location = [data_location_lang_long.iloc[i]['lat'], data_location_lang_long.iloc[i]['long']],
radius= [data_location_lang_long.iloc[i]['cost']/20000000],
fill = True, fill_color='#cc0000',color='#cc0000').add_to(map1)
Marker(
[data_location_mean.iloc[i]['lat'], data_location_mean.iloc[i]['long']],
icon=DivIcon(
icon_size=(6000,3336),
icon_anchor=(0,0),
html='<div style="font-size: 14pt; text-shadow: 0 0 10px #fff, 0 0 10px #fff;; color: #000";"">%s</div>'
%("$ "+ str((data_location_lang_long.iloc[i]['cost']/1000000000).round()) + ' mlrd.'))).add_to(map1)
map1
Os distritos mostram que a maior parte da torta foi logicamente para DownTown. Tendo simplificado o agrupamento de todos os objetos de acordo com a distância até o centro da cidade e o tempo necessário para chegar ao centro da cidade (é claro, casas caras também estão sendo construídas na costa), todas as permissões foram divididas em 4 grupos: 'Centro', '<0,5H Centro', '< 1H Downtown ',' Outside SF '.
from geopy.distance import vincenty
def distance_calc (row):
start = (row['lat'], row['long'])
stop = (37.7945742, -122.3999445)
return vincenty(start, stop).meters/1000
df_pr['distance'] = df_pr.apply (lambda row: distance_calc (row),axis=1)
def downtown_proximity(dist):
'''
< 2 -> Near Downtown, >= 2, <4 -> <0.5H Downtown
>= 4, <6 -> <1H Downtown, >= 8 -> Outside SF
'''
if dist < 2:
return 'Downtown'
elif dist < 4:
return '<0.5H Downtown'
elif dist < 6:
return '<1H Downtown'
elif dist >= 6:
return 'Outside SF'
df_pr['downtown_proximity'] = df_pr.distance.apply(downtown_proximity)Dos 91,5 bilhões investidos na cidade, quase 70 bilhões (75% de todos os investimentos) investidos em reparo e construção estão no centro da cidade (zona verde) e na área da cidade em um raio de 2 km. do centro (zona azul).
Custo médio estimado de uma aplicação de construção pelos distritos da cidade
Todos os dados, como no caso do investimento total, foram agrupados por código postal. Somente nesse caso, com o custo médio estimado (.mean ()) do aplicativo por código postal.
data_location_mean = data_location.groupby(['zipcode'])['lat','long','estimated_cost'].mean()
Em áreas comuns da cidade (mais de 2 km. Do centro da cidade) - o custo médio estimado de uma solicitação de construção é de US $ 50
mil.O custo médio estimado na área do centro da cidade é cerca de três vezes maior (US $ 150 mil a US $ 400 mil) do que em outras áreas (US $ 30-50 mil).
Além do custo da terra, três fatores determinam o custo total da construção de moradias: mão-de-obra, materiais e taxas do governo. Esses três componentes são mais altos na Califórnia do que no resto do país. Os códigos e normas de construção da Califórnia são considerados os mais abrangentes e rigorosos do país (devido a terremotos e regulamentos ambientais), exigindo frequentemente materiais e mão-de-obra mais caros.
Por exemplo, o estado exige que os construtores usem materiais de construção de alta qualidade (janelas, sistemas de isolamento, aquecimento e refrigeração) para alcançar altos padrões de eficiência energética.
A partir das estatísticas gerais sobre o custo médio de um pedido de licença, dois locais são eliminados:
- Treasure Island é uma ilha artificial na Baía de São Francisco. O custo médio estimado de uma licença de construção é de US $ 6,5 milhões.
- Mission Bay - (2.926 residentes) Custo médio estimado de uma licença de construção - $ 1.5 milhões.
De fato, o lance médio alto nessas duas regiões está associado ao menor número de ofertas para esses locais postais (145 e 3064, respectivamente, a construção na ilha é muito limitada), enquanto para o restante dos códigos postais no período 1980-2019, foram recebidas cerca de 1300 solicitações por ano (no total, uma média de 30 a 50 mil solicitações para todo o período).
Pelo parâmetro "número de aplicativos", é notável uma distribuição perfeitamente uniforme do número de aplicativos por um CEP em toda a cidade.
Estatísticas sobre o número total de pedidos por mês e dia
As estatísticas gerais sobre o número total de solicitações por mês e dia da semana de 1980 a 2019 mostram que os meses mais "silenciosos" para o departamento de construção são os meses de primavera e inverno. Ao mesmo tempo, a quantidade de investimentos indicados nas aplicações varia bastante e varia de mês para mês (consulte também “Atividade de construção dependendo da estação do ano”). Entre os dias da semana de segunda-feira, a carga de trabalho no departamento é cerca de 20% menor que no restante da semana.
months = [ 'January', 'February', 'March', 'April', 'May','June', 'July', 'August', 'September', 'October', 'November', 'December' ]
data_month_count = data_month.groupby(['permit_creation_date']).count().reindex(months)
Enquanto junho e julho praticamente não diferem no número de solicitações, no custo total estimado, a diferença chega a 100% (4,3 bilhões em maio e julho e 8,2 bilhões em junho).
data_month_sum = data_month.groupby(['permit_creation_date']).sum().reindex(months)
O futuro da indústria da construção de São Francisco, prevendo a atividade de padrões.
Em conclusão, comparamos o gráfico da atividade de construção em São Francisco com o gráfico dos preços do Bitcoin (2015-2018) e o gráfico dos preços do ouro (1940 - 1980)
.Padrão (do padrão inglês - modelo, amostra) - na análise técnica é chamado combinações repetitivas persistentes de dados de preço, volume ou indicador. A análise de padrões é baseada em um dos axiomas da análise técnica: “a história se repete” - acredita-se que combinações repetidas de dados conduzam a um resultado semelhante.
O principal padrão que pode ser adivinhado no gráfico anual de atividades é "Cabeça e Ombros" - um padrão de reversão de tendência.É assim chamado porque o gráfico se parece com uma cabeça humana (pico) e ombros nas laterais (picos menores). Quando o preço quebra a linha que liga as cavidades, o padrão é considerado completo e a movimentação provavelmente será descendente.
O movimento da atividade na indústria da construção em São Francisco coincide quase completamente com o cronograma de crescimento de ouro e bitcoin. O desempenho histórico desses três gráficos de movimento e atividade de preços mostra acentuadas similaridades.
Para poder prever o comportamento do mercado da construção no futuro, é necessário calcular o coeficiente de correlação com cada uma dessas duas tendências.
Duas variáveis aleatórias são chamadas correlacionadas se seu momento de correlação (ou coeficiente de correlação) for diferente de zero; e chamadas quantidades não correlacionadas se o momento de correlação for igual a zero.
Se o valor obtido estiver mais próximo de 0 que de 1, falar sobre um padrão claro não faz sentido. Esse é um problema matemático difícil, que os camaradas seniores podem enfrentar, que possam estar interessados neste tópico.
Se um! não científico! veja o tópico do desenvolvimento futuro da indústria da construção em San Francisco: se o padrão coincidir com o preço do bitcoin, entãoDe acordo com esse cenário pessimista , não será fácil sair da crise na indústria da construção em San Francisco no período pós-crise.
Em um cenário mais "otimista" , um crescimento exponencial repetido da indústria da construção é possível se a atividade aqui seguir o cenário "preço do ouro". Nesse cenário, em 20 a 30 anos (possivelmente em 10), o setor de construção esperará uma nova onda de emprego e desenvolvimento.
Na próxima parte, examinarei mais de perto as indústrias de construção individuais (reparo de telhados, cozinhas, construção de escadas, banheiros, se você tiver alguma sugestão para indústrias ou outros dados - por favor, escreva nos comentários) e compararei a inflação para certos tipos de trabalho com uma taxa fixa em empréstimos hipotecários e rendimentos de títulos do governo dos EUA (taxas de hipoteca fixas e rendimento do tesouro dos EUA).
Link para o Jupyter Notebook: San Francisco. Setor da construção 1980-2019.
Por favor, aqueles com Kaggle - coloque um Notebook positivo (Obrigado!).
(Comentários e explicações do código serão adicionados posteriormente ao Notebook)
Link para a versão em inglês: Os altos e baixos da indústria da construção de São Francisco. Tendências e História da Construção.
Se você gosta do meu conteúdo, considere comprar um café para mim.
Obrigado por seu apoio!
Compre café para o autor