Introdução
Miriam tinha apenas 21 anos quando conheceu Nick. Ela era fotógrafa, recém-formada na faculdade e servia mesas. Ele era 16 anos mais velho que ela e era dono de uma empresa de finanças. Ele era encantador e carismático; levava-a em encontros extravagantes e pagava tudo. Ela rapidamente caiu sob sua influência.
Tudo começou com um cartão de crédito. Ela era a única pessoa com Miriam naquela época. Nick aumentou sua dívida com compras comerciais em US $ 5.000 e pagou rapidamente no dia seguinte. Miriam, que me pediu para não revelar seus nomes verdadeiros por medo de interferir no processo de divórcio, descobriu que o truque de Nick aumentou sua classificação de crédito. Tendo crescido com um pai solteiro em uma família de baixa renda, ela confiava no know-how de Nick mais do que em si mesma. Nick a apoiou prontamente, dizendo que ela não entendia de finanças. Ela abriu vários outros cartões de crédito para ele em seu nome.
O problema começou três anos depois. Nick pediu a Miriam que largasse o emprego para ajudá-lo nos negócios, o que ela fez. Nick disse a ela para ir para a faculdade e não se preocupar com o agravamento de sua dívida estudantil existente. Miriam obedeceu a Nick novamente. Ele prometeu cuidar de tudo e ela acreditou nele. Nick parou de pagar contas de cartão de crédito logo em seguida. O relato de Miriam começou a desaparecer.
E ainda assim Miriam ficou com Nick. Eles se casaram e tiveram três filhos. E então, um dia, agentes do FBI invadiram sua casa e prenderam Nick. Um juiz federal considerou Nick culpado de quase US $ 250.000 em fraude. Miriam descobriu o valor da dívida em dezenas de milhares de dólares, que Nick emitiu em seu nome. “No dia em que ele foi para a prisão, eu tinha US $ 250 em dinheiro, uma casa e um carro sob fiança e três filhos”, diz Miriam. “Em um mês, deixei de poder contratar uma babá, de morar em uma casa bonita e tudo mais, para uma pobreza real.”
Miriam experimentou o que chamou de “dívida forçada”, uma forma de violência geralmente cometida por um parceiro próximo ou parente. O abuso econômico é um problema antigo: o banco digital tornou mais fácil abrir contas e emprestar em nome da vítima, diz Carla Sanchez-Adams, advogada de assistência jurídica do Texas RioGrande. Na era dos algoritmos automatizados de classificação de crédito, as consequências podem ser muito mais devastadoras.
As pontuações de crédito têm sido usadas para avaliar a qualidade de crédito do consumidor por décadas, mas agora que o cálculo é baseado em algoritmos, eles importam muito mais: eles não apenas representam significativamente mais dados, tanto em termos de volume e tipo, mas também afetam cada vez mais se você pode comprar um carro, alugar um apartamento ou conseguir um emprego permanente. Seu impacto generalizado significa que, se você tiver crédito ruim, é quase impossível recuperar. Pior ainda, os algoritmos são propriedade de empresas privadas que não divulgam como esses algoritmos chegam às suas soluções. As vítimas podem descer uma escada social que às vezes acaba perdendo suas casas ou voltando para o agressor.
Os algoritmos de pontuação de crédito não são os únicos que afetam o bem-estar econômico das pessoas e seu acesso aos serviços básicos. Os algoritmos agora decidem quais crianças vão para um orfanato, quais pacientes recebem cuidados médicos, quais famílias têm acesso a uma moradia estável. Aqueles de nós com recursos podem viver nossas vidas sem saber de tal coisa. Mas, para pessoas de baixa renda, o rápido crescimento e a introdução de sistemas automatizados de tomada de decisão criaram uma rede oculta de armadilhas interconectadas.
Felizmente, cada vez mais advogados civis estão se organizando em torno dessa questão. Tendo pegado emprestado um livro sobre o combate aos algoritmos de avaliação de risco do mundo do crime, eles se esforçam para estudar esses sistemas, criar uma comunidade e desenvolver estratégias de comportamento em litígios. “Basicamente, todo advogado civil começa a lidar com esse material porque todos os nossos clientes são de alguma forma afetados por esses sistemas”, diz Michelle Gilman, professora de direito clínico da Universidade de Baltimore. - Precisamos acordar e aprender. Se quisermos ser advogados realmente bons e holísticos, devemos estar cientes do que está acontecendo. "
"Vou examinar o algoritmo?"
Gilman exerce a advocacia em Baltimore há 20 anos. Seu trabalho como defensora civil e antipobreza sempre se resumiu na mesma coisa: ela representou pessoas que perderam o acesso a necessidades básicas como moradia, alimentação, educação, trabalho ou saúde. Às vezes, esse tipo de trabalho significa entrar em conflito com uma agência governamental. Em outros casos, é a agência de relatórios de crédito ou o proprietário. Cada vez mais, a luta pelo direito do cliente afeta um ou outro algoritmo.
“Com nossos clientes, isso acontece aos poucos”, diz ela. “Eles estão emaranhados com muitos algoritmos diferentes que impedem o uso de serviços básicos. E os clientes podem não estar cientes disso porque muitos desses sistemas são invisíveis. "
Para pessoas de baixa renda, uma dificuldade econômica temporária pode levar a um ciclo vicioso que às vezes termina em falência ou falta de moradia.
Gilman não se lembra exatamente quando percebeu que algumas decisões sobre aceitabilidade são feitas por algoritmos. Mas quando essa transição estava apenas começando, raramente era óbvia. Em uma ocasião, Gilman representou uma cliente idosa com deficiência que foi inexplicavelmente cortada de seu atendimento domiciliar patrocinado. “Não conseguíamos descobrir por quê”, lembra ela. Ela estava piorando e, normalmente, se você piorar, terá mais horas, não menos. "
Não foi até Gilman e seu cliente estarem no tribunal no meio da audiência que uma testemunha representando o estado relatou que o governo havia acabado de implementar um novo algoritmo. A testemunha, a enfermeira, não soube explicar nada.
“Claro que não - eles compraram na prateleira [sobre o produto a granel que não deve ser pedido]”, disse Gilman. “Ela é uma enfermeira, não uma cientista da computação. Ela não sabia responder quais fatores influenciam o comportamento do sistema. Como eles são pesados? Quais são os resultados esperados? " Então, eu estava com meu advogado estudante, que estava em minha clínica de direito comigo, e ele perguntou algo como: "Oh, vou examinar o algoritmo?"
Para Kevin De Liban, advogado do escritório de advocacia Arkansas Legal Aid, a mudança foi igualmente traiçoeira. Em 2014, seu estado também introduziu um novo sistema de distribuição de cuidados de saúde ao domicílio financiados, eliminando várias pessoas que anteriormente eram elegíveis para esses cuidados. Na época, ele e seus colegas não conseguiram determinar a causa raiz desse corte. Eles só sabiam que algo havia mudado. “Pudemos entender que houve uma mudança nos sistemas de classificação de um questionário em papel com 20 perguntas para um questionário eletrônico com 283 perguntas”, admite.
Apenas dois anos depois, quando uma falha no algoritmo novamente levou a uma ação legal, De Liban finalmente chegou ao cerne da questão. Ele percebeu que as enfermeiras estavam dizendo aos pacientes: "Bem, o computador fez isso - não fui eu."
“Foi isso que nos alertou”, afirma. “Se eu soubesse o que sabia em 2016, provavelmente estaria protegendo melhor o cliente em 2014”, acrescenta De Liban.
Uma pessoa passa por muitos sistemas todos os dias
Desde então, Gilman ganhou muita experiência. Representando clientes com uma série de problemas, ela observou o surgimento e a colisão de duas redes algorítmicas. A primeira rede consiste em algoritmos de relatórios de crédito, como os capturados por Miriam, que afetam o acesso a bens e serviços privados, como carros, casas e empregos. A segunda rede contém algoritmos adotados por agências governamentais que influenciam o acesso a bens públicos, como assistência médica, desemprego e serviços de pensão alimentícia.
Em termos de relatórios de crédito, o crescimento dos algoritmos foi impulsionado pela proliferação de dados que estão mais fáceis do que nunca de coletar e disseminar. Os relatórios de crédito não são novos, mas seu impacto é muito mais amplo atualmente. Agências de informação ao consumidor, incluindo agências de crédito, empresas de verificação de inquilinos e assim por diante, coletam essas informações de uma ampla variedade de fontes: registros públicos, mídia social, navegação na web, bancos, uso de aplicativos e muito mais. Os algoritmos então atribuem pontuações de "valor" às pessoas, o que ajuda muito em verificações de antecedentes realizadas por credores, empregadores, proprietários e até escolas.
As agências governamentais, por outro lado, são forçadas a adotar algoritmos quando desejam atualizar seus sistemas. A adoção de aplicativos da web e ferramentas digitais começou no início de 2000 e continuou com a mudança em direção a sistemas automatizados baseados em dados e inteligência artificial. Existem bons motivos para se empenhar por essa mudança. Durante a pandemia, muitos sistemas de seguro-desemprego tiveram dificuldade em lidar com o grande volume de novos pedidos, resultando em atrasos significativos. Atualizar esses sistemas legados promete resultados mais rápidos e confiáveis.
Mas o processo de aquisição de software raramente é transparente e, portanto, não há responsabilidade. As agências governamentais geralmente adquirem ferramentas automatizadas de tomada de decisão diretamente de fornecedores privados. Como resultado, quando os sistemas dão errado, as pessoas afetadas e seus advogados ficam no escuro. “Eles não avisam sobre isso em lugar nenhum”, reclama Julia Simon-Michel, uma advogada do escritório de advocacia Philadelphia Legal Assistance. “Isso raramente é escrito em qualquer manual ou ajuda. Estamos em desvantagem. "
A falta de escrutínio público também torna os algoritmos mais sujeitos a erros. Um dos problemas mais flagrantes ocorreu em Michigan em 2013. Depois de muito esforço para automatizar o sistema estadual de seguro-desemprego, o algoritmorotulado erroneamente mais de 34.000 pessoas como golpistas . “Isso resultou em uma enorme perda de benefícios”, diz Simon-Michel. - Houve falências, houve, infelizmente, suicídios. Foi uma bagunça completa. "
Gilman teme que dívidas e despejos relacionados ao coronavírus sejam codificados em contagens de crédito, tornando para sempre difícil para as pessoas conseguirem empregos, apartamentos e empréstimos.
Pessoas de baixa renda suportam o impacto da transição para algoritmos. Essas são as pessoas mais vulneráveis às dificuldades econômicas temporárias que são codificadas nos relatórios do consumidor e aquelas que precisam e buscam benefícios. Ao longo dos anos, Gilman viu cada vez mais casos em que os clientes correm o risco de entrar em um círculo vicioso. “Uma pessoa passa por muitos sistemas todos os dias”, diz ela. - Quer dizer, isso acontece com todo mundo. Mas as consequências são muito piores para os pobres e as minorias. ”
Ela cita um caso atual em sua clínica jurídica como exemplo. Um membro da família perdeu o emprego devido à pandemia e foi privado do seguro-desemprego devido a uma falha no sistema automatizado. A família então parou de pagar o aluguel, o que levou o proprietário a processá-los por despejo. Embora o despejo não seja legal devido a uma moratória no controle e prevenção de doenças, a reivindicação ainda será registrada publicamente. Esses registros podem então ser usados em algoritmos de seleção de inquilinos, o que pode tornar difícil para uma família encontrar uma moradia estável no futuro. A incapacidade de pagar o aluguel e os serviços públicos também pode ser um golpe em sua pontuação de crédito, com consequências novamente. “Se as pessoas tentarem usar telefones celulares ou fazer um empréstimo, comprar um carro ou se candidatar a um emprego, esses efeitos em cascata ocorrerão”, diz Gilman.
Cada situação humana se transformará em uma situação de algoritmo
Em setembro, Gilman, que agora está no Institute for Data and Society Research, divulgou um relatório que descreve todos os algoritmos que os advogados especializados em pobreza podem enfrentar. Relatório denominado “Algoritmos da pobreza» ( Poverty Lawgorithms ) e desenhado como um guia para os advogados da área. O relatório está dividido em áreas específicas de prática, como direito do consumidor, direito da família, direito da habitação e bens públicos. O relatório explica como lidar com os desafios colocados por algoritmos e outras tecnologias baseadas em dados dentro da legislação existente.
Por exemplo, se a compra de um apartamento for negada a um cliente devido a uma baixa classificação de crédito, o relatório recomenda que um advogado verifique primeiro se os dados inseridos no sistema de pontuação são precisos. De acordo com o Fair Credit Reporting Act, as agências de relatórios são obrigadas a garantir a exatidão de suas informações, mas nem sempre é esse o caso. Contestar qualquer reclamação errônea pode ajudar a restaurar o crédito do cliente e, assim, o acesso à habitação. No entanto, o relatório reconhece que as leis existentes podem apenas ajudar a alcançar isso. Ainda há lacunas regulatórias que precisam ser preenchidas, diz Gilman.
Gilman espera que o relatório sirva como um alerta. Muitos de seus colegas ainda não entendem o que está acontecendo e não conseguem fazer as perguntas certas para descobrir algoritmos. Pessoas cientes do problema estão espalhadas pelos Estados Unidos, estudando o problema, indo ao ponto do problema e lutando sozinhos com algoritmos. Gilman vê uma oportunidade de reuni-los e criar uma comunidade mais ampla de pessoas que podem ajudar umas às outras. “Todos nós precisamos aprender e aprender mais - não apenas em termos da lei, mas também em termos dos próprios sistemas”, diz Gilman. No final, parece que toda situação humana se transformará em uma situação de algoritmo. "
A longo prazo, Gilman busca inspiração no mundo do crime. Os advogados criminais “trabalharam à frente da curva”, diz ela. Eles se organizaram em uma comunidade e lutaram contra algoritmos de avaliação de risco que definem o julgamento, atrasando sua implementação. Gilman quer que os advogados civis façam o mesmo: criem um movimento para trazer mais escrutínio público e regulamentação para a rede oculta de algoritmos que seus clientes enfrentam. “Em alguns casos, o sistema provavelmente deveria apenas desligar porque não há como torná-lo justo”, diz ela.
Quanto a Miriam, após a condenação de Nick, ela se foi para sempre. Miriam e seus filhos mudaram-se para o novo estado e contataram uma organização sem fins lucrativos que apóia sobreviventes de dívidas forçadas e violência doméstica. Com a ajuda da organização, Miriam fez vários cursos para ensiná-la a administrar suas finanças. A organização ajudou Miriam a fechar muitas dívidas forçadas e aprender mais sobre algoritmos de crédito. Quando foi comprar um carro com a ajuda do pai, que se tornou patrocinador, seu crédito mal atingiu o mínimo exigido. Desde então, seus constantes pagamentos de carro e dívidas estudantis aumentaram gradualmente sua pontuação de crédito.
Miriam ainda precisa estar alerta. Nick tem o número do seguro social dela e eles ainda não se divorciaram. Ela está constantemente preocupada com a possibilidade de Nick abrir outras contas e fazer novos empréstimos em seu nome. Por um tempo, ela verificou o extrato do cartão de crédito diariamente em busca de fraude. Mas agora ela está olhando para a frente. O pai de Miriam, que tem 60 anos, quer se aposentar e se mudar. Ambos estão agora concentrados na preparação para comprar uma casa. "Eu estou muito animado com isso. Minha meta é chegar a 700 até o final do ano ”, diz ela sobre sua pontuação de crédito,“ e então com certeza estarei pronta para comprar uma casa ”. “Nunca morei na minha própria casa”, acrescenta ela. "Meu pai e eu estamos trabalhando juntos para economizar dinheiro em nossa própria casa."
Não se esqueça do código promocional HABR , que acrescenta 10% ao desconto do banner.
E
- Desenvolvedor front-end
- Profissão Web developer
- Curso de Python para Desenvolvimento Web
- Curso avançado "Machine Learning Pro + Deep Learning"
- Curso de Aprendizado de Máquina
- Curso "Matemática e Aprendizado de Máquina para Ciência de Dados"
- Profissão Ethical Hacker
- Desenvolvedor de jogos Unity
- Curso de JavaScript
- Profissão de desenvolvedor Java
- C++
- DevOps
- iOS-
- Android-