Chris Anderson: Nick Bostrom, você já compartilhou suas idéias malucas conosco. Algumas décadas atrás, se bem me lembro, você sugeriu que viveríamos em uma simulação ou já estamos nela. E, relativamente recentemente, você apresentou o exemplo mais ilustrativo de como a inteligência artificial universal pode prejudicar. E já este ano você publicará um livro com as hipóteses mais vulneráveis do mundo. E a edição de hoje deve ser um guia ilustrado. Vamos começar. Quais são essas hipóteses?
Nick Bostrom:Esta é uma tentativa de compreender os componentes estruturais do estado atual da humanidade. Você gosta da metáfora da urna, então eu a uso. Imagine uma grande urna cheia de bolas representando idéias, métodos e todos os tipos de tecnologias. Toda atividade criativa da humanidade pode ser comparada a mergulhar nessa urna e retirar bolas de lá. E por muitos anos, sempre nos beneficiamos disso, certo? Removemos muitas bolas brancas, algumas com tons de cinza, com consequências ambíguas. Mas não encontramos uma bola preta por tanto tempo - uma tecnologia que certamente destruirá seus criadores. O livro contém versões do que estará dentro da bola preta.
CA: Então você define essa bola como a causa da morte da civilização.
NB:Até sairmos do nosso estado padrão de semi-anarquia, como eu o chamo.
CA: Você cita vários contra-exemplos como evidência. Você está convencido de que tivemos sorte ao longo dos anos. E talvez nós, sem saber, já tenhamos sacado essa bola da morte. Além disso, você faz uma cotação. O que isso significa?
NB: Apenas mostra o quão difícil é prever todas as consequências de descobertas básicas. Não temos essa oportunidade. Aprendemos bem como tirar as bolas da urna, mas não sabemos como devolvê-las. Ou seja, podemos inventar, mas não vice-versa. Como estratégia, temos apenas a esperança de que não haja bolas pretas na urna.
CA: Vamos divulgá-lo um dia e não conseguiremos recuperá-lo, e você acha que temos sorte até agora. Por favor, comente nos exemplos em que você menciona vários tipos de vulnerabilidade.
NB:O tipo mais fácil de entender é a tecnologia que pode causar muita destruição em massa sem muita dificuldade. A biologia sintética pode ser uma fonte rica de bolas pretas desse tipo. Também vale a pena considerar os produtos de geoengenharia. Podemos combater o aquecimento global, mas não precisamos facilitar as coisas para nós mesmos. Não é necessário que uma pessoa aleatória e sua avó tenham a oportunidade de mudar radicalmente o clima na Terra. Ou drones mortais do tamanho de um mosquito, produzidos em massa para matar pragas, nanotecnologia, inteligência artificial universal.
CA: Há uma dúvida no livro de que tivemos a sorte de descobrir energia nuclear para criar uma bomba atômica. Talvez seja esse o caso quando é possível criar uma bomba usando os recursos mais leves disponíveis para todos.
NB:Vamos voltar aos anos 30 do século XX, quando fizemos o primeiro progresso na física nuclear. Alguns cientistas proeminentes descobriram como criar uma reação em cadeia nuclear e depois a levaram a uma bomba. Fizemos algumas pesquisas. Descobriu-se que, para criar uma bomba atômica contendo uma enorme quantidade de urânio e plutônio, que é bastante difícil de obter, são necessários ultracentrífugos, são necessários reatores, além de uma grande quantidade de energia. Assumimos que, em vez disso, existe uma maneira mais fácil de liberar energia do átomo. E se for possível causar uma explosão nuclear da areia em um forno de microondas ou de uma maneira mais simples. Agora isso é impossível do ponto de vista da física. Mas até que tais experimentos tenham sido realizados, como você sabe o que resultará disso?
CA:Concordo que, para o desenvolvimento normal da vida na Terra, é necessário um ambiente estável. E se houvesse uma maneira mais fácil de obter grandes reações nucleares, um ambiente estável na Terra não existiria, e não estaríamos aqui.
NB: Sim, se houvesse algo criado de propósito, e não por si só. É assim que fazemos muito. Podemos empilhar 10 blocos um sobre o outro, mas esse não é o caso na natureza.
CA: Agora vamos falar sobre o que mais nos preocupa. Por enquanto, pelo que podemos prever, a biologia sintética é o caminho mais curto para a autodestruição.
NB:E imagine como seria se você dissesse a alguém que ele poderia esmagar a cidade cozinhando algo na cozinha. É difícil imaginar como a civilização moderna, em sua forma usual, pode sobreviver a uma coisa dessas. Porque entre qualquer população de muitos milhões, existem aqueles que, por algum motivo desconhecido, querem usar essa força destrutiva. E se esse amante do apocalipse optasse por destruir a cidade, ou pior, as cidades seriam destruídas.
CA: Há outro tipo de vulnerabilidade. Conte-nos, por favor.
NB:Além das bolas pretas fáceis de entender que explodirão tudo em seu caminho, outras pessoas criarão incentivos para que as pessoas façam coisas ruins e causem danos. Ou seja, se você pensar no chamado Tipo-2a, então esta é uma tecnologia que incentivará as grandes potências mundiais a usar todo o seu poder militar para a destruição. De fato, as armas nucleares estão muito próximas disso, certo? O que fizemos: gastamos mais de US $ 10 trilhões na construção de 70.000 ogivas nucleares e as mantemos em alerta máximo. Durante a Guerra Fria, estávamos à beira da destruição mútua várias vezes. Não porque as pessoas acham que é uma ótima idéia desperdiçar US $ 10 trilhões em autodestruição. Foi estimulado pelo fato de estarmos apenas procurando por nós mesmos, e isso pode ser o pior. Imagine se o primeiro golpe passou sem muitas consequências,seria muito difícil não lançar todos os mísseis nucleares em uma situação de crise. Caso contrário, porque você tem medo de que isso seja feito do outro lado.
CA: A destruição mútua garantida manteve a estabilidade durante a Guerra Fria. Caso contrário, não estaríamos aqui.
NB: Sim, isso a deixaria mais instável. Aqui o outro lado da tecnologia pode aparecer. Seria mais difícil chegar a acordos sobre armamentos se, em vez de armas nucleares, houvesse algum item pequeno ou menos visível.
CA: Assim como os maus motivos dos atores influentes do mundo, você também se preocupa com os maus motivos de cada um de nós no tipo 2b.
NB:Sim, é melhor tomar o aquecimento global como exemplo. Cada um de nós usa algumas conveniências modernas na vida cotidiana, cujo uso não tem conseqüências significativas, certo? Mas bilhões de pessoas estão fazendo a mesma coisa, que juntas tem um efeito devastador agora que o problema do aquecimento global pode piorar. Há um parâmetro de influência no clima. Ele mostra quanto aquecimento aumentará quando uma certa quantidade de gases de efeito estufa for emitida. Suponha que, com a quantidade de gases de efeito estufa emitida no momento, até 2100, em vez de um aumento de temperatura de apenas 3-4,5 graus, enfrentaremos um aumento de 15 ou até 20 graus. Ou seja, podemos nos encontrar em uma posição muito ruim. Suponha que seja muito difícil criar uma fonte de energia renovável ou que haja mais combustíveis fósseis na Terra
CA: Você está dizendo que, se o modo de vida que estamos levando hoje eventualmente levar a uma diferença visível de 10 graus, as pessoas já estariam preocupadas e farão algo a respeito. Podemos ser estúpidos, mas não tão estúpidos. Mas quem sabe.
NB: Eu não teria tanta certeza.
Considere também outras propriedades. No momento, mudar para energias renováveis e similares é difícil, mas possível. Talvez usando propriedades físicas ligeiramente diferentes, isso será muito mais caro.
CA: Qual a sua opinião? Nosso planeta, a humanidade com todas as suas capacidades técnicas, está em uma posição vulnerável? Existe uma bola da morte no nosso futuro?
NB:Difícil de dizer. Acho que é provável que essa urna contenha uma variedade de bolas pretas. Mas também haverá ouro que nos ajudará na batalha contra as bolas pretas. Mas não sei em que ordem eles aparecerão.
CA: Sua ideia contradiz levemente a idéia filosófica de que o futuro é predeterminado e inevitável, independentemente da cor da próxima bola, e até certo ponto não quero acreditar nesse futuro. Quero acreditar que o futuro não é predeterminado, que as decisões que tomamos hoje afetarão a cor da bola que sacamos.
NB:Acho que, se continuarmos inventando, acabaremos puxando todas as bolas. Existe alguma forma fraca de determinismo tecnológico que tem boas razões, o que significa que é improvável que você encontre uma comunidade que use eixos de silício e aviões a jato. A tecnologia pode ser pensada como um pacote de recursos. A tecnologia nos permite fazer coisas diferentes e alcançar resultados diferentes no mundo. Como usá-los depende apenas de nossa escolha. Mas se você pensar sobre esses três tipos de vulnerabilidade, eles podem destruir a ideia de destruí-los. Deixe-me lembrá-lo de que o primeiro tipo de vulnerabilidade é uma enorme força destrutiva e a suposição de que, entre a multimilionária população, aqueles que querem usá-la para destruição são bastante fracos.
CA:O que mais me preocupa é o pensamento de que, a essa altura, de alguma maneira nos imergimos nessa urna o suficiente para perceber que estamos condenados. Ou seja, se você acredita em um aumento de poder, no desenvolvimento da tecnologia, na criação da tecnologia que nos tornará mais fortes, então, em algum momento, você chega à conclusão de que uma única pessoa pode destruir todos nós. E nesse caso, todos nós terminamos. Isso não te incomoda?
NB: Ah, sim,
eu acredito ... Sim, estamos ficando mais fortes e está ficando mais fácil usar esse poder, mas também podemos inventar uma tecnologia que nos permita controlar o uso desse poder pelo pessoal da
KA:Vamos discutir isso. Vamos falar sobre respostas. Suponha que, pensando em todas as possibilidades que temos hoje, não seja apenas a sinbiotecnologia, mas também coisas como guerra cibernética, inteligência artificial etc. - pelo qual, talvez, no futuro, enfrentaremos um acerto de contas sério. Quais serão as respostas? Você também mencionou quatro tipos dessas respostas.
Limitação da evolução dos
RN:A limitação no desenvolvimento do progresso técnico não inspira esperança se todos nós queremos dizer a interrupção do progresso técnico como um todo. Eu acho que não temos nem o desejo nem a capacidade de fazer isso. Ou talvez apenas em algumas áreas você queira desacelerar o progresso tecnológico.Eu acho que você não deseja o rápido desenvolvimento de armas biológicas ou separação de isótopos, o que facilitará a criação de armas nucleares.
CA:Concordo plenamente com você, mas gostaria de me concentrar nisso, primeiro, porque se você olhar para a história das últimas duas décadas, estamos avançando a toda velocidade, é bom que essa seja apenas a nossa escolha, mas se você olhar para a globalização e seu rápido crescimento, à estratégia de "avançar mais rápido e quebrar as barreiras" e o que se tornou, e depois ao pleno potencial da biologia sintética. Não tenho certeza se deveríamos nos mudar tão rápido, sem nenhuma restrição, para um mundo onde haverá uma impressora de DNA em todas as casas e no laboratório do ensino médio.
NB: Talvez a primeira parte não seja a mais adequada. Se as pessoas quiserem parar de qualquer maneira, haverá problemas de implementação. De fato, nada resultará se a população de um país ...
KA:Não se apenas uma pessoa estiver atuando, mas já concluímos acordos internacionais anteriormente. Graças a isso, conseguimos eliminar a ameaça nuclear por meio de reuniões e longas negociações complexas. Eu me pergunto se não seria mais lógico não aparecer aqui em um assunto importante e tentar discutir regras estritas sobre a bio-pesquisa sintética. Não é isso que você quer democratizar?
NB:Eu concordo totalmente. Por exemplo, gostaria que o sintetizador de DNA não fosse um dispositivo que será instalado em todos os laboratórios, mas, talvez, um serviço. Digamos que existem apenas quatro ou cinco lugares no mundo onde você pode enviar uma amostra eletrônica de DNA e obter os resultados. E então você terá a oportunidade, se necessário, de obter um conjunto finito de vulnerabilidades. Eu acho que você vai querer saber sobre situações especiais que podem ser rigidamente controladas.
CA: Basicamente, sua opinião é que não funcionará se apenas desacelerarmos o progresso. Alguém, em algum lugar, digamos na Coréia do Norte, há alguém que quer pegar exatamente a bola preta da urna, se houver.
NB:No ambiente atual, é provável. E não se trata de biologia sintética. Quaisquer novas grandes mudanças no mundo podem se tornar uma bola preta.
CA: Há outra opção de desenvolvimento.
Eliminação de pessoas perigosas
NB: Mas a probabilidade é bastante pequena. Em relação ao primeiro tipo de vulnerabilidade. Se fosse possível reduzir o número de pessoas interessadas em destruir o mundo, se tivessem acesso a armas e fundos, seria ótimo.
CA: Você pediu este slide, com drones de reconhecimento de rosto voando ao redor do mundo. E quando encontram pessoas com sinais de comportamento antissocial, elas as banham de amor, "consertam" por assim dizer.
NB:Não é tão simples. Liquidação também significa, por exemplo, prisão ou destruição, ou mudar suas visões da vida para outras mais corretas. O ponto é que, por exemplo, você lidou com a tarefa, reduziu o número de pessoas perigosas pela metade. Se você liquidar por persuasão, encontrará outros fatores poderosos que afetam as pessoas: festas, religião, educação. Se o número de pessoas perigosas for reduzido pela metade. Parece-me que o risco diminuirá não em 50%, mas apenas em 5 ou 10%.
CA: Você acha que não estamos arriscando o futuro da humanidade na segunda opção?
NB: Acho que não há nada de errado em tentar dissuadir as pessoas, mas esse método não pode fornecer segurança sozinho.
CA: E a terceira opção?
NB:Existem dois métodos principais pelos quais podemos proteger nosso mundo contra toda uma gama de possíveis vulnerabilidades. Mas você pode precisar de ambos. O primeiro é a aplicação da lei policial altamente eficaz,
vigilância total
, capacidade de interceptação. Se alguém quiser cometer um crime, seria possível interceptá-lo e detê-lo. Nesse caso, será necessária uma supervisão generalizada, cada um de nós estará sob supervisão.
CA: como o relatório da minoria.
Nota: algoritmos de inteligência artificial, grandes centros de liberdade etc. podem nos ajudar na observação.
CA: Você sabe que o termo "vigilância total" não é muito popular agora?
NB:Será um pequeno dispositivo com câmeras multidirecionais embutidas na chamada gargantilha que precisará ser usada o tempo todo. Para que não pareça um fardo, vamos chamá-lo de algo como um "símbolo da liberdade".
CA: Ok, amigos, é por isso que nossa conversa é tão emocionante.
NB: Você pode conversar sobre isso por um longo tempo, o que é óbvio. Discutimos riscos e desafios, certo? Podemos voltar a isso. E quarto,
Governança Global
a última oportunidade de estabilização é fechar as lacunas no governo. O controle se tornaria uma falha na governança em nível micro, impedindo alguém de fazer algo ilegal. Obviamente, o mesmo problema é observado no nível macro, no nível global. Definitivamente, será necessário ter competência para evitar rupturas na coordenação global, para evitar guerra entre as grandes potências, uma corrida armamentista, problemas gerais com cataclismos, para lidar com as vulnerabilidades do tipo 2a.
CA:O termo “governança global” claramente não está em voga agora, mas você pode argumentar que, no curso da história da humanidade, a cada novo estágio de desenvolvimento, o poder tecnológico aumenta. As pessoas transformaram e concentraram esse poder. Por exemplo, quando uma quadrilha criminosa itinerante pode liderar uma sociedade, a resposta é que você tem um estado-nação e está concentrando forças - a polícia ou o exército e "Você não pode fazer isso". A lógica, talvez, é que, se uma única pessoa ou grupo de pessoas puder destruir a humanidade, um dia iremos embarcar nesse caminho, pelo menos em alguns aspectos?
NB:Claramente, no curso do desenvolvimento da história humana, a escala do aparato político aumentou. Primeiro havia um grupo de caçadores-coletores, depois o chefe de uma tribo, cidade-estado, nação, agora existem organizações internacionais, etc. Eu só quero ter certeza de que pude destacar o grande número de aspectos e riscos negativos, tanto no caso de vigilância total quanto na governança global. Eu só quero observar que, se tivermos sorte, o mundo poderá se tornar tal que todos os itens acima serão apenas salvação da bola preta.
CA:Pelo que entendi, a lógica dessa teoria é que deve ser entendido que tudo não acontecerá imediatamente. É um tipo de sonho ingênuo que muitos de nós temos de que a tecnologia é sempre usada para o bem. Continue, não pare, se apresse, se possível, e não pense nas consequências que podem nem acontecer. Pode acontecer. E, se assim for, teremos que aceitar outras circunstâncias e nos tornar parte da corrida armamentista. Se você quer ter poder, é melhor limitá-lo ou descobrir como limitá-lo.
NB:Eu acho que essa é uma opção muito boa, em certo sentido até a mais fácil e pode funcionar. Mas isso significa que somos muito vulneráveis à aparência da bola preta. Penso que, adicionando um pouco de coordenação, se resolvermos todos os problemas no nível de macro e microgerenciamento, tiraremos todas as bolas da lata de lixo e colheremos muitos benefícios.
CA: Que diferença faz se vivermos em uma simulação? Estamos apenas reiniciando.
NB: Eu não acho que chegou.
CA: O que você acha? Juntando tudo, qual é a probabilidade de estarmos condenados?
(Adoro o riso das pessoas quando essa pergunta é feita.)
NB: Em um nível individual, acabaremos de qualquer maneira, com o tempo, envelhecemos, decaímos e coisas assim, certo?
Na verdade, é um pouco mais complicado. Se você deseja calcular a probabilidade de terminarmos, em primeiro lugar, quem somos "nós"? Se você tem muitos anos, pode morrer de morte natural. Se você é jovem, pode ter até 100 anos. A probabilidade é individual. Então, o limiar, isto é, limitar o conceito de destruição da civilização. No meu livro, não considero a catástrofe existencial a destruição da civilização. É tudo uma questão de definição. Digamos que haverá um bilhão de mortes ou uma redução de 50% no PIB global, mas como você define o limite, obtém diferentes graus de probabilidade. Eu acho que você vai me chamar de otimista medrosa.
CA: Você é um otimista medroso e acho que já criou várias pessoas intimidadas ... até agora.
NB: Vivendo em simulação.
CA:Exatamente. Nick Bostrom, suas idéias são incríveis. Obrigado por nos assustar até a morte.
Traduzido por Olia Francia
Avaliado por Natalia Ost
Descubra os detalhes de como obter uma profissão de alto nível do zero ou subir de nível em habilidades e salário fazendo os cursos on-line pagos do SkillFactory:
- Curso de Machine Learning (12 semanas)
- Treinamento da profissão em Data Science (12 meses)
- Profissão analítica com qualquer nível inicial (9 meses)
- Curso Python para Desenvolvimento Web (9 meses)
Consulte Mais informação
- Tendências no cenário de dados 2020
- A ciência de dados está morta. Viva a Ciência dos Negócios
- O melhor cientista de dados não perde tempo com estatísticas
- Como se tornar um cientista de dados sem cursos on-line
- 450 cursos gratuitos da Ivy League
- Ciência de dados para as humanidades: o que são "dados"
- Data Sciene : Decision Intelligence