Inteligência artificial para previsão de suicídio dor de artrite reumatóide dor de pé à noite

Os métodos tradicionais de prever o suicídio, como questionários administrados por médicos, são notoriamente imprecisos. Na esperança de salvar vidas, prevendo o suicídio com mais precisão, hospitais, governos e empresas de internet estão desenvolvendo ferramentas de previsão baseadas em Inteligência Artificial (IA). Este ensaio analisa os riscos que esses sistemas representam para a segurança, privacidade e autonomia, que têm sido sub-explorados.

O primeiro, que chamo de “previsão médica de suicídio”, usa AI para analisar registros de pacientes. Previsão de suicídio médica ainda não é amplamente utilizada, além de um programa no departamento de assuntos de veteranos (VA). Como a previsão de suicídio médico ocorre dentro do contexto da assistência médica, ela está sujeita a leis federais, como a HIPAA, que protege a privacidade e a segurança das informações do paciente, e a norma federal comum, que protege os sujeitos de pesquisa humanos.

Meu foco aqui está na segunda faixa da previsão de suicídio baseada em IA, que eu chamo de “predição de suicídio social”. Embora essencialmente não regulamentada, a predição de suicídio social usa dados comportamentais extraídos das interações digitais dos consumidores. As empresas envolvidas, que incluem grandes plataformas de internet, como facebook e twitter, geralmente não estão sujeitas às regulamentações de privacidade, aos princípios de ética médica ou às regras que regem a pesquisa em seres humanos da HIPAA.

Conforme seguimos nossas rotinas diárias, deixamos rastros digitais ou “breadcrumbs” refletindo onde estivemos e o que fizemos. As empresas usam a IA para analisar esses traços e inferir informações de saúde, que são usadas para publicidade direcionada e tomada de decisão algorítmica. Por exemplo, a AI do Facebook varre as postagens de usuários para palavras e frases que acredita estarem correlacionadas com pensamentos suicidas e estratifica as postagens em categorias de risco.

Para postagens consideradas de “alto risco”, a empresa pode notificar a polícia, que então realiza “verificações de saúde” nas residências dos usuários. Em 2017, o Facebook anunciou que seu sistema havia solicitado mais de 100 verificações de bem-estar em um mês. Sua linha de texto de crise da filial, um serviço de aconselhamento baseado em texto voltado para crianças e adolescentes, relata o envio de policiais e outros socorristas para as casas dos usuários mais de 11.500 vezes.

À primeira vista, a previsão do suicídio social parece uma proposta ganha-ganha, permitindo que as plataformas on-line beneficiem os usuários e suas famílias. No entanto, previsões de suicídio social emergem de uma caixa preta de algoritmos que são protegidos como segredos comerciais. Ao contrário da pesquisa médica de predição de suicídio, que passa por revisão ética por conselhos de revisão institucionais e é publicada em revistas acadêmicas, os métodos e resultados da predição de suicídio social permanecem confidenciais. Não sabemos se é seguro ou eficaz.

Quando as empresas se envolvem na previsão de suicídio, vários perigos surgem, incluindo riscos à privacidade. Como a maioria das empresas que prevêem o suicídio não são entidades cobertas pelo HIPAA, suas previsões podem ser compartilhadas com terceiros sem o conhecimento ou consentimento do consumidor. A transferência ou venda de dados de previsão de suicídio para anunciantes, corretores de dados e seguradoras pode promover a discriminação contra os consumidores que são considerados suicidas.

Anunciantes e corretores de dados podem argumentar que a coleta e venda de previsões de suicídio constituem discurso comercial protegido sob a primeira emenda, e eles podem estar certos. No entanto, a Suprema Corte dos EUA derrubou uma lei de Vermont que restringia a venda de registros de farmácias contendo os hábitos de prescrição dos médicos. O tribunal argumentou que a lei violou os direitos da primeira alteração dos corretores de dados e dos fabricantes de medicamentos, porque os proibia de comprar os dados, permitindo que fossem compartilhados para outros usos. Esta opinião pode ameaçar quaisquer leis estaduais futuras que limitem a venda de previsões de suicídio. Tais leis devem ser elaboradas com este caso em mente, permitindo o compartilhamento de previsões de suicídio apenas para uma gama restrita de propósitos, como pesquisa (ou proibi-la completamente).

Além de ameaçar a privacidade do consumidor, a previsão do suicídio social representa riscos para a segurança e a autonomia do consumidor. Devido à falta de transparência, não se sabe com que frequência os exames de saúde resultam em hospitalização involuntária, o que priva as pessoas da liberdade e pode fazer mais mal do que bem. No curto prazo, a hospitalização pode prevenir o suicídio. No entanto, as pessoas correm alto risco de suicídio logo após serem liberadas dos hospitais. Assim, compromissos civis poderiam, paradoxalmente, aumentar o risco de suicídio.

O Facebook implantou seu sistema em quase todas as regiões em que opera, exceto na união européia. Em alguns países, a tentativa de suicídio é uma ofensa criminal (por exemplo, em Cingapura, onde o Facebook mantém sua sede Ásia-Pacífico). Nesses países, os exames de bem-estar iniciados pelo Facebook podem resultar em processo criminal e encarceramento, ilustrando como a previsão de suicídio social é análoga ao policiamento preditivo.

Nos EUA, a quarta emenda protege as pessoas e seus lares de buscas sem mandado. No entanto, sob a doutrina de circunstâncias exigentes, a polícia pode entrar em residências sem mandatos se acreditar que a entrada é necessária para evitar danos físicos, como a interrupção de um suicídio. No entanto, pode ser irracional confiar em previsões de suicídio opacas geradas pela IA para contornar as proteções da quarta emenda quando nenhuma informação a respeito de sua precisão estiver disponível publicamente.

Minorias sub-representadas e outros grupos vulneráveis ​​podem ser desproporcionalmente impactados por predições sociais de suicídio e cheques de bem-estar. De acordo com a linha de texto da crise, 5% de seus texters se identificam como nativos americanos, o que representa mais de três vezes a porcentagem da população dos EUA. Os hispânicos e membros da comunidade LGBTQ + também estão super-representados na base de usuários da empresa em relação à sua presença na população em geral. Além disso, 20% dos usuários da linha de texto de crise são provenientes de CEPs, onde a renda familiar está nos 10% mais baixos e 10% de seus usuários têm menos de 13 anos.

Empresas envolvidas em previsões de suicídio devem publicar seus algoritmos de previsão de suicídio para análise por especialistas em privacidade, cientistas da computação e profissionais de saúde mental. No mínimo, eles devem divulgar os fatores ponderados para fazer previsões e os resultados de intervenções subseqüentes. Na União Européia, o Artigo 22 do Regulamento Geral de Proteção de Dados (GDPR) dá aos consumidores o direito de “não estarem sujeitos a uma decisão baseada exclusivamente no processamento automatizado, incluindo o perfil”, que pode incluir o perfil de risco de suicídio.

Os EUA não têm proteções similares no nível federal. No entanto, a lei de proteção ao consumidor da Califórnia de 2018 (CCPA) oferece algumas salvaguardas, permitindo que os consumidores solicitem as categorias de informações pessoais coletadas e solicitem que as informações pessoais sejam excluídas. O CCPA inclui dados de saúde inferidos dentro de sua definição de informações pessoais, o que provavelmente inclui previsões de suicídio. Embora essas salvaguardas aumentarão a transparência da previsão de suicídio social, o CCPA tem lacunas significativas. Por exemplo, não se aplica a organizações sem fins lucrativos, como linha de texto de crise. Além disso, a indústria de tecnologia está fazendo lobby para enfraquecer o CCPA e implementar leis federais mais brandas para antecipá-lo.

Uma forma de proteger a segurança do consumidor seria regular os algoritmos de predição de suicídio social como dispositivos médicos baseados em software. A Food and Drug Administration (FDA) colaborou com reguladores de dispositivos médicos internacionais para propor critérios para a definição de “software como um dispositivo médico”, que inclui se os desenvolvedores pretendem que o software diagnostique, monitore ou alivie uma doença ou lesão. A previsão de suicídio social visa monitorar pensamentos suicidas e impedir que os usuários se machuquem, portanto, deve satisfazer esse requisito. O FDA também regula os aplicativos móveis de saúde e, provavelmente, reserva-se o direito de regulamentar aqueles que utilizam algoritmos de previsão de suicídio, pois representam riscos para os consumidores, incluindo aplicativos do Facebook, como o mensageiro.

Tratar preditores de suicídio social como fiduciários de informação os sujeitaria a deveres de cuidado, lealdade e confidencialidade. Sob o dever de cuidado, as empresas podem ser obrigadas a garantir que seus algoritmos e intervenções de prevenção de suicídio sejam seguros. Os deveres de lealdade e confidencialidade podem exigir que eles protejam os dados de previsão de suicídio e que se abstenham de vendê-lo ou utilizá-lo para explorar os consumidores.

Alternativamente, podemos exigir que as previsões de suicídio social sejam feitas sob a orientação de profissionais de saúde licenciados. Por enquanto, os humanos continuam no loop da linha de texto facebook e crisis, mas isso pode mudar. O Facebook tem mais de dois bilhões de usuários e, como monitora continuamente o conteúdo gerado pelo usuário em busca de uma lista crescente de ameaças, a tentação de automatizar a previsão de suicídio aumentará. Mesmo que os moderadores humanos permaneçam no sistema, as previsões geradas pela IA podem forçá-los a entrar em contato com a polícia, mesmo quando tiverem reservas quanto a isso. Preocupações semelhantes existem no contexto do direito penal. Os algoritmos de sentença baseados em AI fornecem pontuações de risco de reincidência aos juízes durante a sentença. Os críticos argumentam que, embora os juízes mantenham o poder de decisão final, desafiar as recomendações de software pode ser difícil. Como as ferramentas de previsão de suicídio social, os algoritmos de condenação criminal são caixas-pretas proprietárias, e a lógica por trás de suas decisões é proibida para as pessoas que confiam em suas pontuações e naquelas afetadas por elas.

A cláusula do devido processo da décima quarta emenda protege o direito das pessoas de evitar o confinamento desnecessário. Apenas uma corte suprema estadual considerou um desafio devido ao uso de algoritmos proprietários em sentenças criminais. No estado v. Loomis, o tribunal confirmou a sentença do peticionário porque não se baseou apenas em uma pontuação de avaliação de risco. No entanto, no contexto da previsão do suicídio, o risco de hospitalizar pessoas sem o devido processo é uma razão convincente para tornar mais transparente a lógica das previsões de suicídio baseadas na IA.