Charlatanismo contra a revisão por pares

Tradução do texto publicado em maio de 2007 pelo Dr. David H. Gorski: https://respectfulinsolence.com/2007/05/16/cranks-against-peer-review-1/

Um dos alvos favoritos dos pseudo cientistas é o sistema de revisão por pares. Afinal, é o sistema pelo qual os cientistas enviam seus artigos descrevendo suas descobertas científicas ou suas propostas de concessão a seus pares para uma avaliação para determinar se eles são cientificamente meritórios o suficiente para serem publicados ou financiados. Os criacionistas odeiam isso. Os negacionistas do HIV / AIDS odeiam isso . De fato, pseudocientistas e charlatões de todos os tipos odeiam. Há uma razão para isso, é claro, a saber, que a vigorosa revisão por pares é uma parte importante da ciência que impede os pseudo cientistas de alcançar a respeitabilidade que a ciência possui e que eles desejam. Ultimamente, porém, os ataques à revisão por pares provenientes do contingente de charlatões parecem ser mais violentos do que o habitual.


Agora, longe de mim ser um Panglossiano e afirmam que o sistema de revisão por pares é o “melhor dos mundos possíveis”, ou qualquer coisa assim. Tendo participado do sistema no final do recebimento, como revisor de pares de periódicos e como revisor de uma seção de estudo, sei que não há dúvida de que o sistema tem problemas e poderia fazer melhorias consideráveis. No entanto, quando ouço fanfarrões raivosos da revisão por pares caracterizá-la como ” revisão de amigos” , tendo a repetir a famosa declaração de Winston Churchill sobre democracia que a revisão por pares é “a pior maneira de determinar qual ciência deve ser publicada e financiada, exceto todas as outras que já foram experimentadas”. Certamente, os críticos não conseguem propor algo melhor. Obviamente, isso ocorre porque o objetivo real por trás das inúmeras críticas feitas pelos analistas sobre a revisão por pares não é reformar ou melhorar o sistema, mas enfraquecê-lo ou alterá-lo para que eles possam publicar sua pseudociência favorita e / ou financiada, assim permitindo-lhes alcançar a respeitabilidade da ciência real que tanto desejam.

Ultimamente, há um artigo percorrendo a blogosfera elaborado (Hora de esconder meu rosto de vergonha novamente ) por um cirurgião da Universidade de Washington chamado Donald W. Miller Jr. , que lança informações gerais no sistema de revisão por pares usado para determinar quem recebe subsídios do governo dos EUA e cujo artigo ganhou muita força entre os negadores do HIV / AIDS . O artigo não apareceu em um periódico revisado por pares, pelo que sei, e é intitulado Sistema de Subsídios do Governo: Inibidor da Verdade e da Inovação? Eu sabia que haveria problemas imediatamente. Primeiro, Miller usa o termo “verdade” no título. A ciência não é sobre “verdade”; trata-se de entender como o mundo ao nosso redor funciona da melhor maneira possível. Pior, desde o início do artigo, o Dr. Miller mostra que ele não consegue entender seus fatos, distorcendo o conceito de “triagem” e me fazendo pensar seriamente se ele já serviu em uma seção de estudos do NIH. Certamente, pesquisando no banco de dados CRISP Não pude encontrar nenhuma evidência de que ele já tenha sido o principal investigador ou co-investigador de uma bolsa do NIH, que se verdadeiro, o desqualificaria para argumentar sobre os estudos do NIH. Também não posso deixar de notar que o Dr. Miller, como tantos médicos e cientistas que se voltam para o lado sombrio da pseudociência, parece ter tido apenas um registro respeitável de publicação em periódico especializado como cirurgião cardíaco acadêmico até 1991, após o que ele não publicou mais nada. (Nota: Apesar de suas alegações em contrário, o  Journal of American Physicians and Surgeons que não conta como um jornal revisado por pares, por razões que já amplamente discuti anteriormente.) Em todo caso, aqui ele descreve o sistema de revisão por pares como ele acha que é:

O Centro de Análise Científica “triam” os pedidos que recebe. Uma avaliação superficial elimina um terço das aplicações de qualquer consideração adicional, e seleciona os dois terços restantes para uma análise por pares competitiva. A RSE envia cada aplicação para uma seção de estudo que considere mais adequada para a sua avaliação. Os pares na Oncogênese Molecular, Neurociência Cognitiva, Estrutura e Função das Células, Hematopoiese, Vacina HIV/AIDS e 167 outras Seções de Estudo reveem os pedidos de financiamento. Cada seção de estudo tem 12-24 membros que são peritos reconhecidos neste domínio específico. Os membros reúnem-se três vezes por ano para rever 25 a 100 subvenções em cada reunião. Dois membros leram um aplicação e depois a discutiram com outros membros da seção que coletivamente lhe dão uma pontuação de prioridade e uma classificação de percentil (em relação às pontuações de prioridade atribuídas a outras aplicações). Um conselho consultivo toma então decisões de financiamento com base nas conclusões da seção de estudo, “tendo em conta os objetivos científicos do instituto ou centro [específico de saúde] e as necessidades de saúde pública” (Scarpa, 2006)

Não exatamente. Isto é o que o NIH CSR diz sobre a revisão por pares:

Um ou mais Oficiais de Referência de RSE examinam sua inscrição e determinam o Grupo de Revisão Integrado (IRG) mais apropriado para avaliar seu mérito científico e técnico. Sua inscrição é então atribuída a uma das seções de estudo do IRG. Uma seção de estudo normalmente inclui 20 ou mais cientistas da comunidade de pesquisadores produtivos. Sua inscrição também será atribuída ao Instituto NIH ou Centro (IC) mais adequado para financiar sua inscrição, caso tenha mérito suficiente. (Mais de um IC pode ser atribuído, se apropriado.)

Na realidade, na primeira passagem pelo CSR, os oficiais de referência fazem pouco mais que (1) garantir que a concessão esteja formatada corretamente (sim, eles verificam se você usou uma fonte de 10 pontos em vez de 11, reduziu as margens além do que as regras determinam, ultrapassaram o limite de páginas ou tentaram sobreviver sem todas as assinaturas institucionais necessárias e, se descobrirem que você fez alguma dessas coisas ou outras, a concessão não será encaminhada para uma seção de estudo); (2) verificar se ele se enquadra nos critérios para o mecanismo de concessão solicitado; e (3) descobrir o Grupo de Revisão Integrado mais apropriado para o qual enviar. Suponho que seja possível que 30% dos cientistas sejam muito estúpidos ou descuidados para seguir corretamente os requisitos de formatação e incluir todas as informações necessárias, mas duvido. Mesmo se fosse esse o caso, os cientistas não teriam ninguém para culpar além de si mesmos; as instruções, embora volumosas, são bastante claras, pelo menos, sobre os requisitos de formatação e os limites de página. De qualquer forma, praticamente todas as subvenções formatadas corretamente e contendo todos os elementos necessários são atribuídas a uma seção de estudo para revisão.

Durante uma seção de estudo, a avaliação de quais subsídios são “triados” não é “superficial”. Todo pedido de subsídio é atribuído a aproximadamente três revisores (o número pode variar, dependendo do mecanismo de subsídio e da seção de estudo). Na seção de estudo em que atendo, por exemplo, toda aplicação é atribuída a dois revisores principais (Revisor 1 e Revisor 2) e a um revisor secundário (o Discutidor). Espera-se que os dois revisores principais leiam o pedido de doação em detalhes, escrevam uma revisão de 2-4 páginas e atribuam a ele uma pontuação de prioridade proposta. Também é esperado que o debatedor o leia em detalhes, mas apenas para escrever uma revisão de 1-2 páginas e atribuir uma pontuação proposta. Todos os demais membros da seção de estudo tendem a examinar as subvenções às quais não foram designadas como Revisor 1 ou 2 ou como Discutidor de uma maneira muito menos detalhada, mas isso é compreensível, já que a maioria dos revisores recebe cerca de 10 subsídios para ler em seis semanas e isso pode levar várias horas por subsídio. No início da reunião da seção de estudo, o presidente listará as subvenções cujas pontuações de prioridade propostas inicialmente estão na metade inferior. Como essas doações claramente não têm chance de serem financiadas neste ciclo, elas são “simplificadas” (ou coloquialmente “triadas”), o que significa que não serão discutidas em detalhes na seção de estudo completo. Potenciais candidatos à racionalização cujos revisores lhes atribuíram pontuações bastante divergentes, indicando um desacordo sobre seu mérito, geralmente são especificamente retirados para discussão antes de votar na racionalização. De fato, se um dos revisores insistir, tais subsídios geralmente serão discutidos antes de toda a seção de estudo.

Após a racionalização, uma vez iniciada a discussão sobre as subvenções restantes, o Revisor 1 geralmente a conduz para as subvenções atribuídas e, em seguida, cada membro da seção de estudo atribui uma pontuação. Ao contrário da descrição distorcida do Dr. Miller, as únicas diferenças no tratamento entre solicitações de subsídios “triados” e aquelas discutidas na seção de estudo completo é que os subsídios triados não são discutidos em detalhes (embora sejam revisados ​​em detalhes) e uma “declaração sumária , ”Que resume as análises escritas e a discussão em grupo em um resumo, que é (geralmente) altamente útil para os candidatos na orientação de revisões do pedido de reenvio. Por outro lado, para pedidos de subsídios com triagem, as três revisões escritas são devolvidas ao solicitante, que é livre para revisar e reenviar com base nos comentários dos três revisores. Não é tão útil, mas ainda é útil. Além disso, as seções de estudo não atribuem pontuações percentuais, apenas prioridade. As pontuações percentuais são geradas a partir da curva gaussiana de todas as pontuações prioritárias e é a pontuação percentil que determina quais subvenções são financiadas. (De fato, é isso que quero dizer quando digo que o NCI está financiando no 12º percentil este ano.)

Resumindo, quaisquer que sejam as principais falhas do processo de aprovação de subsídios do NIH, fazer apenas uma avaliação “superficial” das solicitações em qualquer estágio não é uma delas.

É nesse ponto que você descobre de onde o Dr. Miller está realmente vindo, e não é da perspectiva de alguém que quer reformar o sistema. Ele vem da perspectiva de um amigo da pseudociência que sente que o sistema não dá a seus amigos negadores do HIV um abalo justo, o que é evidente na maneira como ele inicia com uma semi razoabilidade e depois vai direto ao fundo. Aqui está a parte semi-razoável:

O sistema de subsídios promove uma abordagem apolloniana da pesquisa. O pesquisador não questiona os conceitos fundamentais do conhecimento científico biomédico e físico. Ele se apega à crença amplamente difundida de que os troncos e galhos das árvores do conhecimento, por exemplo, na fisiologia celular e na AIDS, são sólidos. O pesquisador apolíneo concentra-se nos ramos e galhos periféricos e desenvolve linhas de conhecimento estabelecidas com perfeição. Ele vê claramente o curso que sua pesquisa deve seguir e escreve subsídios que seus colegas estão dispostos a financiar.

Há alguma verdade nisso, novamente, dependendo do mecanismo de concessão específico. Por exemplo, o subsídio principal do NIH, o maior subsídio concedido ao pesquisador individual (o R01), tende a enfatizar pesquisas bem apoiadas por dados preliminares. Isso tende a se tornar mais problemático quando o financiamento fica apertado, como é agora. Nesse ambiente de financiamento, os revisores são mais relutantes em financiar pesquisas de risco, porque não querem gastar dinheiro em projetos com baixa chance de sucesso. (O “chorão” em mim não pode resistir em apontar que uma maneira de obter mais fundos “científicos” arriscados é aumentar o financiamento total da ciência, tornar os revisores mais dispostos a correr riscos, mas isso apenas me revelaria uma ferramenta do sistema.) No entanto, existem outros mecanismos de concessão, como o R21, que fornecem subsídios menores por períodos mais curtos para projetos mais arriscados. Se uma tendência para a ciência conservadora fosse a principal crítica do sistema de Miller, eu provavelmente concordaria em grande parte. Infelizmente, Miller não consegue resistir a dar a entender que a verdadeira reforma do sistema não é o que trata sua polêmica. Depois de listar o que ele caracteriza como “paradigmas inatacáveis ​​sancionados pelo Estado” que nunca serão financiados, Miller volta-se completamente para a loucura:

O paradigma do aquecimento global causado pelo homem é provavelmente falso (Soon et al., 2001; Editorial, 2006). Dois astrofísicos climáticos, Willie Soon e Sallie Baliunas, apresentam evidências que mostram que o clima do século 20 caiu dentro da faixa experimentada nos últimos mil anos. Comparado com outros séculos, não era incomum (Soon e Baliunas, 2003). Incapaz de obter subsídios da NASA (Administração Nacional de Aeronáutica e Espaço), Soon (comunicação pessoal, 31 de agosto de 2006) observa que a NASA financia programas principalmente em raciocínio político-social, e não em ciência. Duesberg (1996), Hodgkinson (2003), Lang (1993-2005), Liversidge (2001/2002), Maggiore (2000) e Miller (2006), entre outros, questionaram a teoria germinativa da AIDS. Todas as 30 doenças (que incluem uma contagem baixa de células T assintomática) na síndrome chamada AIDS existiam antes da descoberta do HIV e ainda ocorrem sem a presença de anticorpos para esse vírus. Em uma coletiva de imprensa em 1984, autoridades do governo anunciaram que um retrovírus recém-descoberto, o HIV, é a provável causa da AIDS, que na época contava com 12 doenças (Duesberg, 1995, p. 5). Logo depois, o “HIV causa AIDS” alcançou o status de paradigma. Mas, começando com Peter Duesberg, professor de biologia molecular e celular da Universidade da Califórnia, Berkeley, um número crescente de cientistas, médicos, jornalistas investigativos, e pessoas HIV positivas concluíram que o HIV / AIDS é um falso paradigma. O NIH concedeu a Duesberg um Outstanding Investigator Grant de longo prazo e uma bolsa Fogarty para passar um ano no campus do NIH estudando genes do câncer, e foi indicado ao Prêmio Nobel. Quando Duesberg rejeitou publicamente o paradigma do HIV / AIDS, o NIH e outras agências de financiamento deixaram de conceder a ele subsídios. Os revisores nomeados pelo governo rejeitaram seus últimos 24 pedidos de subsídios. Peter Duesberg (comunicação pessoal, 20 de setembro de 2006) escreve: “Quando eu era o garoto de olhos azuis encontrando oncogenes e vírus ‘mortais’, eu era 100% financiado. Desde que questionei a hipótese de HIV-AIDS do Dr. Gallo, do NIH, e depois a hipótese de câncer-oncogene do bispo-Varmus-Weinberg-Vogelstein etc., tornei-me 100% impraticável.

Sim, negação do aquecimento global e negação do HIV / AIDS ( juntamente com o grito repetido de “martírio!” De Peter Duesberg, ainda!) Mostram o que Dr. Miller é. 
(Dica ao Dr. Miller: Citar Christine Maggiore e Peter Duesberg não é uma maneira particularmente boa de reforçar a credibilidade de seus argumentos.) Outros “paradigmas inatacáveis” que Miller lista não são tão ridículos quanto seus exemplos de AIDS e aquecimento global, mas na maioria são espantalhos; por exemplo, a afirmação de que “colesterol e gorduras saturadas causam doenças das artérias coronárias” não é exatamente o que afirma a ciência médica; 
pelo contrário, é que o colesterol e as gorduras saturadas são fatores importantes, entre outros, que contribuem para a patogênese da doença arterial coronariana. 
O uso desses exemplos também não reforça a credibilidade ou o caso de Miller. 
Miller então começa a chorar sobre como a ciência está a serviço do estado, retirando mais idiotice do negacionismo do HIV / AIDS, juntamente com algumas queixas de conspiração bastante flagrantes:

A pesquisa sobre a AIDS serve ao interesse do estado, concentrando-se no HIV como uma causa de oportunidades iguais para a AIDS. Essa causa infecciosa e igualitária isenta os dois principais grupos de risco de Aids, gays e usuários de drogas intravenosas, de qualquer culpa em adquirir a (s) doença (s) devido a suas escolhas comportamentais. Duesberg, Koehnlein e Rasnick (2003) levantam a hipótese de que a AIDS é causada por três outras coisas, isoladamente ou em combinação, ao invés do HIV: 1) uso recreativo de drogas a longo prazo e pesado – inalantes de cocaína, anfetaminas, heroína e nitritos ; 2) medicamentos antirretrovirais que os médicos prescrevem a pessoas que são HIV positivas – terminadores de cadeia de DNA, como AZT, e inibidores de protease; e 3) desnutrição e água não tratada, que é a causa da “AIDS” na África. O HIV / AIDS tornou-se uma empresa multibilionária em nível internacional. Governo, indústria, e interesses médicos garantem o paradigma do HIV / AIDS. O sistema de concessão de revisão por pares controlado pelo governo é uma ferramenta essencial para proteger paradigmas como esse.

Isto te faz lembrar de alguma coisa? Talvez do teórico da conspiração que recentemente argumentou com uma cara séria que a razão pela qual nunca haveria cura para o câncer seja porque os “interesses adquiridos” da indústria médica e do governo não o permitiriam, pois tal cura “devastaria” a economia médica? Com certeza, parece o mesmo argumento falacioso aplicado à AIDS, e é por isso que peço que repita comigo: tudo isso é um monte de bobagens. A evidência de que o HIV causa AIDS é extremamente forte e não foi seriamente contestada, nem por Duesberg, e certamente por nenhum dos folhetos “dissidentes” de Dr. Miller publicados no execrável LewRockwell.com , onde Miller rotineiramente vomita negação do HIV / AIDS (jogando o Galileu Gambit ainda, mas com Copernicus!), Negação do aquecimento global , reclamações anti-fluoretação e posturas anti- vacinação dignas da milícia de mercúrio . Somente essas visões mostram que as habilidades de pensamento crítico do Dr. Miller deixam muito a desejar, e essa falta de pensamento crítico é muito aparente em seu artigo.

Não é de admirar que o Dr. Miller esteja tão triste com o funcionamento da revisão por pares! Pessoalmente, minha opinião é que, quaisquer que sejam os problemas no sistema de revisão por pares, uma coisa em que ele faz um bom trabalho é impedir que a pseudociência (como a que o Dr. Miller aparentemente assina) seja financiada. Para mim, sua capacidade de impedir que a pseudociência seja financiada e, na maioria das vezes, publicada é um dos grandes pontos fortes de nosso sistema de revisão por pares. Qualquer reforma empreendida deve ser realizada com cuidado, de modo a minimizar o enfraquecimento desse firewall contra idéias que são claramente sem mérito científico e que os cientistas consideram esmagadoramente o serem. Afinal, um dos riscos de se financiar uma ciência “mais arriscada” é que a pseudociência se infiltre, juntamente com a ciência legítima. Finalmente, uma coisa que eu tenho que pensar é o seguinte:

Infelizmente, as idéias para reforma vistas no artigo de Miller e em outros lugares entre os “dissidentes” de HIV / AIDS parecem resumir-se a “vamos encontrar uma maneira de financiar possíveis charlatões como nós” (também conhecido como “financiamento obrigatório de pesquisas contrárias”) ou ” vamos nos livrar da revisão por pares. ”Dr. Miller opina:

Uma alternativa ao sistema competitivo de subsídios para avaliação por pares que o NIH e a NSF podem considerar para financiar projetos de pesquisa específicos é o DARPA, a Agência de Projetos de Pesquisa Avançada em Defesa. Esta agência gerencia e dirige pesquisas selecionadas para o Departamento de Defesa. Pelo menos até agora, havia sido “uma organização técnica empreendedora sem restrições pela tradição ou pelo pensamento convencional” em uma das burocracias mais arraigadas do mundo (Van Atta et al., 2003). Oitenta gerentes de projeto, cada um com US $ 10 a 50 milhões, recebem liberdade para promover tecnologias e sistemas avançados que criam vantagens “revolucionárias” para as forças armadas dos EUA. Os gerentes, que não estão sujeitos à revisão por pares ou à administração de cima para baixo, concedem subsídios aos pesquisadores que acham que podem desafiar as abordagens existentes para combater guerras. Enquanto o estado controlar o financiamento da pesquisa, gerentes como esse podem ajudar a quebrar o impasse da inovação nas ciências biomédicas e físicas. A ciência sob o sistema de subsídios do governo falhou e novos tipos de financiamento, com menos controle do governo, são extremamente necessários.

Não vejo como, dar a gerentes nomeados esse poder, seria “menos” controle do governo sobre a pesquisa. Afinal, quem contrata esses gerentes? O governo! O que impede a “ortodoxia” do governo de simplesmente contratar gerentes que fazem o que a ortodoxia do governo deseja? Nada! Afinal, seria ainda mais fácil impor uma ortodoxia se os gerentes, em vez de revisores voluntários amplamente selecionados de diferentes contextos acadêmicos, controlassem o financiamento, porque, como Dean Esmay nos informa, citando Al Gore no processo: “É difícil fazer um homem entender alguma coisa se seu salário depender de não a entender”. Além disso, a tecnologia militar, embora seja uma área ampla, é aplicada, e não é ciência básica. Provavelmente, não é necessário compreender tanto os detalhes básicos da ciência básica por trás das propostas de tecnologia quanto entender se uma ciência básica ou uma proposta de pesquisa translacional é razoável, inovadora e viável. Além disso, lembre-se de que todo o orçamento anual do NIH é de apenas US $ 28 bilhões, e todo o orçamento do NCI é inferior a US $ 5 bilhões, os quais são totalmente diminuídos pelo tamanho do orçamento da Defesa. Em outras palavras, as forças armadas são muito mais luxuosas e podem se dar ao luxo de jogar dinheiro em projetos científicos arriscados de uma maneira que o NIH e a NSF não podem. Além disso, revisão por pares . Usando a revisão por pares, de fato, o Exército (acredite ou não!) Faz um bom trabalho ao enfatizar e promover propostas inovadoras, como discuti antes ; eles provavelmente fazem um trabalho melhor em alguns aspectos no apoio à inovação científica do que o NIH. Se o NIH imitar as forças armadas, seria muito melhor examinar como o Exército conduz suas sessões científicas de revisão por pares, em vez de ouvir as posturas de pessoas como o MIller.

O restante dos participantes da revisão por pares não se sai muito melhor do que o Dr. Miller. Por exemplo, considerando os críticos mais vociferantes que tenho visto ultimamente, as idéias de Dean Esmay parecem resumir-se ao tipo de razoável para o ignorante e o impraticável. Por exemplo, Dean propõe uma ideia aparentemente não totalmente irracional de eliminar completamente o anonimato dos revisores que trai sua ignorância do processo. Por um lado, ele não parece ter notado que as listas da Seção de Estudo já estão publicados na web, permitindo suposições razoáveis ​​sobre quem são os revisores específicos para as aplicações. (De fato, o NIH envia, de maneira prestativa, aos candidatos a lista completa da seção de estudo que revisou sua doação, juntamente com as declarações e análises resumidas.) Ele também parece não entender que não é uma ocorrência pouco frequente que os professores mais novos estejam revisando pedidos de professores seniores e bem entrincheirados, os verdadeiros “deuses” do campo, se você preferir. Quão dispostos esses cientistas no início da carreira deveriam ser brutalmente honestos sobre uma proposta ruim, se o candidato soubesse quem deu a nota ruim a ele? De fato.

Além disso, Dean propõe outra idéia que revela sua ignorância sobre o NIH, a saber, tornar os conselhos de financiamento de revisão por pares “verdadeiramente multidisciplinares” (o que quer que isso signifique) e forçar todas as solicitações a serem examinadas por um matemático ou alguém com “experiência em matemática . ”Não tenho certeza se ele está se referindo às seções de estudo, que realizam a revisão por pares inicial ou conselhos consultivos de cada instituto, que executam o segundo nível de revisão por pares, levando em consideração as prioridades científicas e / ou programáticas específicas de seus institutos, mas Dean, aparentemente, nunca olhou para a lista de algumas seções de estudo típicas do NIH. Se ele quer dizer seções de estudo, aponto que elas já sãomultidisciplinares e praticamente todos incluem bioestatísticos! (Espero que isso seja “matemático” o suficiente para Dean.) Por exemplo, a seção de estudo em que estou atualmente inclui internistas, fisiologistas, cirurgiões, especialistas em computação, radiologistas, especialistas em imagens médicas, biólogos moleculares, físico em medicina e bioestatísticos. Suponho que poderíamos tornar as coisas ainda mais “multidisciplinares” sem “interesse direto” no campo (poderíamos trazer um arqueólogo, suponho, para examinar as propostas de biologia do câncer), mas o faria com o risco de diminuir a familiaridade dos revisores e membros da seção de estudos com a ciência detalhada por trás dos pedidos de subsídios atribuídos a eles. (Pensando bem, talvez seja exatamente isso que Dean gostaria. Em terceiro, não há “talvez” sobre isso.) Por outro lado, se Dean se refere aos conselhos consultivos do Instituto, é difícil ver o benefício adicional que tornar esses revisores de segundo nível ainda mais “multidisciplinares” traria, uma vez que o principal fator do que é financiado é a revisão fornecida pela seção de estudo, e não a comitês de pós-revisão, que dependem amplamente da pontuação de prioridade da seção de estudo e das prioridades de seus respectivos institutos para distribuir fundos. Eles tendem a ser principalmente o tipo de comitê de carimbo e tendem a não fazer uma grande diferença, exceto em chamadas fechadas ou em casos de propostas altamente congruentes com as prioridades do Instituto. Tornar esses conselhos consultivos mais “multidisciplinares” dificilmente afetará essas prioridades, porque não são os conselhos consultivos que determinam as prioridades de financiamento do NIH; eles apenas os implementam. É o Diretor do NIH e os Diretores dos vários Institutos, nomeados pelo Presidente, que determinam as prioridades de financiamento do NIH, fortemente influenciadas, é claro, pelo Congresso e pelo Presidente. De que outra forma você achaNCCAM , por exemplo, surgiu? Certamente a comunidade científica do NIH não fez lobby por isso; congressistas amantes da corte fizeram.

Por fim, Dean também acha que deve haver um processo de apelação para a revisão de subsídios. De fato, deveria! Infelizmente, Dean parece totalmente alheio ao fato de que já existe um processo formal de apelação para os candidatos que pensam que seus pedidos de subvenção foram submetidos a análises tendenciosas ou atribuídos a revisores que claramente não conheciam a ciência. Certamente, pode-se argumentar se o processo de apelação é adequado ou justo, mas implicar que não há processo de apelação para um candidato cuja concessão “arriscada” recebe o que ele considera injusto ou revisões factualmente incorretas revela que Dean simplesmente não possui uma pista sobre como é feita a revisão pelos pares do NIH.

Ninguém nega que há problemas com o sistema de revisão por pares do NIH para avaliação de subsídios; como todos os empreendimentos humanos, há espaço para melhorias. (De fato, as reclamações que estão surgindo agora não são novidade; ouvi as mesmas reclamações quando eu estava na pós-graduação.) Apesar desses problemas, o sistema nos serviu amplamente nas últimas décadas e, apesar de suas falhas, os sistemas de revisão por pares do NIH e da NSF são notavelmente imunes à influência política e à corrupção, pelo menos tanto quanto qualquer entidade governamental. Certamente, tem muito a recomendar. Por exemplo, cientistas juniores competem por fundos com mais cientistas seniores em pé de igualdade mais do que talvez qualquer outra nação do mundo. De fato, os novos pesquisadores recebem até um valor significativo (embora alguns argumentem, (insuficiente o suficiente) quebra nas linhas de financiamento para dar a eles uma chance maior de serem financiadas, por exemplo, definindo a linha de pagamento de maneira mais liberal para novos investigadores, como fez o NCI quando definiu sua linha de pagamento no percentil 12 e a linha de pagamento para novos investigadores em 18. Além disso, os candidatos podem propor virtualmente qualquer tipo de projeto de pesquisa relacionado às ciências da saúde, e serão seriamente considerados para financiamento por uma seção de estudo composta por especialistas qualificados para avaliá-lo. Além disso, os cientistas estão trabalhando ativamente para resolver as deficiências do sistema. Na verdade, o próprio Antonio Scarpa, o diretor do Centro de Revisão Científica dos NIH, publicou no periódico “Science” recentemente um artigo, informando sobre estes esforços e solicitando sugestões. Entretanto, ao contrário da impressão dada pelo artigo do Dr. Miller sobre um sistema que os cientistas aceitam e nunca desafiam, existem artigos sobre os problemas no sistema de revisão pelos pares, e tem havido muita discussão sobre isso em reuniões que já participei.

É claro que a reforma substantiva e real do sistema de revisão por pares, a fim de torná-lo melhor e permitir o financiamento de projetos meritórios, mas arriscados, não é o verdadeiro objetivo de “críticos” como Miller e Esmay. Sua intenção é neutralizar a revisão por pares para permitir a pseudociência como o negação do HIV / AIDS. Mark estava certo em nos alertar para tomar cuidado com os críticos da revisão por pares .