América LatinaCrónicasFeatured

INTELIGENCIA ARTIFICIAL; ¿CÓMO IDENTIFICAR BUENOS REVISORES DE PAPERS A SER PUBLICADOS? Dr. Mario H. Concha Vergara, PhD. – Docente – Chile

Tribuna infomarruecos.ma

 

Dr. Mario H. Concha Vergara, Ph.D. – Docente, Chile

Quienes investigan sobre Inteligencia Artificial (IA) (ver Web 3.0-Web Semántica, Mario H. Concha Vergara Editorial Académica Española, 2018, Alemania) utilizarán las herramientas de su disciplina para resolver un problema creciente: cómo identificar y elegir revisores que puedan examinar con conocimiento y propiedad la avalancha de artículos ad-hoc enviados a grandes conferencias de informática.

En las artes de la computación, encontrar revisores es a menudo un asunto complicado: ya que la gran parte de los manuscritos se envían todos a la vez para conferencias anuales, esto deja a los organizadores apenas una semana más o menos para asignar miles de artículos a un grupo de miles de revisores. En la mayoría de los campos científicos, las revistas especializadas actúan como los principales lugares de revisión y publicación por pares, y los editores tienen tiempo para asignar artículos a los revisores apropiados utilizando el juicio profesional.

En los últimos 5 años, las presentaciones a grandes conferencias de IA se han más que cuadriplicado, colocando al sistema bajo presión: y por esa causa los organizadores luchan por mantenerse al día. Un ejemplo, sobre la carga de trabajo, es la de la Conferencia Anual de IA sobre sistemas de procesamiento de información neuronal (NeurIPS), que viene siendo la disciplina más grande,e importante que recibió más de 9000 presentaciones para su evento de diciembre de 2020, un 40% más que el año anterior.

Los organizadores asignaron 31.000 reseñas a unos 7.000 revisores. “Es extremadamente agotador y estresante”, informó Marc’Aurelio Ranzato, presidente general de NeurIPS de ese año. « Un miembro de la junta lo llamó un esfuerzo hercúleo, ¡y realmente lo es! »

Pero, para su fortuna, contaron con la ayuda de AI. Los organizadores utilizaron software existente, llamado Toronto Paper Matching System (TPMS), para ayudar a asignar papers a los revisores. Este TPMS, se utiliza también en otras conferencias, “calcula la afinidad entre los artículos enviados y la experiencia de los revisores comparando el texto en las presentaciones y los artículos de los revisores” dice Matthew Hutson.

Un software de IA más innovador podría mejorar ese enfoque. Un sistema de medición de afinidad más innovador, desarrollado por la plataforma de revisión de artículos OpenReview, que utiliza una red neuronal, un algoritmo de aprendizaje automático “inspirado en el cableado del cerebro, para analizar los títulos y resúmenes de los artículos, creando una representación más rica de su contenido”. Diversas conferencias de informática, incluida NeurIPS, comenzarán a usar este sistema durante 2021 en combinación con TPMS, dicen Melisa Bok y Haw-Shiuan Chang, científicos informáticos de OpenReview y la Universidad de Massachusetts, Amherst.

Los organizadores de la conferencia de AI esperan que al mejorar la calidad de los papers, mejorarán la calidad de las revisiones de pares resultantes y la literatura publicada de las conferencias. Un estudio realizado en 2014 sugiere que hay espacio para la evolución: como prueba, el 10% de los artículos enviados a NeurIPS ese año fueron revisados ​​por dos grupos de revisores. “De los trabajos aceptados por un grupo, el otro grupo aceptó solo el 57%. Muchos factores podrían explicar la discrepancia, pero una posibilidad es que al menos un panel de cada artículo careciera de la experiencia pertinente suficiente para evaluarlo”, según Matthew Hutson.

De esta manera para lograr buenas coincidencias, Ivan Stelmakh, un científico informático de la Universidad Carnegie Mellon, desarrolló un algoritmo llamado PeerReview4All. Que maximiza la calidad de la coincidencia menos buena, con miras a evitar coincidencias deficientes y aumentar la equidad en los artículos.

En 2020 Ivan Stelmakh experimentó con el uso de PeerReview4All en la Conferencia Internacional sobre Aprendizaje Automático (ICML) e informó los resultados en febrero en otra conferencia de la Asociación para el Avance de la Inteligencia Artificial (AAAI). Demostró que el método mejoró la equidad de manera significativa sin dañar la calidad promedio de las presentaciones, OpenReview también ha comenzado a ofrecer un sistema destinado a aumentar la equidad, llamado FairFlow.  NeurIPS probará al menos uno de estos este año, dice Alina Beygelzimer, científica informática de Yahoo y presidenta senior del programa NeurIPS 2021. « NeurIPS tiene una larga historia de experimentación ».

Estos sistemas logran hacer coincidir un conjunto conocido de artículos con un conjunto conocido de revisores. Pero a medida que el campo de publicaciones crezca, será necesario reclutar, evaluar y capacitar a nuevos revisores, dicen los organizadores de la conferencia lo cual, además, generará nuevas fuentes de trabajo durante esta pandemia de COVID19. A medida que evolucionan, los métodos  de revisión, como estos también ayudaría a los editores de revistas fuera de la informática a encontrar revisores pares pero,  hasta ahora la aceptación ha sido limitada, según Charlin, quien dirigió el desarrollo de la herramienta de medición de afinidad TPMS hace unos 10 años.

E-mail: [email protected]

Afficher plus

Articles similaires

Bouton retour en haut de la page