OMS anuncia nueva asistente virtual que utiliza IA para entregar información médica confiable
Recientemente, la Organización Mundial de la Salud (OMS) ha puesto en funcionamiento a S.A.R.A.H. (Smart AI Resource Assistant for Health) o Sarah, un prototipo de asistente virtual que utiliza tecnologías de inteligencia artificial generativa. Su objetivo es interactuar de manera empática y proporcionar información médica fiable, rigurosa y accesible. Sarah ofrece información sobre los principales temas de salud, como el bienestar mental y los hábitos para mejorar este. Puede recibir consultas por texto y voz, pero no procesa consultas por imágenes. Se distingue de esfuerzos anteriores de promotoras digitales anteriores, al no basarse en secuencias de comandos o algoritmos prestablecidos, si no dar uso de IA generativa. Es parte del esfuerzo de la OMS para utilizar diversas herramientas y canales en línea para difundir y transmitir masivamente información sobre salud. Los objetivos de Sarah, la nueva IA de la OMS La creación de Sarah es producto de la empresa “IA Soul Machines”, quienes dan también soporte que permite que esta entregue información más precisa e inmediata. Este mismo soporte, declaran, que permite mantener tener conversaciones detalladas y sin prejuicios. La OMS continúa utilizando diversas herramientas de comunicación en línea y insta a seguir investigando estas nuevas tecnologías. El Dr. Tedros Adhanom Ghebreyesus, director general de la OMS, señaló “Sarah nos da una idea de cómo se podría utilizar la inteligencia artificial en el futuro para mejorar el acceso a la información sanitaria de una manera más interactiva”. Lea también: El 75% de las empresas ya están desarrollando políticas de uso de la IA Generativa en ciberseguridad Así mismo se ha solicitado evaluar y perfeccionar esta herramienta de forma continuada, facilitar así el acceso a la información sin renuncia a los principios éticos estrictos de la salud. Actualmente se han reportado problemas para la asistente de proporcionar información sobre recursos públicos o programas gubernamentales dirigidos ayudar con médicos por los que se consulte. Añadiendo la OMS ha llamado a no tratar al asistente prototipo como “única fuente de verdad o información factual, ni como sustituto del asesoramiento profesional”. FUENTE: TrendTIC. »OMS anuncia nueva asistente virtual que utiliza IA para entregar información médica confiable» Trendtic.cl. 05/04/2024. (https://www.trendtic.cl/2024/04/oms-anuncia-nueva-asistente-virtual-que-utiliza-ia-para-entregar-informacion-medica-confiable/).
La Casa Blanca publica las pautas de gobernanza de los sistemas de IA utilizados por las administraciones públicas norteamericanas
La Casa Blanca ha publicado su política de gobernanza de inteligencia artificial (IA), en desarrollo de la orden ejecutiva 14110 sobre el desarrollo y uso de una IA segura y confiable, emitida el pasado mes de octubre por el presidente Biden. El Memorandum “Advancing Governance, Innovation, and Risk Management for Agency Use of Artificial Intelligence” (Fomento de la gobernanza, la innovación y la gestión de riesgos en el uso de la inteligencia artificial por parte de las agencias), elaborado por la oficina ejecutiva de gestión y presupuestos de la Casa Blanca, establece nuevos requisitos y orientaciones para la gobernanza, la innovación y la gestión de riesgos de los sistemas de IA utilizados o adquiridos por la Administración de los EEUU. Entre otras medida, se establece la figura del CAIOs (Chief Artificial Intelligence Officer), del que se describen sus funciones, responsabilidades, antigüedad, posición y estructuras de información. Mejora de la gobernanza de la IA El memorándum parte de la premisa de que gestionar el riesgo de la IA y promover su innovación requiere una gobernanza eficaz. Esta eficiencia se plantea en base a las siguientes medidas, que deberán adoptar los responsables de los organismos y agencias que utilicen IA: i. Designación de un Chief Artificial Intelligence Officer (CAIO) o Director de AI Tal y como exige la Orden Ejecutiva 14110, en un plazo de 60 días a partir de la fecha de publicación de este memorando el director de cada organismo a debe designar un Director de Inteligencia Artificial (CAIO). Para garantizar que el CAIO pueda cumplir con las responsabilidades establecidas en este memorando, las agencias que ya han designado un CAIO deben evaluar si necesitan proporcionar a esa persona autoridad adicional o nombrar un nuevo CAIO. Las agencias deben identificar a estos funcionarios ante la OFFICE OF MANAGEMENT AND BUDGET OF THE PRESIDENT OMB a través del proceso de Recopilación Integrada de Datos de la OMB o un proceso sucesor designado por la OMB. Cuando la persona designada cambie o el puesto quede vacante, los organismos deberán notificarlo a la OMB en un plazo de 30 días. Además, dado que la IA está profundamente interconectada con otras áreas técnicas y políticas, como los datos, la tecnología de la información (TI), la seguridad, la privacidad, los derechos civiles y las libertades civiles, la experiencia del cliente y la gestión del personal, los CAIO deben trabajar en estrecha coordinación con los funcionarios y organizaciones responsables existentes dentro de sus agencias. Por ello el Memorandum establece que los CAIO deben tener las habilidades, conocimientos, formación y experiencia necesarios para desempeñar las responsabilidades descritas en esta sección. ii. Convocatoria de los órganos de gobierno de IA de las agencias En un plazo de 60 días a partir de la publicación de este memorándum, cada agencia de la Ley CFO debe convocar a sus altos funcionarios pertinentes para coordinar y gobernar las cuestiones relacionadas con el uso de la IA en el Gobierno Federal, de conformidad con la Sección 10.1(b) de la Orden Ejecutiva 14110 y las orientaciones detalladas de la Sección 3(c) de este memorándum. iii. Planes de cumplimiento De conformidad con la Sección 104(c) y (d) de la Ley de AI in Government Act of 2020 (Ley sobre la IA en el Gobierno de 2020), en un plazo de 180 días a partir de la publicación de este memorando o de cualquier actualización del mismo, y posteriormente cada dos años hasta 2036, cada organismo deberá presentar a la OMB y publicar en el sitio web del organismo un plan para lograr la coherencia con este memorando, o bien una determinación por escrito de que el organismo no utiliza ni prevé utilizar IA cubierta. Los organismos también deben incluir planes para actualizar los principios y directrices internos existentes en materia de IA a fin de garantizar la coherencia con este memorándum. La OMB proporcionará plantillas para estos planes de cumplimiento. iv. Inventarios de casos de uso de IA Cada organismo (excepto el Departamento de Defensa y la Comunidad de Inteligencia) debe inventariar individualmente cada uno de sus casos de uso de IA al menos una vez al año, presentar el inventario a la OMB y publicar una versión pública en el sitio web del organismo. La OMB publicará instrucciones detalladas sobre el inventario y su alcance a través de su proceso de Recogida Integrada de Datos o de un proceso sucesor designado por la OMB. A partir del inventario de casos de uso para 2024, se exigirá a los organismos, según proceda, que identifiquen los casos de uso que afectan a la seguridad y los que afectan a los derechos en materia de IA y que informen con más detalle sobre los riesgos -incluidos los riesgos de resultados no equitativos- que plantean dichos usos y sobre cómo los organismos gestionan esos riesgos. v. Informes sobre casos de uso de IA no sujetos a inventario Algunos casos de uso de la IA no están obligados a ser inventariados individualmente, como los del Departamento de Defensa o aquellos cuya divulgación sería incompatible con la legislación aplicable y la política gubernamental. No obstante, los organismos deberán comunicar y publicar anualmente los datos agregados sobre los casos de uso que entren en el ámbito de aplicación del presente memorando, el número de casos de este tipo que afecten a los derechos y la seguridad, y el cumplimiento de las prácticas del artículo 5(c) del presente memorando. La OMB publicará instrucciones detalladas para la presentación de estos informes a través de su proceso integrado de recopilación de datos o de un proceso sucesor designado por la OMB. Gestión de los riesgos derivados del uso de la Inteligencia Artificial Las agencias y organismos norteamericanos, deben gestionar una serie de riesgos derivados del uso de la IA. Este memorándum establece nuevos requisitos y recomendaciones que, tanto de forma independiente como colectiva, abordan los riesgos específicos de confiar en la IA para informar o llevar a cabo decisiones y acciones de los organismos, en particular cuando dicha confianza afecta a los derechos y la
El 75% de las empresas ya están desarrollando políticas de uso de la IA Generativa en ciberseguridad
A finales de 2024, la IA Generativa influirá en las decisiones de compra de ciberseguridad de más del 60% de las empresas. Check Point, compañía de ciberseguridad, ha publicado los resultados de una encuesta en colaboración con ESG, en la que revelan estadísticas que subrayan el papel de la IA Generativa en la ciberseguridad: el 92% de los profesionales está de acuerdo en que el machine learning ha mejorado la eficacia y eficiencia de estas tecnologías. El Grupo de Estrategia Empresarial de TechTarget ha realizado una encuesta online a profesionales de TI y ciberseguridad de organizaciones del sector público y privado de Estados Unidos. Su objetivo es identificar el uso de la inteligencia artificial Generativa, establecer cómo afecta al equilibrio de poder entre ciberdelincuentes y ciberdefensores y ver cómo las empresas aplican esta tecnología en ciberseguridad. La paradoja de su implementación Aunque el 87% de los profesionales de la ciberseguridad reconocen el potencial de la IA Generativa para mejorar sus defensas, la afrontan con precaución puesto que es una tecnología que también favorece a los ciberdelincuentes para llevar a cabo ataques más sofisticados. Gobernanza estratégica y desarrollo de políticas El 75% de las empresas ya están desarrollando políticas de uso de la IA Generativa en ciberseguridad. Este enfoque proactivo indica un cambio significativo hacia la integración de esta nueva tecnología en el sector, garantizando que su despliegue sea eficaz y responsable. Inversión e impacto de la IA Generativa A finales de 2024, esta IA influirá en las decisiones de compra de ciberseguridad de más del 60% de las empresas. Este dato es un ejemplo de la creciente confianza en las capacidades de la IA para revolucionar las operaciones de la industria, desde la detección de amenazas hasta la respuesta a incidentes. Eficiencia operativa y respuesta a las amenazas El 80% de los equipos de seguridad encuestados prevén que la IA Generativa mejore significativamente la eficiencia operativa. Además, el 65% espera que mejore sus tiempos de respuesta ante amenazas, lo que subraya su potencial no sólo para aumentar, sino para acelerar a los flujos de trabajo de seguridad. Retos y preocupaciones en torno a esta tecnología Aproximadamente el 70% de los encuestados ha destacado el reto que supone integrar la IA Generativa en sus infraestructuras de seguridad, mientras que el 60% ha señalado los riesgos asociados a posibles sesgos y consideraciones éticas. Asimismo, más del 75% de los encuestados consideran que los ciberdelincuentes obtendrán una mayor ventaja de la innovación de esta IA. Los profesionales encuestados también creen que la IA Generativa podría provocar un aumento de las amenazas, ya que facilita la creación de ataques más sofisticados. FUENTE: Redacción Computing. »El 75% de las empresas ya están desarrollando políticas de uso de la IA Generativa en ciberseguridad» Computing.es. 18/03/2024. (https://www.computing.es/informes/el-75-de-las-empresas-ya-estan-desarrollando-politicas-de-uso-de-la-ia-generativa-en-ciberseguridad/).
Claves en ciberseguridad de la Ley de Inteligencia Artificial
La nueva Ley de IA aprobada recientemente por el Parlamento Europeo establece un marco sin precedentes que impacta significativamente en la ciberseguridad y el desarrollo tecnológico. Tanto si se trata de escaneo de un currículum con sesgo de género, como de vigilancia omnipresente en el espacio público con cámaras impulsadas por IA, o de análisis invasivos de datos médicos que afectan a un seguro de salud, esta ley pretende establecer límites claros para su despliegue, de modo que los vendedores y desarrolladores dispongan de algunas directrices y límites. Lea también: El Parlamento Europeo aprueba la primera ley de inteligencia artificial del mundo: claves de la regulación Uno de sus aspectos más relevantes es que, dado el rápido desarrollo de tecnologías como ChatGPT y el establecimiento de estándares de transparencia y protección de derechos de autor, muestra la importancia de adaptarse a sistemas que aún no son imaginables en el futuro. Teniendo en cuenta estas nuevas regulaciones, Check Point Software destaca aspectos clave de la legislación de la UE sobre IA en relación con la ciberseguridad: Directrices de desarrollo y despliegue más estrictas: Los desarrolladores e implantadores de IA tendrán que seguir unas directrices estrictas, garantizando que los sistemas de IA se desarrollen pensando en la seguridad. Esto significa incorporar medidas de ciberseguridad desde el principio, centrarse en prácticas de codificación seguras y garantizar que los sistemas de IA sean resistentes a los ataques. Responsabilidad en incidentes de seguridad: Es probable que la Ley incluya disposiciones para responsabilizar a las empresas por brechas de seguridad que involucren sistemas de IA. Esto requeriría protocolos de respuesta ante incidentes más estrictos y que los sistemas de IA cuenten con mecanismos avanzados para detectar y reaccionar ante incidentes de ciberseguridad. Prevención del uso malintencionado de la IA: La Ley busca evitar el uso de la IA con fines malintencionados, como la creación de deepfakes o la automatización de ciberataques, regulando ciertos usos de la IA. Además, contribuye a que haya una estrategia de ciberseguridad más amplia que reduce el riesgo de que se utilice como herramienta en ciberguerra y cibercrimen. Mitigación de sesgos y discriminación: Al tratar los riesgos de sesgo y discriminación en los sistemas de IA, la Ley también beneficia indirectamente a la ciberseguridad. Los sistemas que son justos e imparciales tienen menos probabilidades de ser explotados a través de sus vulnerabilidades. Al abordar los riesgos de parcialidad y discriminación en los sistemas de IA, la Ley contribuye indirectamente a la ciberseguridad. Garantizar que los sistemas de IA se entrenen con conjuntos de datos diversos y representativos puede reducir el riesgo de ataques que exploten procesos de toma de decisiones sesgados. Más transparencia: Exigencia de una mayor transparencia en las operaciones de IA, especialmente para las de alto riesgo. Esto podría significar una divulgación más detallada de los datos utilizados para entrenar los sistemas de IA, los procesos de toma de decisiones de la IA y las medidas adoptadas para garantizar la privacidad y la seguridad. La transparencia ayuda a identificar vulnerabilidades y a mitigar posibles amenazas. Auditorías de certificación y conformidad: Los sistemas de IA de alto riesgo tendrán que someterse a rigurosas pruebas y certificaciones que garanticen que cumplen las normas de seguridad de la UE, incluida la ciberseguridad. Las auditorías de conformidad garantizarán además que los sistemas de IA se adhieran continuamente a estas normas a lo largo de su ciclo de vida. Fomento de la investigación y colaboración: La ley promueve la investigación y colaboración en IA y ciberseguridad, apoyando el desarrollo de tecnologías y estrategias para proteger contra amenazas emergentes. “La transparencia se considera un principio básico del planteamiento de la UE, especialmente en lo que respecta a la IA generativa”, afirma Peter Sandkuijl, vicepresidente del departamento de ingeniería de EMEA de Check Point Software. “La atención inicial recaerá en las cuantiosas multas impuestas, sin embargo, ese no debe ser el foco principal; a medida que las leyes sean aceptadas, seguirán siendo probadas y juzgadas en los tribunales de justicia, sentando precedentes para futuros infractores. Tenemos que entender que esto tardará en materializarse, lo que en realidad puede ser más útil, aunque no sea un objetivo final”. FUENTE: Seguridad. »Claves en ciberseguridad de la Ley de Inteligencia Artificial» Ituser.es. 18/03/2024 (https://www.ituser.es/seguridad/2024/03/claves-en-ciberseguridad-de-la-ley-de-inteligencia-artificial).
El Parlamento Europeo aprueba la primera ley de inteligencia artificial del mundo: claves de la regulación
El Parlamento Europeo ha ratificado este miércoles la primera ley de inteligencia artificial (IA) del mundo. La normativa ha recorrido un largo camino desde la propuesta que realizó ya en 2021 la Comisión Europea para crear el primer marco regulador sobre IA. El pasado mes de diciembre, se dio otro paso con un acuerdo político entre el Consejo y el Parlamento Europeo. Los derechos humanos, en el centro de la IA El planteamiento de la ley se basa en impulsar la excelencia y la innovación tecnológica mientras asegura la protección de los derechos humanos. La Unión Europea reconoce el potencial de la inteligencia artificial para el desarrollo de las sociedades, pero defiende la necesidad de regularla para mitigar sus riesgos. Al tratarse de la primera propuesta legislativa sobre IA del mundo, aspira a convertirse en referente internacional. Su objetivo es vigilar y evitar los riesgos “para la salud, la seguridad y los derechos fundamentales”. Para ello, establece unos criterios específicos que permitan determinar cuándo un programa debe categorizarse como IA. Cuatro niveles de riesgos La Comisión plantea un enfoque basado en el riesgo. Determina cuatro niveles de riesgo para etiquetar los sistemas de inteligencia artificial: riesgo mínimo, riesgo limitado, alto riesgo y riesgo inadmisible. Los softwares de IA considerados de riesgo mínimo no tendrán obligaciones jurídicas adicionales. A esta categoría pertenecen la mayoría de sistemas de IA que se utilizan en la actualidad. La ley anima a sus proveedores a autorregularse de forma voluntaria. El “riesgo limitado” se refiere a obligaciones específicas en materia de transparencia. Algunos sistemas deberán vigilar especialmente esta cuestión, como es el caso de los chatbots, debido al riesgo de manipulación. Podría interesarle: ¿Qué es el Reglamento DORA? así ha cambiado la gestión del riesgo tecnológico en las entidades financieras Por alto riesgo, la ley entiende todos los sistemas de IA que puedan tener un impacto negativo en la seguridad o los derechos de las personas. Para identificarlos, el texto establece en un anexo una lista de sistemas de alto riesgo que sirvan como referencia. En este catálogo aparecen algunos sistemas de identificación biométrica, determinados sistemas de uso policial o de control de fronteras y ciertas herramientas enfocadas a la evaluación educativa, entre otros. La Comisión se compromete a mantener el listado actualizado para que cumpla su función también en el futuro. En último lugar, el documento considera que algunos programas presentan un riesgo inadmisible. Se trata de una cantidad mínima de usos de la IA que vulneran los derechos fundamentales y resultan especialmente nocivos. Entre ellos, se encuentran los sistemas de puntuación social, actuación policial predictiva individual y el reconocimiento de emociones en el lugar de trabajo o institución educativa, a excepción de motivos médicos o de seguridad. Datos biométricos y sesgos, entre los riesgos En los últimos días ha crecido el debate en torno a la importancia de los datos biométricos. La ley de inteligencia artificial de la UE legisla también en este sentido, prohíbe el uso de identificación biométrica remota en tiempo real en lugares de acceso público con fines policiales, a excepción de algunos delitos. Del mismo modo, tampoco se permite la identificación biométrica remota posterior sin autorización. El texto alude a la necesidad de evitar el riesgo de condenar a una persona inocente por un fallo de precisión. Otra de las cuestiones más polémicas en el ámbito de la IA es la reproducción de sesgos. La ley europea afirma que, con un diseño y uso adecuado, “los sistemas de inteligencia artificial pueden contribuir a reducir los prejuicios y la discriminación estructural”. En consecuencia, la normativa establece requisitos para que los falsos resultados no causen perjuicio a los grupos protegidos. Así, los sistemas de alto riesgo deberán entrenarse con datos representativos y será necesario que la documentación del proceso se pueda rastrear y auditar. La ley aborda también la necesidad de respetar la legislación de derechos de autor en los entrenamientos de los modelos y de especificar los contenidos generados a partir de IA. Lea también: Ciberseguridad en la agenda global Aunque de manera sucinta, el documento aborda el impacto ambiental de la IA. Entiende que la protección del medioambiente está íntimamente ligada a los demás intereses jurídicos que justifican la necesidad de esta normativa. Señala la importancia de evaluar el consumo energético y de otros recursos por parte de los sistemas de IA, así como de avanzar hacia un desarrollo más eficiente. Próximos pasos La ley se aplicará a todos los agentes públicos y privados, con independencia de su procedencia, cuando sus sistemas de IA entren en la UE o afecten a personas establecidas en ella. Su aplicación será gradual, hasta implantarse de manera definitiva en 2026. Desde su entrada en vigor, cualquier nuevo sistema de IA se someterá a una evaluación de su impacto en los derechos fundamentales. Los proveedores que deseen comercializar un sistema de alto riesgo deberán demostrar que cumple con los requisitos y aplicar sistemas de gestión de la calidad y los riesgos para lograr minimizarlos lo máximo posible. Será necesario que se registren en una base de datos pública de la UE para que se realice un seguimiento. La transparencia será un elemento fundamental para que los proveedores puedan introducirse en el mercado europeo. Para garantizar el cumplimiento de la normativa, los Estados deberán implementar sanciones “efectivas, proporcionadas y disuasorias”. Además, designarán a las autoridades nacionales competentes para su supervisión, que además representará al país en el Comité Europeo de Inteligencia Artificial. La ley establece también la creación de otros instrumentos europeos en materia de IA. La Oficina Europea de Inteligencia Artificial supervisará la aplicación de las normativas y el desarrollo de los modelos más avanzados. Por su parte, el Foro Consultivo se compondrá de representantes de las partes interesadas para asesorar al Comité y la Comisión. Además, se creará la Comisión Científica de Expertos Independientes. Uno de los principales propósitos de la UE con esta normativa es garantizar que sea pertinente a lo largo de los años, de manera que pueda actualizarse conforme evoluciona la tecnología. FUENTE: Modrón, Inés. »El Parlamento Europeo aprueba la primera ley de inteligencia artificial del mundo: claves de la regulación» Rtve.es. 13/03/2024. (https://www.rtve.es/noticias/20240313/eurocamara-vota-primera-ley-inteligencia-artificial/16011963.shtml).
La próxima amenaza de ciberseguridad son los gusanos informáticos de IA
A medida que los sistemas de inteligencia artificial (IA) generativa como ChatGPT de OpenAI y Gemini de Google se hacen más avanzados, también crece el interés por ponerlos a trabajar. Startups y empresas tecnológicas están construyendo agentes y ecosistemas de IA sobre los sistemas que pueden realizar tareas aburridas por nosotros, como hacer automáticamente reservas de calendario y, potencialmente, comprar productos. Pero a medida que se da más libertad a estas herramientas, también aumentan las posibilidades de que sean atacadas. Ahora, en una demostración de los riesgos de los ecosistemas de IA conectados y autónomos, un grupo de investigadores ha creado lo que describen como el primer gusano informático de inteligencia artificial generativa, que puede propagarse de un sistema a otro, con la posibilidad de robar datos o desplegar malware en el proceso. “Básicamente, significa que ahora existe la capacidad de llevar a cabo o realizar un nuevo tipo de ciberataque que no se había visto antes”, dice Ben Nassi, investigador de Cornell Tech que está detrás de la investigación. Morris II, el primer gusano de inteligencia artificial Nassi, junto con sus colegas Stav Cohen y Ron Bitton, creó el gusano, bautizado Morris II, como un guiño al gusano informático Morris original que causó el caos en internet en 1988. En un documento de investigación y un sitio web compartido en exclusiva con WIRED, los investigadores muestran cómo el gusano de IA puede atacar a un asistente de correo electrónico de IA generativa para robar datos de los correos electrónicos y enviar mensajes de spam, rompiendo en el proceso algunas protecciones de seguridad de ChatGPT y Gemini. La investigación, que se llevó a cabo en entornos de prueba y no contra un asistente de correo electrónico disponible públicamente, se produce en un momento en que los grandes modelos de lenguaje (LLM por sus siglas en inglés) son cada vez más multimodales, capaces de generar imágenes y video además de texto. Aunque todavía no se han detectado gusanos de IA generativa, varios investigadores afirman que constituyen un riesgo para la seguridad que debería preocupar a las nuevas empresas, los desarrolladores y las compañías tecnológicas. Lea también: Inteligencia artificial y ciberseguridad, retos de las fintech para 2024 La mayoría de los sistemas de IA generativa funcionan mediante instrucciones de texto que ordenan a las herramientas que respondan a una pregunta o creen una imagen. Sin embargo, estas instrucciones también pueden convertirse en un arma contra el sistema. A través de «jailbreaks”, instrucciones diseñadas para que el sistema revele información sobre sí mismo o rompa sus propias reglas de programación, se puede hacer que un sistema haga caso omiso de sus normas de seguridad y emita contenidos tóxicos o que inciten al odio, mientras que los ataques de inyección de instrucciones pueden dar instrucciones secretas a un chatbot. Para crear el gusano de IA generativa, los investigadores recurrieron a lo que se conoce como “prompt autorreplicante adverso”, que provoca que el modelo de IA generativa emita, en su respuesta, otro prompt, explican los investigadores. En resumen, se le dice al sistema de IA que produzca un conjunto de instrucciones adicionales en sus respuestas. Esto es muy similar a los ataques tradicionales de inyección SQL y desbordamiento del búfer, dicen los investigadores. ¿Cómo funciona el gusano de IA? Para demostrar cómo puede funcionar el gusano, los investigadores crearon un sistema de correo electrónico que podía enviar y recibir mensajes utilizando IA generativa, conectándose a ChatGPT, Gemini y el LLM de código abierto, LLaVA. A continuación, encontraron dos formas de explotar el sistema: utilizando un mensaje autorreplicante basado en texto e incrustando un mensaje autorreplicante en un archivo de imagen. En un caso, los investigadores, actuando como atacantes, escribieron un mensaje de correo electrónico que incluía el mensaje de texto adverso, que “envenenaba” la base de datos de un asistente de correo electrónico utilizando la generación aumentada por recuperación (RAG), una forma que tienen los LLM de extraer datos adicionales de fuera de su sistema. Cuando el correo electrónico es recuperado por la RAG, en respuesta a una consulta del usuario, y se envía a GPT-4 o Gemini Pro para crear una respuesta, “rompe el servicio GenAI» y, en última instancia, roba datos de los correos electrónicos, dice Nassi. “La respuesta generada que contiene los datos sensibles del usuario más tarde infecta nuevos hosts cuando se utiliza para responder a un correo electrónico enviado a un nuevo cliente y luego se almacena en la base de datos del nuevo cliente”, explica. Artículos relevantes: La ciberseguridad se disputa con la IA el protagonismo en la inversión En el segundo método, según los investigadores, una imagen con un aviso malicioso incrustado hace que el asistente de correo electrónico reenvíe el mensaje a otros. “Al codificar el aviso autorreplicante en la imagen, cualquier tipo de imagen que contenga spam, material abusivo o incluso propaganda puede reenviarse a nuevos clientes después de que se haya enviado el correo electrónico inicial”, afirma Nassi. En un video de demostración de la investigación, puede verse al sistema de correo electrónico reenviando un mensaje varias veces. Los investigadores también afirman que pueden extraer datos de los correos electrónicos: “Pueden ser nombres, números de teléfono, números de tarjetas de crédito, números de seguro social, cualquier cosa que se considere confidencial”, dice Nassi. Esto es solo una advertencia… Por ahora Aunque la investigación rompe algunas de las medidas de seguridad de ChatGPT y Gemini, los investigadores afirman que el trabajo es una advertencia sobre el “mal diseño de la arquitectura” dentro del ecosistema de la IA en general. No obstante, informaron de sus hallazgos a Google y OpenAI. “Parece que han encontrado una forma de explotar vulnerabilidades del tipo prompt-injection basándose en entradas de usuario que no han sido comprobadas o filtradas”, afirma un portavoz de OpenAI, que añade que la empresa está trabajando para que sus sistemas sean “más resistentes” y afirma que los desarrolladores deberían «utilizar métodos que garanticen que no están trabajando con entradas dañinas». Google declinó hacer comentarios sobre la investigación. Los mensajes que Nassi compartió con WIRED muestran que los investigadores de la compañía solicitaron una reunión para hablar del tema. Aunque la demostración del gusano tiene lugar en un entorno en gran medida controlado, varios expertos en
Inteligencia artificial y ciberseguridad, retos de las fintech para 2024
El sector financiero ha evolucionado y la revolución ha llegado de mano de las fintech. Estas nuevas soluciones ofrecen productos y servicios financieros innovadores que están acompañados por las últimas tecnologías existentes. Sin embargo, factores como la ciberseguridad y la debida utilización de la inteligencia artificial (IA) se han convertido en un reto determinante para este tipo de compañías. “Como fintech sabemos de la importancia de la seguridad para nuestros clientes, que se traduce también en la nuestra como compañía; por eso, todo este proceso de ciberseguridad lo realizamos con el fin de prevenir la fuga de información de datos personales y sensibles, así como riesgos de fraude, suplantación de identidad, entre otros factores”, dijo Daniel Materón, CEO de RapiCredit. Crecimiento del ecosistema ‘fintech’ en el país En un informe elaborado por Finnovatting, se destaca que el ecosistema fintech colombiano entró al podio de la región, desplazando a Argentina y ubicándose en la tercera posición, detrás Brasil y México, países con cuatro veces la población colombiana. Por ende, este crecimiento también trae consigo desafíos que se deben cumplir y uno de ellos y trascendental, es el de ciberseguridad. Apalancados en la utilización de tecnología de vanguardia, como la IA, las fintech les suministran a sus usuarios un sistema de ciberseguridad cada vez más robusto. Todo esto, entendiendo que la revolución tecnológica es constante y que la adopción de esta para sus procesos es necesaria. Así lo demuestra un estudio realizado recientemente por ManpowerGroup denominado la Era de la Adaptabilidad, en el que ratifica que a medida que la IA evoluciona a un ritmo acelerado, la experiencia muestra que la tecnología ha demostrado ser un poderoso aliado. Por eso, aprovechar el potencial de la IA para impulsar el crecimiento y el aumento de la productividad exigirá que las empresas den prioridad a las personas. “Las compañías debemos utilizar la IA debidamente y aprovecharla al máximo. Todas sus virtudes son importantes para elevar la ciberseguridad, en este caso en particular, de las fintech”, aseguró Materón. Podría interesarle: La protección de datos, clave para la inclusión financiera De igual forma, este estudio demuestra que la mayoría de los empleadores (58%) cree que la IA y la Realidad Virtual (RV) tendrán un impacto positivo en el personal de su organización en los próximos dos años. Precisamente, fintechs como RapiCredit, que son de base 100% digital, han involucrado la IA en sus procesos de otorgación de créditos, logrando procesar cantidades masivas de datos, identificando patrones y creando la mayor gestión posible del riesgo crediticio sin errores. “El presente para RapiCredit ya está trazado e incluye la utilización de la IA en todos sus procesos; por eso, nuestro futuro posee la consolidación de créditos rápidos, no solo a través de su página web, sino también por medio de la app, que está disponible en Android. Todo esto, con los más altos estándares en ciberseguridad, en donde somos líderes y pioneros entre las fintechs del país”, culminó Materón. FUENTE: Portafolio. »Inteligencia artificial y ciberseguridad, retos de las ‘fintech’ para 2024» Portafolio.co. 03/03/2024. (https://www.portafolio.co/tecnologia/inteligencia-artificial-y-ciberseguridad-retos-de-las-fintech-para-2024-599696).
La ciberseguridad se disputa con la IA el protagonismo en la inversión
Según análisis recientes de Penteo sobre la inversión TI para el próximo año, la ciberseguridad continúa destacándose como una prioridad clave tanto a nivel de negocio como en el ámbito de TI. Para el año 2024, se proyecta que la ciberseguridad ocupará la segunda posición entre los objetivos estratégicos de las organizaciones. Además, destaca como la categoría en la cual un mayor número de empresas planea aumentar su inversión durante ese periodo. El paisaje de la ciberseguridad está en constante evolución, y al proyectar nuestra mirada hacia el horizonte de 2024, se siguen vislumbrando los retos y tendencias actuales y que definirán la narrativa digital del futuro inmediato. Este campo dinámico y crucial enfrentará una serie de desafíos, así como se verá moldeado por tendencias emergentes que transformarán la forma en que abordamos la seguridad de nuestros activos más preciados. La función TI y de Ciberseguridad debe estar más enfocada ya en construir nuevos futuros (en plural) que en tratar de predecir un futuro (en singular) y de cierta certidumbre. El paradigma, claramente, ya es otro. Inversión en ciberseguridad Es también notorio que, en aquellas compañías que indican que incrementarán su inversión en ciberseguridad, lo harán, aproximadamente en un +23% respecto al año 2023. Por lo tanto, sigue siendo una partida de inversión y de foco en proyectos totalmente significativa para 2024 y para próximos años. Esta inversión en ciberseguridad irá destinada a los siguientes ámbitos: Y, ya que el principal foco de esta inversión irá destinado a abordar amenazas y vulnerabilidades existentes (ya sean actuales o nuevas) y que sucumbimos también a la tendencia de hablar de IA en este artículo, esta será, a su vez, la gran protagonista en 2024 y con una íntima relación aplicada a la ciberseguridad. Ya son tendencia ataques dirigidos a sistemas de inteligencia artificial en vez de a las organizaciones. A medida que la IA se convierte en un pilar esencial de las operaciones digitales, la posibilidad de ataques dirigidos a sistemas de IA se está incrementando. Por ello, la manipulación de modelos de aprendizaje automático y la explotación de vulnerabilidades en algoritmos se perfilan como amenazas significativas. La IA generativa entra en escena Por otro lado, la gran protagonista está siendo la inteligencia artificial generativa (IAG) que, aunque este mercado se ubica en una posición relativamente modesta en comparación con la inteligencia artificial en su conjunto, se proyecta un crecimiento anual de más del 20%, consolidándola como la categoría de mayor desarrollo dentro de la IA. La excesiva atención dirigida hacia los LLM en el ámbito de la IAG, a pesar de representar menos del 10% del valor total del mercado, plantea cuestionamientos acerca de la proporcionalidad de esta perspectiva. En este contexto, es esencial explorar la conexión entre este fenómeno y la integración de la IAG en el sector crítico de la ciberseguridad. La ciberseguridad se presenta como un terreno propicio para la implementación de la IAG, particularmente de los LLM. La sofisticación en la comprensión del lenguaje plantea implicaciones directas en el ámbito de la ciberseguridad. La capacidad de estos modelos para analizar patrones de conversación, identificar amenazas potenciales en tiempo real y generar respuestas contextualmente pertinentes representa un fortalecimiento sustancial de las defensas cibernéticas. La simulación de ataques cibernéticos llevada a cabo por los LLM, con el propósito de evaluar la resiliencia de las infraestructuras de seguridad, constituye un escenario prometedor para anticipar y mitigar amenazas. Adopción de la IA generativa en ciberseguridad A pesar de este potencial, la adopción de la IAG en ciberseguridad va a ser gradual y reflexiva. Las implicaciones de seguridad inherentes a este dominio sugieren una cautela justificada y muchas organizaciones en España han optado (más de un 62% según nuestros análisis), de momento, por un enfoque fuertemente conservador y garantista en cuanto a enfoque de ética y privacidad de datos. Es esencial reconocer que, aunque la IAG influye de manera sustancial en diversas aplicaciones, incluida la ciberseguridad, nos encontramos en las etapas iniciales de comprensión de estas tecnologías. Podríamos decir que la irrupción de estos interfaces LLM viene a ser, por hacer un símil, como el MS-DOS de la época para poder comunicarnos con las máquinas y fue solamente la punta de iceberg de toda la revolución tecnológica que experimentamos. Nos hemos esforzado mucho durante los últimos 40 años por entender a las máquinas, ahora estamos en el momento de que deben ser ellas las que se esfuercen por entendernos a nosotros y acompañarnos a lograr las tareas u objetivos que nos marquemos. Lea también: Así es cómo la IA y la computación cuántica están remodelando el panorama de la ciberseguridad Tras la reflexión filosófica anterior y, por concluir, se identifican 4 grandes beneficios donde la IAG será clave para la ciberseguridad acorde al CCN: 1) Generación de datos sintéticos: La IAG puede crear datos ficticios que simulan tráfico de red o acciones de usuarios, sin tratar información real. Esto es de gran ayuda para entrenar sistemas de detección de intrusos sin invadir y preservando la privacidad del usuario. 2) Simulación de ataques a través de GAN (redes antagónicas generativas): Es posible simular cómo actuaría un atacante, permitiendo a las organizaciones probar la robustez de sus sistemas y realizar mejoras antes de que ocurran incidentes reales. 3) Creación de escenarios realistas de pruebas de penetración: Mejorando las prácticas tradicionales que a menudo se basan en escenarios predefinidos y menos dinámicos. 4) Learnability: Capacidad de aprendizaje como clave de la competitividad tecnológica para los próximos años donde un agente (la red generativa) y un adversario (la red discriminativa) trabajan en conjunto. Esta técnica puede ser utilizada para enseñar a sistemas de ciberseguridad cómo mejorar su detección y respuesta a amenazas en tiempo real. Desafíos del futuro digital En el dinámico escenario de la ciberseguridad, donde desafíos y tendencias delinean el futuro digital, es de capital importancia reconocer la evolución constante y las oportunidades que ofrece la IAG. A medida que nos aventuramos hacia el horizonte del 2024, la inversión sostenida en ciberseguridad, respaldada por el auge de la IAG, demuestra su posición
Así es cómo la IA y la computación cuántica están remodelando el panorama de la ciberseguridad
En el ámbito de la ciberseguridad, las organizaciones continúan innovando en la utilización de tecnologías como la IA y la computación cuántica. Ya que esto impulsaría una evolución continua en dicho campo, brindando soluciones ideales para enfrentar las amenazas más actuales. Al facilitar el análisis y detección de comportamientos maliciosos en tiempo real, previniendo y mitigando cualquier ataque cibernético. No obstante, la creciente digitalización y el uso de herramientas llevaría a una paradoja preocupante. En la que a medida que nos adentramos en una era más digital, también presenciamos un aumento en las actividades delictivas en línea. De ahí que los expertos adviertan que este avance les brindara oportunidades a los ciberdelincuentes. Algo reflejado en el aumento en la cantidad de ataques en los últimos meses. El avance de la IA y la computación cuántica en la ciberseguridad El avance de la IA y la computación cuántica también estaría impulsando el desarrollo de herramientas de vigilancia y ciberseguridad para combatir amenazas. Ya que estas se valen de la creación de software sofisticado dirigido a sistemas, con el objetivo de detectar y neutralizar dichas actividades. Un ejemplo destacado es Microsoft Defender for Endpoint, el cual utiliza IA para identificar y aislar automáticamente actividades de ransomware, tomando las medidas necesarias para proteger los sistemas y los datos. Asimismo, el sector de la ciberseguridad está experimentando una nueva generación de soluciones que buscan allanar el camino hacia operaciones de seguridad automatizadas. Estas están diseñadas para reducir la dependencia de factores humanos, como mejorar los tiempos de reacción en la detección y respuesta ante amenazas. Así como automatizar tareas rutinarias, analizar grandes volúmenes de datos e investigar vulnerabilidades. La IA y la computación cuántica en la lucha contra piratas informáticos De hecho, una investigación de NTT Security Holdings revela que la IA demostró precisión en la identificación de sitios de phishing. Según Mihoko Matsubara (Estratega Jefe de Ciberseguridad de la Firma), quien destacó en un informe basado en la IA y la computación cuántica que esta tecnología maximizaría la eficiencia en la detección de sitios web maliciosos diseñados. Básicamente, cualquier medio destinado a engañar a los usuarios y robar información confidencial. Lea también: Cómo crear una estrategia de ciberseguridad para ahora y el futuro Según Matsubara, estos nuevos recursos surgen en respuesta a la evolución de las tácticas de los ciberdelincuentes en los últimos meses. Los cuales comenzaron a aprovechar herramientas como la IA en campañas masivas de phishing. Esto combinadas con técnicas de ingeniería social para llamar la atención de las potenciales víctimas. Asimismo, llevando a cabo estafas y robos de información confidencial. Impacto de la IA en las estrategias de ciberseguridad Los expertos de NT afirman que la IA promete impactar significativamente en las estrategias de ciberseguridad para el 2024. Esto es relevante por los movimientos de los piratas informáticos en el contexto de las elecciones presidenciales que se llevarán a cabo en diversas partes del mundo. Ante esta situación, muchas organizaciones impulsan iniciativas como el Zero Trust. Básicamente, en la implementación de todas las medidas de seguridad posibles para proteger nuestros datos, finanzas e información personal. Afortunadamente, los piratas informáticos no evolucionaron en el uso de la IA como para aplicar tácticas más complejas en sus ataques. De hecho, expertos en ciberseguridad aseguran que si los hackersutilizan esta tecnología, esto representaría un riesgo tanto para ellos como para las víctimas. Ya que la IA tiene el potencial para comprometer los datos de los delincuentes involucrados. Construyendo sistemas de seguridad más robustos Un ejemplo de la realidad que rodea a los piratas informáticos se evidencia en el caso de un ciberdelincuente. Este intentó demostrar que la IA era el futuro de la piratería y los ataques. Por lo que intentando demostrar que estaba un paso adelante de las medidas de seguridad existentes, terminó dejando que su información personal se revelara en uno de los foros clandestinos de Internet. Por todo esto, es crucial que las empresas tomen conciencia de la importancia de educar tanto a su personal interno como a sus clientes sobre el uso de la IA y la computación cuántica en el ámbito de la ciberseguridad. Es necesario comprender las prácticas de los ciberdelincuentes en el aprovechamiento de estas tecnologías, para poder así sistemas de seguridad más robustos y eficientes. Se prevé que en este 2024, tanto empresas como las entidades se enfocarán no solo en la regulación de la tecnología, sino también en fortalecer la seguridad digital. Para lograrlo, se implementarán sistemas avanzados de investigación cifrados. Esto permiten salvaguardar de manera efectiva cualquier tipo de información almacenada en la nube y, incluso, en otros dispositivos. FUENTE: Martorell Delgado, Sergio. »Así es cómo la IA y la computación cuántica están remodelando el panorama de la ciberseguridad» Larazon.es. 13/02/2024. (https://www.larazon.es/emergente/asi-como-computacion-cuantica-estan-remodelando-panorama-ciberseguridad_2024021365cb1180344c980001bedc8d.html).
