BIME Consulting

Bridging the Gap: A Comprehensive Review for Human Evaluation of #LLMs in Healthcare As #generativeAI, particularly large language models (LLMs), continues to reshape #healthcare, human evaluation is crucial to ensuring their safety and effectiveness. This literature review identifies significant gaps in current evaluation practices, leading the authors to propose a new, practical approach. 1. The promise of LLMs in healthcare: Large Language Models (LLMs) are showing tremendous potential in healthcare, offering applications like clinical decision support, patient monitoring, and health education 📊🤖. However, safe and effective deployment of these technologies requires a thorough human-centered evaluation to ensure they truly meet the needs of both patients and healthcare professionals. 2. Critical gaps identified: the review of 142 studies identified significant gaps in existing evaluation methods, with most relying on automated metrics instead of direct human assessment ⚠️. These gaps affect the reliability and generalizability of LLM applications in healthcare, posing challenges for high-risk areas like clinical decision-making. 3. A comprehensive evaluation framework: To address these challenges, authors propose a new framework for human evaluation, which includes phases like planning, implementation, and scoring 📋. This framework emphasizes critical aspects such as information quality, reasoning ability, communication style, safety, and user trust—aiming for a more structured and holistic approach to assessing LLMs in healthcare. Veronica Mancassola Silvia Signoretti Gianfabio Forti Lauretta Filangieri Victor Savevski Florian Graillot Gerardo Di Francesco Nicolò Soresina João Magalhães Nicolas Pinto Chiara Sgarbossa Shekoofeh Azizi Vivek Natarajan Swiss InsurTech Hub Italian Insurtech Association - IIA Nicolas Loeillot Alberto Pravettoni Andrea Luigi Toma Federica Baiocchi Marko Ahokas Roberta Profeta Brijesh Luthra Daniele Cordioli

🔬La nuova release di ChatGPT: un salto nel ragionamento complesso 🤖 La recente evoluzione di ChatGPT, denominata "ChatGPT-o1", segna un importante progresso nel campo dell'intelligenza artificiale generativa. 🧠 Questa nuova versione è stata addestrata per migliorare le capacità di ragionamento complesso, ispirandosi al modello dei due sistemi cognitivi: 1️⃣ Sistema 1: rapido, intuitivo e automatico. 2️⃣ Sistema 2: più lento, deliberativo e analitico. Grazie all'apprendimento per rinforzo, ChatGPT-o1 è ora in grado di: - Scomporre problemi complessi in sotto-problemi più gestibili. 🔍 - Elaborare strategie per risolvere ciascun sotto-problema. 📝 - Riconoscere e correggere errori nel proprio processo di pensiero. 🔄 - Adattare il ragionamento in base alle nuove informazioni. 🧩 Mentre le versioni precedenti potevano rispondere in modo errato basandosi su una comprensione superficiale (Sistema 1), ChatGPT-o1 utilizza un approccio più analitico (Sistema 2), arrivando alla risposta corretta attraverso una serie di passaggi logici. 🧠✨ Questo avanzamento permette al modello di affrontare compiti che richiedono un ragionamento più profondo, avvicinandosi ulteriormente alle capacità umane di problem solving. 🏆 Perché è importante? - Maggiore accuratezza nelle risposte complesse. - Possibilità di applicazioni avanzate in settori come la ricerca, l'educazione e l'analisi dei dati. - Interazioni più naturali e utili tra umani e IA. 🌐 Siamo di fronte a una nuova era dell'intelligenza artificiale, dove i modelli non solo rispondono, ma pensano in modo critico. Sono entusiasta di vedere come questa tecnologia continuerà a evolversi e a influenzare positivamente diversi settori. 🚀 #Innovazione #IntelligenzaArtificiale #ChatGPT #DanielKahneman #Tecnologia #assicurazionisalute https://lnkd.in/dnC-G8sh

Il 17 settembre interverrò all'𝗜𝗻𝘀𝘂𝗿𝘁𝗲𝗰𝗵 𝗗𝗮𝘆, organizzato da Italian Insurtech Association - IIA. Come BIME Consulting presenterò la ricerca: "Intelligenza artificiale e sanità: sinergie e prospettive future per le assicurazioni". Ecco un'anteprima degli argomenti che tratteremo: 1️⃣ 🤖 Contributo dell'IA alle Assicurazioni Salute: Scopri come l'intelligenza artificiale può rivoluzionare l'assistenza sanitaria, migliorando diagnosi 🩺, cure personalizzate 🧬 e ottimizzando i processi operativi. 2️⃣ 🤝 Integrazione Pubblico-Privato: Approfondiremo le opportunità di collaborazione tra sanità pubblica 🏥 e privata, ispirandoci a modelli internazionali per migliorare l'accesso alle cure per tutti. 3️⃣ 🩺 Use Case e Applicazioni dell'IA: Vedremo esempi concreti di applicazioni dell'IA in ambito salute, dal monitoraggio remoto 🖥️ alla prevenzione delle malattie 🛡️ e all'automazione dei processi assicurativi 📊. 4️⃣ ⚖️ Opportunità e Sfide Normative: Discuteremo i rischi e le opportunità normative legate all'adozione dell'IA, con un focus sulla protezione dei dati 🔒 e sulle nuove regolamentazioni europee. Iscrivetevi subito 👉 https://lnkd.in/dYvjqMqc 📌 𝗜𝗻𝘀𝘂𝗿𝘁𝗲𝗰𝗵 𝗗𝗮𝘆 📅 17 settembre 2024 🕐 dalle 9.00 alle 20.30 🏢 @Le Village by CA Milano #Insurtech #ai #salute #assicurazionisalute #healthhah Gerardo Di Francesco Liliana Troaca Manuela Gargiulo Simone Ranucci Brandimarte Silvia Signoretti Roberta Profeta claudio ciabattini Andrea Di Carlo Lia Alimenti Andrea Polizzi Alberto Pravettoni Alessandro Paoli Carlo Cocco Stefano Cesone Nicolò Soresina Jose Bastos WIT S.r.l. OneCheck Alessia Liparoti Alfredo Pascali Andrea Severino Daniele Cordioli Sebastien Gaudin

Oura (Smart Ring) surpasses 2.5 Million Rings Sold Congratulations to Oura on surpassing 2.5 million rings sold! 🎉💍 This milestone highlights Oura's successful evolution beyond fitness tracking, with a significant focus on women's health. The shift from 55% male users to 60% female users underscores their commitment to addressing women's unique health needs through innovations like Period Prediction, Cycle Insights, and upcoming menopause insights in partnership with UC Berkeley. Oura's health-first approach is a game-changer. By adding Daytime Stress and Resilience metrics, Symptom Radar, and heart health features, Oura has positioned itself as a comprehensive health tool rather than just a fitness tracker. The integration with CGMs to connect glucose and sleep patterns is particularly noteworthy, addressing the broader metabolic health crisis. The intuitive design and high user engagement—most users check their app three times a day—demonstrate Oura's ability to make health data accessible and engaging. The successful subscription model, with over 20% of revenue from ongoing subscriptions, highlights its integration into daily routines. Oura's continuous innovation ensures it remains at the forefront of the wellness industry, well-positioned to lead in the growing health and wellness market. Masatoshi Takahashi Alessandro Paoli Trevor Gordon Sebastien Gaudin Gianfabio Forti Gerardo Di Francesco Florian Graillot Carlo Cocco Stefano Cesone João Magalhães   #smartring #digitalhealth #healthinsurance Swiss InsurTech Hub Italian Insurtech Association - IIA

How Fitbit (now part of Google) measure stress  Fitbit tools aim to connect psychological experience to hysiological stress response Megan Jones Bell and her team helped create Fitbit and Google Pixel Watch stress measurement and management tools, which not only tell you when you’re experiencing stress and what your baseline stress levels are, but also prompt you to try and understand what’s causing this reaction. Introducing a breakdown of key points on stress management and technology: ❗ Understanding Stress: Gain insights into the physiological aspects of stress and effective methods for identification and management of stress triggers. ❗ Cutting-edge Solutions: Explore how innovative tools like Fitbit's stress alerts and Google Pixel Watch's Body Response feature track stress patterns and promote proactive interventions. ❗ Empowering Awareness: Learn how data from wearable devices enhances self-awareness, facilitating the development of personalized stress management techniques. ❗ Balanced Approach: Discover strategies for leveraging stress positively while mitigating its negative impacts. ❗ Advancing Mental Health: Stay updated on ongoing research and innovations contributing to the evolution of mental health support and well-being strategies. https://lnkd.in/dtiCqnp3 Swiss InsurTech Hub Italian Insurtech Association - IIA Google #healthinsurance #wellness Alessandro Paoli Jose Bastos Alberto Pravettoni Gianfabio Forti Giuseppe Marazia Stefano Cesone Massimiliano Mascoli Gualtiero Ventura João Magalhães Marcello Lombardini Sebastien Gaudin Trevor Gordon Andrea Severino Silvia Signoretti Brijesh Luthra Gerardo Di Francesco Simone Ranucci Brandimarte Vivek Natarajan Shekoofeh Azizi knokcare WIT S.r.l. ASSIDIM - Assistenza Sanitaria Integrativa Stefano Bison Alex Carini

DDL AI in Sanità. Un passo in avanti Vedo con favore il recente disegno di legge del Consiglio dei Ministri sull'intelligenza artificiale, mirato a bilanciare le sfide e le opportunità delle nuove tecnologie. Sebbene l'AI Act europeo sia una pietra miliare, la sua adozione legata alla sua articolazione (quasi 500 pagine)  richiederà tempo. È essenziale agire ora, specialmente nel settore sanitario, per sfruttare al meglio le potenzialità dell'IA nel contesto attuale e non attendere anni per farlo. Ecco i punti chiave del DDL (art 7). 📌 1. AI per una Sanità migliore “L’utilizzo di sistemi di intelligenza artificiale contribuisce al miglioramento del sistema sanitario e alla prevenzione e cura delle malattie, nel rispetto dei diritti, delle libertà e degli interessi della persona, anche in materia di protezione dei dati personali”. 📌 2. AI e accesso alle prestazioni sanitarie L’introduzione di sistemi di intelligenza artificiale nel sistema sanitario non può selezionare e condizionare l’accesso alle prestazioni sanitarie con criteri discriminatori 📌3. Il diritto a essere informati dell’uso di IA L’interessato ha diritto di essere informato circa l’utilizzo di tecnologie di intelligenza artificiale e sui vantaggi, in termini diagnostici e terapeutici, derivanti dall’utilizzo delle nuove tecnologie, nonché di ricevere informazioni sulla logica decisionale utilizzata 📌 4. IA e disabilità La legge promuove lo sviluppo, lo studio e la diffusione di sistemi di intelligenza artificiale che migliorano le condizioni di vita delle persone con disabilità, agevolano l’accessibilità, l’autonomia, la sicurezza e i processi di inclusione sociale. 📌5. Terapia e prognosi, responsabilità al medico I sistemi di intelligenza artificiale nell’ambito sanitario costituiscono un supporto nei processi di prevenzione, diagnosi, cura e scelta terapeutica, lasciando impregiudicata la decisione, che è sempre rimessa alla professione medica 📌 6. Affidabilità dei dati I sistemi di intelligenza artificiale utilizzati nell’ambito sanitario e i relativi dati impiegati devono essere affidabili e periodicamente verificati e aggiornati al fine di minimizzare il rischio di errori”. Italian Insurtech Association - IIA #ai #assicurazioni #salute #sanità #ia Veronica Mancassola Gerardo Di Francesco Liliana Troaca Stefano Cesone Nicolò Soresina Alberto Pravettoni Marco Potz Stefania Lionetti Pietro Materozzi Roberta Frascella Andrea Di Carlo Massimiliano Mascoli Marcella Frati Gianfabio Forti Raffaele Guerra Andrea Dal Min Maurizio Ballabio Maurizio Vitale Jose Bastos Angelo Di Rocco Andrea Veltri Stefano Bison Alex Carini Carlo Cocco Federico Esposti, PhD