Model Mondays S2E8: On-Device & Local AI
Model Mondays S2E8: On-Device & Local AI Welcome to Episode 8! This week, we explored how AI is moving from the cloud to your own device, making it faster, more private, and more accessible. We also saw a real-world customer story from Xander Glasses, showing how AI can help people with hearing loss. RFD Observability tools in Azure AI Foundry: Real-time model telemetry, auto evals, quick evals, Python grader. GitHub Copilot Pro with Spark: AI pair programmer for code explanation and workflow suggestions. Synthetic Data for Vision Models: Training accurate models with procedurally generated data. Agent-Friendly Websites: Making sites accessible to AI agents via APIs, semantic markup, and OpenAPI specs. MCP (Model Context Protocol): Standardizing agent memory and context for scalable AI.Getting Started with the AI Toolkit: A Beginner’s Guide with Demos and Resources
If you're curious about building AI solutions but don’t know where to start, Microsoft’s AI Toolkit is a great place to begin. Whether you’re a student, developer, or just someone exploring AI for the first time, this toolkit helps you build real-world solutions using Microsoft’s powerful AI services. In this blog, I’ll Walk you through what the AI Toolkit is, how you can get started, and where you can find helpful demos and ready-to-use code samples. What is the AI Toolkit? The AI Toolkit is a collection of tools, templates, and sample apps that make it easier to build AI-powered applications and copilots using Microsoft Azure. With the AI Toolkit, you can: Build intelligent apps without needing deep AI expertise. Use templates and guides that show you how everything works. Quickly prototype and deploy apps with natural language, speech, search, and more. Watch the AI Toolkit in Action Microsoft has created a video playlist that covers the AI Toolkit and shows you how to build apps step-by-step. You can watch the full playlist here: It is especially useful for developers who want to bring AI into their projects, but also for beginners who want to learn by doing. AI Toolkit Playlist – https://aka.ms/AIToolkit/videos These videos help you understand the flow of building AI agents, using Azure OpenAI, and other cognitive services in a hands-on way. Explore Sample Projects on GitHub Microsoft also provides a public GitHub repository where you can find real code examples built using the AI Toolkit. Here’s the GitHub repo: AI Toolkit Samples – https://github.com/Azure-Samples/AI_Toolkit_Samples This repository includes: Sample apps using Azure AI services like OpenAI, Cognitive Search, and Speech. Instructions to deploy apps using Azure. Code that you can clone, test, and build on top of. You don’t have to start from scratch just open the code, understand the structure, and make small edits to experiment. How to Get Started Here’s a simple path if you’re just starting: Watch 2 or 3 videos from the AI Toolkit Playlist. Go to the GitHub repository and try running one of the examples. Make small changes to the code (like updating the prompt or output). Try deploying the solution on Azure by following the guide in the repo. Keep building and learning. Why This Toolkit is Worth Exploring As someone who is also learning and experimenting, I found this toolkit to be: Easy to understand, even for beginners. Focused on real-world applications, not just theory. Helpful for building responsible AI solutions with good documentation. It gives a complete picture — from writing code to deploying apps. Final Thoughts The AI Toolkit helps you start your journey in AI without feeling overwhelmed. It provides real code, real use cases, and practical demos. With the support of Microsoft Learn and Azure samples, you can go from learning to building in no time. If you’re serious about building with AI, this is a resource worth exploring. Continue the discussion in the Azure AI Foundry Discord community at Https://aka.ms/AI/discord Join the Azure AI Foundry Discord Server! References AI Toolkit Playlist (YouTube) https://aka.ms/AIToolkit/videos AI Toolkit GitHub Repository https://github.com/Azure-Samples/AI_Toolkit_Samples Microsoft Learn: AI Toolkit Documentation https://learn.microsoft.com/en-us/azure/ai-services/toolkit/ Azure AI Services https://azure.microsoft.com/en-us/products/ai-services/Utilizando Slash commands en GitHub Copilot para Visual Studio
En este blog, demostraremos más información de los comandos de barra diagonal (slash commands). Como los llama Bruno Capuano en un video, "pequeños hechizos mágicos"; en otras palabras, al escribir una barra diagonal (/) en un símbolo del sistema de GitHub Copilot, se abre una opción en la que puede elegir algunos comandos que tendrán una acción predefinida. [Blog original en inglés creado por Laurent Bugnion y Bruno Capuano] Abriendo el menú de los comandos “Slash” Para abrir el menú de comandos de barra diagonal, puedes hacer clic en el botón Barra diagonal dentro de la ventana de chat de GitHub Copilot, como se muestra en la imagen inferior. Otra opción es simplemente escribir una barra diagonal en el área de GitHub Copilot Chat. Cualquiera de las dos acciones abrirá el menú que se ve así: Repasemos los comandos: doc: Este comando ayuda a crear un comentario de documentación relacionado con la selección determinada. Por ejemplo, si el cursor está dentro de un método, GitHub Copilot propondrá un comentario para este método. exp: Este comando comienza un nuevo hilo de conversación, con un contexto completamente nuevo. Después, puedes cambiar entre conversaciones desde un cuadro combinado en la parte superior de la ventana de chat. explain: Este comando explicará una parte del código. Si seleccionas un código, GitHub Copilot te explicará este código. También puedes utilizar el comando # para especificar un contexto diferente. fix: Este comando propondrá una corrección para el código seleccionado. generate: Este comando generará un código correspondiente a la pregunta que acabas de hacer. help: Este comando mostrará ayuda sobre GitHub Copilot. optimize: Este comando analizará el código en contexto y propondrá una optimización (en términos de rendimiento, líneas de código, etc.). tests: Este comando creará una prueba unitaria para el código seleccionado. Obtendremos más detalles sobre cada uno de estos comandos en futuras publicaciones. Más información Como siempre, puedes encontrar más información, en nuestra colección de Microsoft Learn. Mantente al tanto de este blog para obtener más contenido. Y, por supuesto, ¡también puedes suscribirte a nuestro canal de YouTube!Creación de pruebas con GitHub Copilot para Visual Studio
[Blog original escrito en inglés por Laurent Bugnion y Bruno Capuano] En nuestra industria, es común que nosotros los programadores enfrentemos diferentes desafíos como: documentar código y crear pruebas unitarias. GitHub Copilot puede ser de gran ayuda en estas áreas, facilitando y mejorando estos procesos. Los comandos de barra (slash), "hechizos mágicos" para Visual Studio Estos pueden aparecer escribiendo la barra diagonal '/' (slash command) en el chat de GitHub Copilot en Visual Studio. Luego, se abrirá un menú donde puede seleccionar un comando, por ejemplo, /fix para arreglar algún código, o /optimize. También tenemos /doc que, como su nombre indica, te ayudara a crear documentación para el código seleccionado, por ejemplo, un método o una propiedad. El último comando que se muestra en el screenshot anterior es /tests. Este es especialmente útil para ayudarle a empezar a trabajar con las pruebas unitarias para el código actual en contexto. En el video corto (en inglés) que publicó Laurent, Bruno Capuano muestra cómo GitHub Copilot puede proponer pruebas unitarias para toda una clase. Para hacer eso, Bruno comienza escribiendo /tests en la ventana de chat de Copilot, y luego escribe un hash '#' que abrirá otro menú contextual para seleccionar el contexto. La importancia del contexto Para los modelos de LLM, el contexto es crucial para la correcta ejecución de las solicitudes. El contexto se ingresa en el prompt junto con la entrada del usuario, lo que se conoce como metaprompts. En otras palabras, cualquier información que ayude al LLM a generar resultados más precisos es útil. En GitHub Copilot para Visual Studio, el contexto puede ser: el código seleccionado, otro archivo de programación o incluso toda la solución. Estas opciones se pueden seleccionar desde el ‘hash context menú”, como se muestra aquí: Creando las pruebas Una vez que se ejecute este comando, el chat de Copilot propondrá una sugerencia de cómo podrían ser las pruebas. Ten en cuenta que, al igual que con todas las demás características de GitHub Copilot, esto está destinado a ayudarte a ti, el programador a cargo, y no solo a hacer el trabajo por ti. El código creado debe ser verificado y aprobado por ti, y probado exhaustivamente para asegurarte de que realmente hace lo que esperaba (sí, vas a probar las pruebas unitarias). GitHub Copilot te ayuda al hacer más rápido el proceso y más eficiente, pero no está reemplazando tu función de verificar el código. La diferencia aquí, en comparación con las características anteriores que mostramos, es que GitHub Copilot propone crear las pruebas en un nuevo archivo. Esto es lo que normalmente hacemos para las pruebas unitarias, con clases y métodos dedicados. Asimismo, esto está disponible aquí con el botón Insertar en un nuevo archivo. Una vez creado el nuevo archivo, debes guardarlo en la solución. De hecho, es probable que desees organizar las pruebas en una biblioteca de clases independiente en la misma solución. Más información Laurent y Bruno han recolectado una lista de recursos aquí y esperamos que esta información sea útil para que empieces y mejores tus habilidades en Visual Studio. También puedes ver un video relacionado de 13 minutos aquí, y ver otros videos de la serie aquí. Mantente atento a más contenido suscribiéndote a este blog y al canal de YouTube de Visual Studio.Using Visual Studio Notebooks for learning C#
Getting Started Install Notebook Editor Extension: Notebook Editor - Visual Studio Marketplace C# 101 GitHub Repo dotnet/csharp-notebooks: Get started learning C# with C# notebooks powered by .NET Interactive and VS Code. (github.com) Machine Learning and .NET dotnet/csharp-notebooks: Get started learning C# with C# notebooks powered by .NET Interactive and VS Code. (github.com) .NET Interactive Notebooks for C# dotnet/csharp-notebooks: Get started learning C# with C# notebooks powered by .NET Interactive and VS Code. (github.com)¿Cómo instalar GitHub Copilot en Visual Studio?
[Blog original en inglés] GitHub Copilot es un asistente de programación impulsado por Inteligencia Artificial (IA) que puede ejecutarse en varios entornos, ayudándote a ser más eficiente en tus tareas diarias de programación. En este blog, te mostraremos específicamente cómo funciona GitHub Copilot en Visual Studio y cómo puede aumentar tu productividad. Comprendiendo la diferencia entre GitHub Copilot y GitHub Copilot Chat: GitHub Copilot funciona directamente en tus archivos de código, proporcionando sugerencias para tu código. Funciona de manera similar a IntelliSense, pero es capaz de proponer bloques completos de código en base a lo que estás escribiendo. También proporciona acceso a comandos, puede explicar el código y ofrecer funciones adicionales directamente respecto a tus archivos. GitHub Copilot Chat funciona en una ventana independiente dentro del entorno de Visual Studio. Proporciona un asistente de chat que puede recordar el contexto de la conversación y ofrecer sugerencias inteligentes. Ambas extensiones se pueden instalar por separado. Te recomendamos probar ambas para que puedas elegir la que prefieras. En próximas oportunidades, te mostraremos más detalles sobre cada una de estas extensiones. Instalando las extensiones de GitHub Copilot Ambas extensiones se pueden instalar directamente desde Visual Studio, a través del menú Extensiones / Administrar extensiones. Desde allí, busca GitHub Copilot y GitHub Copilot Chat. También puedes dirigirte a Visual Studio Marketplace, que contiene una gran cantidad de extensiones para mejorar tu experiencia con Visual Studio. Ten en cuenta que GitHub Copilot requiere Visual Studio 2022 17.5.5 o posterior. Más información Para obtener más información, consulta nuestra colección de recursos aquí. Mantente al tanto de este blog para más contenido sobre Visual Studio. Y, por supuesto, ¡también puedes suscribirte a nuestro canal de YouTube para más contenido!Build your first ML-Model with ML.NET Model Builder
Excited to dive into machine learning in .NET? With the aid of tools like ML.NET Model Builder and Visual Studio, it's a breeze. Here's a preview of the steps you'll take: 1. Download Visual Studio 2022 with .NET desktop development and ML.NET Model Builder. 2. Create a .NET console app named myMLApp. 3. Add a machine learning model named SentimentModel.mbconfig. 4. Choose the Data classification scenario. 5. Select Local (CPU) as the training environment. 6. Prepare and import your data. 7. Train the model. 8. Evaluate its performance. 9. Consume the model using provided code. 10. Run and debug to observe the results. Now you're all set to leverage ML.NET's prowess for predictive models in your .NET apps!Pair Programming and test-driven development with Visual Studio Live Share and GitHub Copilot
Pair programming and TDD are valuable software development techniques that can enhance the development process, and GitHub Copilot can help teams effectively utilize these practices to produce high-quality code.
UCL & Intel® VisualNav v2 - Facial Navigation for Visual Studio using OpenVino Technology
Existing tools do not provide enough support for those with disability. Our application, VisualNav is a first-of-its-kind touchless environment for coding, offering a new visual paradigm to traditional development. Our vision is for developers with a disability to be able to work together in a live share environment at the same productivity level as their peers.
