Make your own private ChatGPT
Introduction Creating your own private ChatGPT allows you to leverage AI capabilities while ensuring data privacy and security. This guide walks you through building a secure, customized chatbot using tools like Azure OpenAI, Cosmos DB and Azure App service. Why Build a Private ChatGPT? With the rise of AI-driven applications, organizations, people often face challenges related to data privacy, customization, and integration. Building a private ChatGPT addresses these concerns by: Maintaining Data Privacy: Keep sensitive information within your infrastructure. Customizing Responses: Tailor the chatbot’s behavior and language to suit your requirements. Ensuring Security: Leverage enterprise-grade security protocols. Avoiding Data Sharing: Prevent your data from being used to train external models. If organizations do not take these measures their data may go into future model training and can leak your sensitive data to public. Eg: Chatgpt collects personal data mentioned in their privacy policy Prerequisites Before you begin, ensure you have: Access to Azure OpenAI Service. A development environment set up with Python. Basic knowledge of FastAPI and MongoDB. An Azure account with necessary permissions. If you do not have Azure subscription, try Azure for students for FREE. Step 1: Set Up Azure OpenAI Log in to the Azure Portal and create an Azure OpenAI resource. Deploy a model, such as GPT-4o (multimodal), and note down the endpoint and API key. Note there is also an option of keyless authentication. Configure permissions to control access. Step 2: Use Chatgpt like app sample You can select any repository to be as base template for your app, in this I will be using the third option AOAIchat. It is developed by me. GitHub - mckaywrigley/chatbot-ui: AI chat for any model. Azure-Samples/azure-search-openai-demo: A sample app for the Retrieval-Augmented Generation pattern running in Azure, using Azure AI Search for retrieval and Azure OpenAI large language models to power ChatGPT-style and Q&A experiences. sourabhkv/AOAIchat: Azure OpenAI chat This architecture diagram represents a typical flow for a private ChatGPT application with the following components: App UX (User Interface): This is the front-end application (mobile, web, or desktop) where users interact with the chatbot. It sends the user's input (prompt) and displays the AI's responses. App Service: Acts as the backend application, handling user requests and coordinating with other services. Functions: Receives user inputs and prepares them for processing by the Azure OpenAI service. Streams AI responses back to the App UX. Reads from and writes to Cosmos DB to manage chat history. Azure OpenAI Service: This is the core AI service, processing the user input and generating responses using models like GPT-4o. The App Service sends the user input (along with context) to this service and receives the AI-generated responses. Cosmos DB: A NoSQL database used to store and manage chat history. Operations: Writes user messages and AI-generated responses for future reference or analysis. Reads chat history to provide context for AI responses, enabling more intelligent and contextual conversations. Data Flow: User inputs are sent from the App UX to the App Service. The App Service forwards the input (with additional context, if needed) to Azure OpenAI. Azure OpenAI generates a response, which is streamed back to the App UX via the App Service. The App Service writes user inputs and AI responses to Cosmos DB for persistence. This architecture ensures scalability, secure data handling, and the ability to provide contextual responses by integrating database and AI services. What can you do with my template? AOAIchat supports personal, enterprise chat enabled by RAG People can enable RAG mode if they want to search within their database, else it behaves like normal ChatGPT. It supports multimodality, (supports image, text input) also depends on model deployed in Azure AI foundry. Step 3: Deploy to Azure Deploy a Cosmos DB account in nearest region Deploy Azure OpenAI model (gpt-4o, gpt-4o-mini recommended) Deploy Azure App service, try using container I would recommend B1plan to your nearest region, select docker registry sourabhkv/aoaichatdb:0.1 startup command uvicorn app:app --host 0.0.0.0 --port 80 After app service starts, put all environment variables The application requires the following environment variables to be set for proper configuration: Environment Variable Description AZURE_OPENAI_ENDPOINT The endpoint for Azure OpenAI API. AZURE_OPENAI_API_KEY API key for accessing Azure OpenAI. DEPLOYMENT_NAME Azure OpenAI deployment name. API_VERSION API version for Azure OpenAI. MAX_TOKENS Maximum tokens for API responses. MONGO_DETAILS MongoDB connection string. AZURE_OPENAI_ENDPOINT=<your_azure_openai_endpoint> AZURE_OPENAI_API_KEY=<your_azure_openai_api_key> DEPLOYMENT_NAME=<your_deployment_name> API_VERSION=<your_api_version> MAX_TOKENS=<max_tokens> MONGO_DETAILS=<your_mongo_connection_string> Optional feature: implement authentication to secure access. Within app service select Authentication and select service providers. I went with Entra based authentication with single tenant. There is option of multi-tenant, personal accounts as well. Restart App service and within 2 minutes your private ChatGPT is ready. Pricing Pricing may depend on the plan you have deployed resources and region. Check Azure calculator for price estimation. My estimate for pricing I deployed all my resources in Sweden central Cosmos DB config - Cosmos DB for MongoDB (RU) serverless config with single write master, 2 GB transactional storage, 2 backup plan (FREE) ~ 0.75$ Azure OpenAI service - plan S0, model gpt-4o-mini global deployment, Input 20000 tokens, Output 10000 tokens ~ 9.00$ App service plan - OS Linux, Tier B1, instance count 1 ~13.14$ Total monthly cost = 22.89$ This price may vary in future, in region I calculated my configuration in Azure calculator Governance Azure OpenAI provides content filters to block any kind of input that violates responsible AI practices. Categories include Hate and Fairness Sexual Violence Self-harm User Prompt Attacks (direct and indirect) The content filtering system detects and takes action on specific categories of potentially harmful content in both input prompts and output completions. Azure OpenAI Service includes default safety settings applied to all models set as medium. Content filters can be modified to different level depending on use case. It supports RAG, I have provided detailed solution for it in my GitHub. Practical implementation GE Aerospace, in partnership with Microsoft and Accenture, has launched a company-wide generative AI platform, leveraging Microsoft Azure and Azure OpenAI Service. This solution aims to transform asset tracking and compliance in aviation, enabling quick access to maintenance records and reducing manual processing time from days to minutes. It supports informed decision-making by providing insights into aircraft leasing, compliance gaps, and asset health. For enterprises implementing private ChatGPT solutions, this illustrates the potential of generative AI for streamlining document-intensive processes while ensuring data security and compliance through cloud-based infrastructure like Azure. GE Aerospace Launches Company-wide Generative AI Platform for Employees | GE Aerospace News Build your own private ChatGPT style app with enterprise-ready architecture - By Microsoft Mechanics How to make private ChatGPT for FREE? It can be FREE if all of the setup is running locally on your hardware. Cosmos DB <-> MongoDB. Azure OpenAI <->Ollama/LM studioRefer this NOTE : I have usedgpt-4o,gpt-4o-minithese values are hardcoded in webpage, if you are using other models, you might have to change them inindex.html. App Service <-> Local machine Register for Github models to access API for FREE. Note: GitHub models have rate limit for different models. Useful links sourabhkv/AOAIchat: Azure OpenAI chat What is RAG? Get started with Azure OpenAI API Chat with Azure OpenAI models using your own dataGitHub Copilot Bootcamp — Inscrições abertas
O GitHub Copilot Bootcamp é uma série de quatro aulas ao vivo em português, que ensina dicas e boas práticas para usar o GitHub Copilot. Aprenda a criar soluções rápidas, automatizar tarefas repetitivas e colaborar eficazmente em projetos. INSCREVA-SE AGORA! Por que participar? O GitHub Copilot não é apenas uma ferramenta de sugestão de código, mas sim um parceiro de programação que compreende suas necessidades e acelera seu trabalho. Participando do bootcamp, você terá a oportunidade de: Dominar a criação de prompts eficazes; Aprender a desenvolver aplicações web utilizando IA; Descobrir como automatizar testes e gerar documentação; Explorar práticas de colaboração e implantação automatizada. Cronograma de aulas 📅04 de fevereiro de 2025 – 19 horas (Horário de Brasília) Engenharia de Prompts com o GitHub Copilot Aprenda como o Copilot funciona e domine a IA responsável para aumentar sua produtividade. 📅 06 de fevereiro de 2025 – 19 horas (Horário de Brasília) Construindo uma Aplicação Web de IA com Python e Flask Crie projetos incríveis com a integração de IA e explore o uso do Copilot para simplificar tarefas. 📅 11 de fevereiro de 2025 – 19 horas (Horário de Brasília) Crie Testes Unitários e Documentação com GitHub Copilot Automatize a documentação e desenvolva testes com eficiência, aplicando conceitos diretamente em projetos reais. 📅13 de fevereiro de 2025 – 19 horas (Horário de Brasília) Colaboração e deploy com o GitHub Copilot Saiba como criar GitHub Actions, gerenciar solicitações de pull e usar o Copilot for Azure para implantação. Quem pode participar? Se você é desenvolvedor, estudante ou entusiasta de tecnologia, este bootcamp é para você. As aulas foram projetadas para atender tanto iniciantes quanto profissionais experientes. Como se inscrever? Garanta sua vaga agora e comece sua jornada para dominar o GitHub Copilot! 👉 Inscreva-se aquiGitHub Copilot chega na sua versão preferida – gratuito para toda comunidade!
Há dois anos, o GitHub Copilot revolucionou a produtividade dos desenvolvedores com o poder da Inteligência Artificial. Hoje, estamos entusiasmados em anunciar que mais 30 milhões de pessoas ao redor do mundo podem usar o GitHub Copilot GRATUITAMENTE no Visual Studio Code. Tudo o que você precisa é de uma conta no GitHub. Sem períodos de teste, sem necessidade de cartão de crédito. Comece a usar o GitHub Copilot hoje, gratuitamente Ao abrir o Visual Studio Code, você encontrará a opção de utilizar o GitHub Copilot gratuito. E com isso, você e toda a comunidade de usuários do Visual Studio Code podem acessar a ferramenta de produtividade mais incrível, totalmente gratuita. O que você ganha com este nível gratuito? 2000 Auto completes de Código (Por Mês) Auto complete de código: Sempre que o Copilot sugerir código no seu editor enquanto você estiver digitando. 50 requisições de chat (Por Mês) Requisições de Chat: Qualquer coisa que não seja uma conclusão de código. Isso inclui Chat, Chat Inline, geração de mensagens de commit, etc. Acesso aos modelos GPT-4 e Claude Janela de Contexto: 64 mil hoje, com 128 mil sendo lançados em breve Projetamos essas atribuições para serem generosas o suficiente para cobrir a maioria dos usuários individuais e projetos pessoais. Se você precisar de mais, o plano individual é ilimitado e ainda custa apenas US$ 10 por mês. Além disso, você obtém algumas capacidades extras, como a opção de usar os modelos o1 ou Gemini. Visual Studio Code e GitHub Copilot Se você nunca usou o GitHub Copilot, ou se o testou há algum tempo, muita coisa mudou nos últimos dois anos. Vamos fazer um rápido resumo de como o GitHub Copilot começou e o que ele pode fazer por você hoje, gratuitamente. O Visual Studio Code nasceu com a missão de ser um editor completo, portátil e com foco na web, encontrando seu lugar como o editor mais popular do mundo graças à comunidade. O GitHub Copilot foi lançado em junho de 2021, fruto do trabalho conjunto da Microsoft, GitHub e OpenAI, oferecendo sugestões de código revolucionárias. Com a chegada do ChatGPT, ficou claro que a IA abria oportunidades impensáveis. Decidimos integrar a IA como um pilar central da experiência no VS Code. Hoje, a IA é um princípio fundamental no design e evolução do editor. A experiência de IA no Visual Studio Code O VS Code entende seu projeto, e o GitHub Copilot também. O GitHub Copilot conhece seu repositório sem precisar enviá-lo para outro lugar e capta até mesmo suas mudanças não confirmadas. Você pode ativar o contexto de todo o seu projeto com "@workspace" e escolher seu modelo (Claude, 4o gratuito; o1, Gemini no plano pago). Oferecemos chat, chat inline, integração com o terminal, modo "Copilot Edits" para criar e modificar arquivos, suporte por voz, instruções personalizadas, ações orientadas a tarefas (como mensagens de commit e sugestões de nomes) e total extensibilidade para integração com outras extensões. Isso torna o Visual Studio Code uma plataforma de programação assistida por IA completa. E o Visual Studio? 🤔 O GitHub Copilot não é exclusivo do Visual Studio Code. Se você usa o Visual Studio, também terá uma oferta gratuita. Consulte o blog da equipe do Visual Studio para mais detalhes sobre as funcionalidades atuais e as novidades que estão por vir. Reinventando a experiência para developers O GitHub Copilot está em constante evolução e, mensalmente, lançamos uma nova versão do Visual Studio Code, trazendo melhorias significativas para o GitHub Copilot. Fique por dentro das novidades nos seguindo no X ou Bluesky, ou verifique as notas de versão quando o Visual Studio Code solicitar uma atualização. 2025 será um ano enorme para o GitHub Copilot, agora parte central da experiência no Visual Studio Code. Junte-se a nós nesta jornada para redefinir, mais uma vez, como escrevemos código. Comece a usar o GitHub Copilot hoje, gratuitamenteLondon Reactor Meetup December 2024
Hey everyone! Thanks for joining the London Reactor Meetup today. Here you can find the resources that have been shared during the meetup and the speakers contact details. Resources Ignite 2024 Book of News AI at Ignite 2024 GitHub repository Azure AI Foundry Azure OpenAI Docs GitHub Copilot Code Review Waitlist! Upcoming You can find all upcoming Reactor eventsHERE Speaker contact and resources: Tim Rogers, Staff Product Manager @ GitHub LinkedIn Michael Man, Founder @ AI Security Collective LinkedIn Chris Noring. Senior Cloud Advocate @ Microsoft LinkedIn Liam Hampton, Senior Cloud Advocate @ Microsoft LinkedInTiny But Mighty: Unleashing the Power of Small Language Models 🚀
While Large Language Models (LLMs) like GPT-4 dominate headlines with their extensive capabilities, they often come at the cost of high computational requirements and complexity. For developers and organizations looking to implement AI solutions on edge devices or with limited resources, Small Language Models (SLMs) are emerging as a practical alternative. SLMs are not just "smaller" versions of their larger counterparts—they're designed to be faster, more efficient, and adaptable for specific tasks. With fewer parameters and lower computational needs, SLMs open the door to deploying AI on mobile devices, IoT systems, and edge environments without compromising performance. What You Stand to Learn 🧠 Introduction to Microsoft's AI Ecosystem Discover Microsoft's end-to-end AI development tools, from Azure AI Services to ONNX Runtime, enabling efficient and secure deployment of AI models across cloud and edge environments. The Advantages of SLMs over LLMs SLMs are game-changers for edge AI applications, providing faster training and inference times, reduced energy costs, and scalability across diverse devices. Hands-On with Phi-3 and ONNX Runtime Experience live demonstrations of SLMs in action with tools like Phi-3 and ONNX Runtime, showcasing how to fine-tune and deploy models on mobile devices, IoT, and hybrid cloud environments. Responsible AI Practices Understand how to safeguard your AI applications with Microsoft's Responsible AI toolkit, ensuring ethical and trustworthy deployments. Watch the Full Session 👨💻 📅 Date: December 12, 2024 ⏰ Time: 4 PM GMT | 5 PM CEST | 8 AM PT | 11 AM ET | 7 PM EAT A session packed with live demos, practical examples, and Q&A opportunities. Register NOW | Events | Microsoft Reactor Agenda 🔍 Introduction (5 min) A brief overview of the session and its focus on SLMs and LLMs. Microsoft AI Tooling (5 min) Explore the latest tools like Azure AI Services, Azure Machine Learning, and Responsible AI Tooling. How to Choose the Right Model (10 min) Key considerations such as performance, customizability, and ethical implications. Comparing SLMs vs LLMs (10 min) The strengths, weaknesses, and best use cases for both Small and Large Language Models. Deploying Models at the Edge (10 min) Insights into optimizing AI for mobile, IoT, and edge devices. Q&A Addressing participant questions about AI development and deployment.Curso de introdução a Inteligência Artificial com a Certificação AI-900
A inteligência artificial (IA) está transformando o mundo em que vivemos, criando novas oportunidades e redefinindo o futuro do trabalho. Se você está curioso sobre como essa tecnologia funciona ou deseja explorar uma carreira na área, o curso online e gratuito AI-900 – Fundamentos de IA no Azure é o ponto de partida ideal! A inteligência artificial não é mais uma tecnologia do futuro; ela já faz parte do presente e está moldando o mundo em que vivemos. Dominar seus fundamentos não apenas amplia suas habilidades profissionais, mas também abre portas para novas oportunidades em áreas como análise de dados, desenvolvimento de software, automação e muito mais. Por que começar com o AI-900? O curso foi projetado para oferecer uma introdução prática e acessível ao universo da IA, ideal para quem deseja entender os conceitos fundamentais e começar a aplicar a tecnologia no dia a dia. Com 16 videoaulas curtas, você pode aprender no seu próprio ritmo, aproveitando conteúdos desenvolvidos por especialistas que compreendem as demandas do mercado atual. O que você vai aprender? 📚 Fundamentos de Inteligência Artificial Descubra o que é IA, suas aplicações no mundo real e os conceitos básicos que sustentam essa tecnologia revolucionária. 🌐 Serviços de IA no Azure Explore as ferramentas e os serviços oferecidos pela Microsoft Azure para implementar soluções inteligentes, desde o reconhecimento de imagens até a análise de texto. 🤖 Aplicações práticas de IA Aprenda como a IA pode ser aplicada a problemas do mundo real, ajudando a melhorar processos, criar experiências inovadoras e resolver desafios complexos. Como começar? 🎥 Confira a playlist completa com as aulas da trilha AI-900: Link para as aulas 💡 Dedique-se ao aprendizado e prepare-se para transformar sua carreira com a inteligência artificial! Quer aprofundar seus conhecimentos? Inscreva-se na #SprintAI900! Após completar o curso, você estará preparado para dar o próximo passo: conquistar a certificação oficial AI-900 da Microsoft. Essa certificação é um diferencial importante para quem busca se destacar no mercado de tecnologia, seja na entrada em novas oportunidades ou no fortalecimento da carreira atual. Após dominar os fundamentos com o curso introdutório, você estará preparado para avançar ao próximo nível. Pensando nisso, desenvolvemos um curso preparatório abrangente, que combina conceitos detalhados, exercícios práticos e simulações da prova de certificação em cada capítulo, garantindo uma preparação sólida e direcionada. Confira aqui:Curso AI-900 com simulado de exame. Junte-se a nós nesta jornada! Se você está pronto para explorar o universo da IA, não há melhor momento para começar do que agora. Acesse o curso, absorva o conhecimento e prepare-se para um futuro repleto de oportunidades. Vamos juntos nessa jornada rumo ao conhecimento e à inovação!
