En nuestro artículo anterior, demostramos cómo crear un chatbot de IA con la API ChatGPT y asignarle un rol para personalizarlo. Pero, ¿qué sucede si desea entrenar a la IA con sus propios datos? Por ejemplo, puede tener un libro, datos financieros o un gran conjunto de bases de datos y desea buscarlos con facilidad. En este artículo, le brindamos un tutorial fácil de seguir sobre cómo entrenar un chatbot de IA con su base de conocimiento personalizada con LangChain y la API ChatGPT. Estamos implementando LangChain, GPT Index y otras bibliotecas potentes para entrenar al chatbot de IA utilizando el modelo de lenguaje grande (LLM) de OpenAI. Entonces, en ese sentido, veamos cómo entrenar y crear un chatbot de IA utilizando su propio conjunto de datos.
Puntos importantes antes de entrenar a la IA con sus propios datos
1. Puedes entrenar al chatbot de IA en cualquier plataforma, ya sea Windows, macOS, Linux o ChromeOSEn este artículo, uso Windows 11, pero los pasos son casi idénticos para otras plataformas.
2. La guía es Destinado a usuarios generalesy las instrucciones se explican en un lenguaje sencillo. Por lo tanto, incluso si tienes un conocimiento superficial de computadoras y no sabes cómo codificar, puedes entrenar y crear fácilmente un chatbot de IA de preguntas y respuestas en unos minutos. Si leíste nuestro artículo anterior sobre el bot ChatGPT, será aún más fácil entender el proceso.
3. Dado que vamos a entrenar un Chatbot de IA en función de nuestros propios datos, se recomienda Utilice una computadora capaz con una buena CPU y GPU. Sin embargo, puedes usar cualquier computadora de gama baja para realizar pruebas y funcionará sin problemas. Usé una Chromebook para entrenar el modelo de IA usando un libro con 100 páginas (~100 MB). Sin embargo, si quieres entrenar un gran conjunto de datos que se extienda a miles de páginas, se recomienda enfáticamente usar una computadora potente.
4. Finalmente, el conjunto de datos Debería estar en inglés para obtener los mejores resultados, pero según OpenAI, también funcionará con idiomas internacionales populares como francés, español, alemán, etc. Así que adelante, pruébelo en su propio idioma.
Configurar el entorno de software para entrenar un chatbot de IA
Instalar Python y Pip
1. En primer lugar, debe instalar Python junto con Pip en su computadora siguiendo nuestra guía vinculada. Asegúrese de habilitar la casilla de verificación «Agregar Python.exe a PATH» durante la instalación.
2. Para comprobar si Python está instalado correctamenteabre la Terminal en tu computadora. Una vez allí, ejecuta los siguientes comandos uno por uno y te mostrará el número de versión. En Linux y macOS, tendrás que usar python3 en lugar de python a partir de ahora.
python –versión pip –versión
3. Ejecute el siguiente comando para actualizar Pip A la última versión.
python -m pip instalación -U pip
Instalar las bibliotecas OpenAI, GPT Index, PyPDF2 y Gradio
1. Abra la terminal y ejecute el siguiente comando para instalar la biblioteca OpenAI.
pip instala openai
2. A continuación, vamos a Instalar índice GPT.
instalación de pip gpt_index==0.4.24
3. Ahora, Instalar Langchain ejecutando el siguiente comando.
instalación de pip langchain==0.0.148
4. Después de eso, instalar PyPDF2 y PyCryptodome para analizar archivos PDF.
pip instalar PyPDF2 pip instalar PyCryptodome
5. Por último, instalar la biblioteca GradioEsto está destinado a crear una interfaz de usuario sencilla para interactuar con el chatbot de IA entrenado.
pip instala gradio
Descargar un editor de código
Por último, necesitamos un editor de código para editar parte del código. En Windows, recomendaría Bloc de notas++ (Descargar). Simplemente descargue e instale el programa a través del enlace adjunto. También puede usar VS Code en cualquier plataforma si se siente cómodo con IDE potentes. Además de VS Code, puede instalar Sublime Text (Descargar) en macOS y Linux.
Para ChromeOS, puedes utilizar el excelente Signo de intercalación aplicación (Descargar) para editar el código. Ya casi hemos terminado de configurar el entorno de software y es hora de obtener la clave API de OpenAI.
Obtenga la clave API de OpenAI gratis
1. Dirígete al sitio web de OpenAI (visita) e inicie sesión. A continuación, haga clic en “Crear nueva clave secreta” y copia la clave API. Ten en cuenta que no puedes copiar ni ver la clave API completa más adelante. Por lo tanto, se recomienda copiar y pegar la clave API en un archivo del Bloc de notas para usarla más adelante.
2. A continuación, vaya a plataforma.openai.com/account/usage y Comprueba si te queda suficiente créditoSi ha agotado todo su crédito gratuito, deberá agregar un método de pago a su cuenta OpenAI.
Entrene y cree un chatbot de IA con una base de conocimiento personalizada
Agregue sus documentos para entrenar al chatbot de IA
1. Primero, Crea una nueva carpeta llamada docs En una ubicación accesible como el escritorio. También puede elegir otra ubicación según sus preferencias. Sin embargo, mantenga el nombre de la carpeta docs.
2. A continuación, mueva los documentos para la capacitación dentro de la carpeta “docs”. Puede Agregar varios archivos de texto o PDF (incluso las escaneadas). Si tienes una tabla grande en Excel, puedes importarla como archivo CSV o PDF y luego agregarla a la carpeta “docs”. También puedes agregar archivos de base de datos SQL, como se explica en este artículo. Tweet de Langchain AINo he probado muchos formatos de archivo además de los mencionados, pero puedes agregarlos y verificarlos por tu cuenta. Para este artículo, agrego uno de mis artículos sobre NFT en formato PDF.
Nota: Si tienes un documento grande, el procesamiento de los datos llevará más tiempo, dependiendo de tu CPU y GPU. Además, utilizará rápidamente tus tokens OpenAI gratuitos. Por lo tanto, al principio, comienza con un documento pequeño (30-50 páginas o archivos de menos de 100 MB) para comprender el proceso.
Prepare el código
1. Ahora, abra un editor de código como Sublime Text o lanzamiento Bloc de notas++ y pegue el código a continuación. Una vez más, he recibido una gran ayuda de brazos en Google Colab y modifiqué el código para hacerlo compatible con archivos PDF y crear una interfaz Gradio encima.
desde gpt_index importar SimpleDirectoryReader, GPTListIndex, GPTSimpleVectorIndex, LLMPredictor, PromptHelper desde langchain.chat_models importar ChatOpenAI importar gradio como gr importar sys importar os os.environ[«OPENAI_API_KEY»] = ‘Su clave API’ def construct_index(ruta_directorio): tamaño_máximo_de_entrada = 4096 número_de_salidas = 512 superposición_máxima_de_fragmentos = 20 límite_de_tamaño_de_fragmentos = 600 prompt_helper = PromptHelper(tamaño_máximo_de_entrada, número_de_salidas, superposición_máxima_de_fragmentos, límite_de_tamaño_de_fragmentos=límite_de_tamaño_de_fragmentos) llm_predictor = LLMPredictor(llm=ChatOpenAI(temperatura=0.7, nombre_del_modelo=»gpt-3.5-turbo», tokens_máx=número_de_salidas)) documentos = SimpleDirectoryReader(ruta_directorio).load_data() índice = GPTSimpleVectorIndex(documentos, llm_predictor=llm_predictor, prompt_helper=prompt_helper) índice.guardar_en_disco(‘índice.json’) devolver índice def chatbot(texto_de_entrada): índice = GPTSimpleVectorIndex.load_from_disk(‘index.json’) respuesta = índice.consulta(texto_de_entrada, modo_de_respuesta=»compacto») devolver respuesta.respuesta iface = gr.Interface(fn=chatbot, entradas=gr.componentes.Textbox(líneas=7, etiqueta=»Ingrese su texto»), salidas=»texto», título=»Chatbot de IA entrenado a medida») índice = construct_index(«docs») iface.launch(share=True)
2. A continuación, haga clic en “Archivo” en el menú superior y seleccione “Guardar como…”. Después de eso, configure el nombre del archivo aplicación.py y cambie “Guardar como tipo” a “Todos los tipos”. Luego, guarda el archivo en la ubicación donde creaste la carpeta “docs” (en mi caso, es el Escritorio).
3. Asegúrese de que la carpeta “docs” y “app.py” estén en el misma ubicacióncomo se muestra en la captura de pantalla a continuación. El archivo “app.py” estará fuera de la carpeta “docs” y no dentro.
4. Vuelva al código nuevamente en Notepad++. Aquí, reemplace Su clave API con el que generaste arriba en el sitio web de OpenAI.
5. Por último, presione “Ctrl + S” para guardar el código. Ahora está listo para ejecutar el código.
Cree un bot de inteligencia artificial de ChatGPT con una base de conocimiento personalizada
1. Primero, abra la Terminal y ejecute el siguiente comando para mover al escritorioEs donde guardé la carpeta “docs” y el archivo “app.py”.
cd de escritorio
2. Ahora, ejecute el siguiente comando.
aplicación python.py
3. Lo hará comenzar a indexar el documento utilizando el modelo LLM de OpenAI. Dependiendo del tamaño del archivo, el procesamiento del documento llevará algún tiempo. Una vez que esté listo, aparecerá un mensaje de error.índice.jsonEl archivo ” se creará en el escritorio. Si la terminal no muestra ningún resultado, no se preocupe, es posible que aún esté procesando los datos. Para su información, Se necesitan aproximadamente 10 segundos para procesar un documento de 30 MB.
4. Una vez que el LLM haya procesado los datos, encontrará una URL localCopialo.
5. Ahora, pega la URL copiada en el navegador web y listo. Tu chatbot de IA personalizado con tecnología ChatGPT está listo. Para comenzar, puedes preguntarle al chatbot de IA De qué trata el documento.
6. Puedes hacer más preguntas y el bot de ChatGPT te responderá. Responda a partir de los datos que nos proporcionó A la IA. Así es como puedes crear un chatbot de IA personalizado y entrenado con tu propio conjunto de datos. Ahora puedes entrenar y crear un chatbot de IA basado en cualquier tipo de información que desees.
Gestionar el chatbot de IA personalizado
1. Puedes copiar el URL pública y compártelo con tus amigos y familiares. El enlace estará activo durante 72 horas, pero también debes mantener tu computadora encendida ya que la instancia del servidor se está ejecutando en tu computadora.
2. A Detener el chatbot de IA personalizadopresione “Ctrl + C” en la ventana de Terminal. Si no funciona, presione “Ctrl + C” nuevamente.
3. A Reiniciar el chatbot de IA servidor, simplemente vuelva a la ubicación del escritorio y ejecute el siguiente comando. Tenga en cuenta que la URL local será la misma, pero la URL pública cambiará después de cada reinicio del servidor.
aplicación python.py
4. Si quieres entrenar al chatbot de IA con nuevos datoselimine los archivos dentro de la carpeta “docs” y agregue otros nuevos. También puede agregar varios archivos, pero asegúrese de agregar datos limpios para obtener una respuesta coherente.
5. Ahora, ejecuta el código nuevamente en la Terminal y se creará un nuevo archivo “index.json”. Aquí, el archivo “index.json” anterior se reemplazará automáticamente.
aplicación python.py
6. Para realizar un seguimiento de sus tokens, diríjase al sitio web en línea de OpenAI. panel y comprobar cuánto crédito libre queda.
7. Por último, no es necesario toca el código a menos que desee cambiar la clave API o el modelo OpenAI para una mayor personalización.
Apoya nuestro trabajo ❤️
Si te ha gustado este artículo, considera dejar una propina para ayudarnos a seguir publicando contenido de calidad.
