No es genial, pero no está mal, ¿verdad?
Los trabajadores están experimentando con ChatGPT para tareas como escribir correos electrónicos, producir código o incluso completar una revisión de fin de año. El bot utiliza datos de Internet, libros y Wikipedia para producir respuestas conversacionales. Pero la tecnología no es perfecta. Nuestras pruebas encontraron que a veces ofrece respuestas que potencialmente incluyen plagio, se contradicen a sí mismas, son objetivamente incorrectas o tienen errores gramaticales, por nombrar algunas, todo lo cual podría ser problemático en el trabajo.
ChatGPT es básicamente un sistema de texto predictivo, similar pero mejor que los integrados en las aplicaciones de mensajería de texto en su teléfono, dice Jacob Andreas, profesor asistente en el Laboratorio de Ciencias de la Computación e Inteligencia Artificial del MIT que estudia el procesamiento del lenguaje natural. Mientras que a menudo produce respuestas que suenan bienel contenido puede tener algunos problemas, dijo.
“Si observa algunos de estos ensayos realmente largos generados por ChatGPT, es muy fácil ver lugares donde se contradice”, dijo. «Cuando le pides que genere código, en su mayoría es correcto, pero a menudo hay errores».
Queríamos saber qué tan bien ChatGPT podría manejar las tareas diarias de la oficina. Esto es lo que encontramos después de las pruebas en cinco categorías.
Solicitamos a ChatGPT que responda a varios tipos diferentes de mensajes entrantes.
En la mayoría de los casos, la IA produjo respuestas relativamente adecuadas, aunque la mayoría eran prolijas. Por ejemplo, cuando le respondí a un colega en Slack que me preguntaba cómo iba mi día, fue repetitivo: “@[Colleague], ¡Gracias por preguntar! Mi día va bien, gracias por preguntar.”
El bot solía dejar frases entre paréntesis cuando no estaba seguro de a qué oa quién se refería. También asumió detalles que no estaban incluidos en el aviso, lo que condujo a algunas declaraciones incorrectas sobre mi trabajo.
En un caso, dijo que no podía completar la tarea, diciendo que no «tiene la capacidad de recibir correos electrónicos y responderlos». Pero cuando se le solicitó una solicitud más genérica, produjo una respuesta.
Sorprendentemente, ChatGPT pudo generar sarcasmo cuando se le pidió que respondiera a un colega que le preguntó si Big Tech está haciendo un buen trabajo.
Una forma en que las personas utilizan la IA generativa es generar nuevas ideas. Pero los expertos advierten que las personas deben tener cuidado si usan ChatGPT para esto en el trabajo.
“No entendemos hasta qué punto es solo plagio”, dijo Andreas.
La posibilidad de plagio fue clara cuando solicitamos a ChatGPT que desarrollara ideas para historias en mi ritmo. Un lanzamiento, en particular, fue para una idea de historia y un ángulo que ya había cubierto. Aunque no está claro si el chatbot se basó en mis historias anteriores, a otros les gustó o simplemente generó una idea basada en otros datos en Internet, el hecho es que la idea no era nueva.
“Suena bien como humano, pero el contenido real y las ideas tienden a ser bien conocidas”, dijo Hatim Rahman, profesor asistente en la Escuela de Administración Kellogg de la Universidad Northwestern que estudia el impacto de la inteligencia artificial en el trabajo. “No son ideas novedosas”.
Otra idea estaba desactualizada, explorando una historia que sería objetivamente incorrecta hoy. ChatGPT dice que tiene «conocimiento limitado» de cualquier cosa después del año 2021.
Proporcionar más detalles en el aviso condujo a ideas más enfocadas. Sin embargo, cuando le pedí a ChatGPT que escribiera algunos titulares «extravagantes» o «divertidos», los resultados fueron vergonzosos y algo sin sentido.
Navegando conversaciones difíciles
¿Alguna vez ha tenido un compañero de trabajo que habla demasiado alto mientras intenta trabajar? ¿Quizás su jefe organiza demasiadas reuniones, recortando su tiempo de concentración?
Probamos ChatGPT para ver si podía ayudar a navegar situaciones laborales difíciles como estas. En su mayor parte, ChatGPT produjo respuestas adecuadas que podrían servir como excelentes puntos de partida para los trabajadores. Sin embargo, a menudo eran un poco prolijos, formulistas y, en un caso, una completa contradicción.
“Estos modelos no entienden nada”, dijo Rahman. «La tecnología subyacente analiza las correlaciones estadísticas… Así que le dará respuestas formuladas».
Un memorando de despido que produjo podría mantenerse fácilmente y, en algunos casos, funcionar mejor que los avisos que las empresas han enviado en los últimos años. Sin previo aviso, el bot citó «el clima económico actual y el impacto de la pandemia» como razones de los despidos y comunicó que la empresa entendía «lo difícil que puede ser esta noticia para todos». Sugirió que los trabajadores despedidos tendrían apoyo y recursos y, como se le indicó, motivó al equipo diciendo que “saldrían de esto más fuertes”.
Al manejar conversaciones difíciles con colegas, el bot los saludó, abordó el problema con delicadeza y suavizó la entrega diciendo «Entiendo» la intención de la persona y finalizó la nota con una solicitud de comentarios o discusión adicional.
Pero en un caso, cuando se le pidió que le dijera a un colega que bajara la voz en las llamadas telefónicas, no entendió completamente la indicación.
También probamos si ChatGPT podría generar actualizaciones del equipo si le proporcionamos puntos clave que debían comunicarse.
Nuestras pruebas iniciales una vez más produjeron respuestas adecuadas, aunque eran fórmulas y algo monótonas. Sin embargo, cuando especificamos un tono «emocionado», la redacción se volvió más informal e incluyó signos de exclamación. Pero cada nota sonaba muy similar incluso después de cambiar el mensaje
“Es tanto la estructura de la oración como la conexión de las ideas”, dijo Rahman. «Es muy lógico y formulado… se parece a un ensayo de la escuela secundaria».
Como antes, hizo suposiciones cuando carecía de la información necesaria. Se volvió problemático cuando no sabía qué pronombres usar para mi colega, un error que podría indicarles a los colegas que yo no escribí el memorándum o que no conozco muy bien a los miembros de mi equipo.
Escribir informes de autoevaluación al final del año puede causar temor y ansiedad para algunos, lo que resulta en una revisión que se vende por debajo de lo esperado.
Alimentar los logros claros de ChatGPT, incluidos los puntos de datos clave, me llevó a una revisión muy favorable de mí mismo. El primer intento fue problemático, ya que el aviso inicial pedía una autoevaluación para «Danielle Abril» en lugar de «yo». Esto llevó a una revisión en tercera persona que sonaba como si viniera de Elmo de Barrio Sésamo.
Cambiar el aviso para pedir una revisión de «yo» y «mis» logros llevó a frases de elogio como «Demostré consistentemente una gran habilidad», «Siempre estoy dispuesto a hacer un esfuerzo adicional», «He sido un activo para el equipo” y “Estoy orgulloso de las contribuciones que he hecho”. También incluyó un guiño al futuro: “Estoy seguro de que seguiré haciendo contribuciones valiosas”.
Algunos de los aspectos más destacados fueron un poco genéricos, pero en general, fue una revisión radiante que podría servir como una buena rúbrica. El bot produjo resultados similares cuando se le pidió que escribiera cartas de presentación. Sin embargo, ChatGPT tuvo un error importante: asumió incorrectamente el título de mi trabajo.
Entonces, ¿ChatGPT fue útil para tareas de trabajo comunes?
Ayudó, pero a veces sus errores causaron más trabajo que hacer la tarea manualmente.
ChatGPT sirvió como un excelente punto de partida en la mayoría de los casos, brindando una palabrería útil e ideas iniciales. Pero también produjo respuestas con errores, información objetivamente incorrecta, exceso de palabras, plagio y falta de comunicación.
“Puedo ver que es útil… pero solo en la medida en que el usuario esté dispuesto a verificar la salida”, dijo Andreas. «No es lo suficientemente bueno como para dejarlo fuera de los rieles y enviar correos electrónicos a sus colegas».