Investigating the Limitations of AI Writing Tools ChatGPT and QuillBot in Students’ Academic Writing: The Case of Third-Year LMD Students of English at the University of Souk-Ahras

Abstract

Abstract This study aims to evaluate and compare two AI writing tools, ChatGPT and QuillBot, as educational tools within the context of English as a Foreign Language (EFL). The research seeks to identify the limitations of these tools in terms of coherence, cohesion, originality (authorial voice), and critical thinking while assisting students in their academic writing. The objective is to examine the issues that may persist in students’ writing after using these tools, and to compare ChatGPT and QuillBot in order to highlight the differences in their limitations. The research questions investigate the extent to which ChatGPT and QuillBot effectively support students in improving the organization, clarity, coherence, and flow of their academic writing while preserving their authorial voice. The study also examines the limitations these tools present in supporting students’ academic writing development. Furthermore, the study explores students’ attitudes and perceptions towards these AI tools, with particular attention to how they perceive their limitations. The study hypothesizes that ChatGPT and QuillBot exhibit significant limitations in supporting students’ academic writing, especially in maintaining clarity, ensuring logical flow, organization, and developing ideas effectively. It is also hypothesized that the use of these tools may influence students’ original ideas and reduce the human element in their writing. Quantitative and qualitative methods, including a survey (pilot study), a comparative experiment using a within-subjects approach, and a focus group discussion, are conducted among third-year English students at Mohamed Cherif Messaadia University. This study provides an opportunity to better understand the limitations of AI writing tools and their impact on students’ writing performance. Depending on the findings, the study offers practical suggestions and recommendations for both educators and learners regarding the effective and responsible integration of AI tools in EFL classrooms. ----------------------- الملخص تهدف هذه الدراسة إلى تقييم ومقارنة أداتين للكتابة بالذكاء الاصطناعي، وهما ChatGPT وQuillBot، كأدوات تعليمية في سياق اللغة الإنجليزية كلغة أجنبية .(EFL) وتسعى الدراسة إلى تحديد حدود هذه الأدوات من حيث الترابط والانسجام والأصالة والتفكير النقدي أثناء استخدامها في الكتابة الأكاديمية للطلبة. ويتمثل الهدف في تحليل المشكلات التي قد تستمر في كتابات الطلبة بعد استخدام هذه الأدوات، وكذلك مقارنة ChatGPT وQuillBot من أجل إبراز الفروقات في حدود كل منهما. تتناول أسئلة البحث مدى محدودية ChatGPT وQuillBot في دعم الكتابة الأكاديمية لدى الطلبة، بالإضافة إلى مدى فعاليتهما في تنظيم الأفكار، وتحسين بناء الفقرات، وتعزيز الوضوح والانسجام. كما تستكشف الدراسة مواقف وآراء الطلبة تجاه هذه الأدوات، مع التركيز على كيفية إدراكهم لحدودها. تفترض الدراسة أن ChatGPT و QuillBot يواجهان حدودًا واضحة في دعم الكتابة الأكاديمية، خاصة فيما يتعلق بالحفاظ على الوضوح، وضمان التسلسل المنطقي، وتطوير الأفكار بشكل فعال. كما تفترض أن استخدام هذه الأدوات قد يؤثر على الأفكار الأصلية للطلبة ويقلل من الجانب الإنساني في كتاباتهم. تعتمد الدراسة على منهجين كمي ونوعي، من خلال استخدام استبيان (دراسة استطلاعية)، وتجربة مقارنة، ومناقشة جماعية، وقد أُجريت على طلبة السنة الثالثة تخصص لغة إنجليزية بجامعة محمد الشريف مساعدية. وتوفر هذه الدراسة فرصة لفهم أفضل لحدود أدوات الكتابة بالذكاء الاصطناعي وتأثيرها على أداء الطلبة في الكتابة. وبناءً على النتائج، يمكن تقديم توصيات عملية لكل من الأساتذة والطلبة حول الاستخدام الفعّال والمسؤول لهذه الأدوات في تعليم اللغة الإنجليزية. ------------------------------ Résumé Cette étude vise à évaluer et à comparer deux outils d’écriture basés sur l’intelligence artificielle, ChatGPT et QuillBot, en tant qu’outils pédagogiques dans le contexte de l’anglais comme une langue étrangère (EFL). La recherche vise à identifier les limites de ces outils en termes de cohérence, de cohésion, d’originalité et de pensée critique lors de la rédaction académique des étudiants. L’objectif est d’examiner les problèmes qui peuvent persister après leur utilisation, ainsi que de comparer ces deux outils afin de mettre en évidence leurs différences. Les questions de recherche portent sur le degré de limitation de ChatGPT et QuillBot dans le soutien à la rédaction académique, ainsi que sur leur efficacité dans l’organisation des idées, l’amélioration des paragraphes et le renforcement de la clarté et de la cohérence. L’étude explore également les perceptions des étudiants, notamment leur vision des limites de ces outils. L’étude suppose que ces outils présentent des limites importantes, en particulier en ce qui concerne la clarté, l’organisation logique et le développement des idées. Elle suppose également que leur utilisation peut influencer les idées originales des étudiants et réduire l’aspect humain de leur écriture. Des méthodes quantitatives et qualitatives, incluant une enquête (étude pilote), une expérience comparative et une discussion de groupe, sont menées auprès d’étudiants de troisième année d’anglais à l’Université Mohamed Chérif Messaadia. Cette étude permet de mieux comprendre les limites de ces outils et leur impact sur la performance des étudiants, et de proposer des recommandations pour leur intégration efficace en classe d’EFL.