Investigating the Impact of Using Paperpal on Improving Students’ Academic Essay Writing The Case of First-Year Master’s Students in Didactics of English at the Faculty of Letters and Languages, University of Mouhamed Cherif Messaadia

Abstract

Abstract

Academic writing is a vital skill in higher education, yet many students struggle to develop it effectively. This study explores the effectiveness of Paperpal, an AI writing assistant, in improving academic essay writing among first-year Master’s students at the University of Mouhamed Cherif Messaadia. Using an experimental mixed-methods design, twenty students were randomly assigned to an experimental group, which used Paperpal for iterative feedback, or a control group, which did not. Over three weeks, the experimental group participated in seven online sessions using the premium version of Paperpal, receiving automated feedback on grammar, coherence, clarity, structure, and academic tone. Writing performance was measured through pre- and post-tests scored with a validated 20-point rubric. An independent samples t-test revealed no statistically significant difference in post-test scores between the groups (p = .716). However, qualitative data from a post-intervention questionnaire indicated positive student perceptions. Participants reported improvements in grammar, organization, and clarity, as well as increased confidence and awareness of academic writing conventions. Some concerns were raised about overcorrection and changes in meaning. Limitations include the short intervention duration, small sample size, and students’ prior exposure to other AI tools. Despite the lack of statistically significant outcomes, the findings suggest that Paperpal may support the development of writing skills and promote learner autonomy when used alongside human feedback. -------------------- الملخص الكتابة الأكاديمية مهارة أساسية في التعليم العالي، ومع ذلك يعاني العديد من الطلاب من تطويرها بشكل فعّال. تستكشف هذه الدراسة فاعلية "بيبربال(Paperpal) "، وهو مساعد كتابة يعتمد على الذكاء الاصطناعي، في تحسين كتابة المقالات الأكاديمية لدى طلاب السنة الأولى ماجستير بجامعة محمد الشريف مساعدية. باستخدام تصميم تجريبي يعتمد على المنهج المختلط، تم توزيع عشرين طالبًا بشكل عشوائي على مجموعتين: مجموعة تجريبية استخدمت Paperpal للحصول على تغذية راجعة متكررة، ومجموعة ضابطة لم تستخدمه. على مدى ثلاثة أسابيع، شاركت المجموعة التجريبية في سبع جلسات عبر الإنترنت باستخدام النسخة المدفوعة منPaperpal ، وتلقّت تغذية راجعة تلقائية حول القواعد النحوية، والتماسك، والوضوح، والبنية، والنبرة الأكاديمية. تم قياس أداء الكتابة من خلال اختبارات قبلية وبعدية باستخدام سلم تقييم مكوّن من 20 نقطة ومُعتمد. أظهر اختبار (t) للعينة المستقلة عدم وجود فرق دال إحصائيًا في نتائج الاختبار البعدي بين المجموعتين(716 = p) ومع ذلك، أظهرت البيانات النوعية المستخلصة من استبيان ما بعد التدخل انطباعات إيجابية لدى الطلاب. أبلغ المشاركون عن تحسّن في القواعد والتنظيم والوضوح، بالإضافة إلى زيادة الثقة والوعي بأعراف الكتابة الأكاديمية. لكن أُثيرت بعض المخاوف بشأن التصحيحات المبالغ فيها وتغيّر المعنى. من بين القيود التي واجهتها الدراسة: قصر مدة التدخل، وصغر حجم العينة، والتعرض السابق للطلاب لأدوات ذكاء اصطناعي أخرى. وعلى الرغم من غياب نتائج ذات دلالة إحصائية، تشير النتائج إلى أن Paperpal قد يساهم في تطوير مهارات الكتابة وتعزيز استقلالية المتعلم عند استخدامه إلى جانب التغذية الراجعة البشرية. -------------------- Résumé L’écriture académique est une compétence essentielle dans l’enseignement supérieur, pourtant de nombreux étudiants rencontrent des difficultés à la développer efficacement. Cette étude examine l’efficacité de Paperpal, un assistant d’écriture basé sur l’intelligence artificielle, dans l’amélioration de la rédaction d’essais académiques chez les étudiants de première année de Master à l’Université de Mouhamed Cherif Messaadia. En utilisant un plan expérimental à méthodes mixtes, vingt étudiants ont été répartis aléatoirement en deux groupes : un groupe expérimental, qui a utilisé Paperpal pour recevoir des retours itératifs, et un groupe témoin, qui ne l’a pas utilisé. Pendant trois semaines, le groupe expérimental a participé à sept séances en ligne en utilisant la version premium de Paperpal, recevant un retour automatique sur la grammaire, la cohérence, la clarté, la structure et le ton académique. La performance en écriture a été évaluée à l’aide de tests pré- et post-intervention notés selon une grille validée sur 20 points. Un test t pour échantillons indépendants n’a révélé aucune différence significative dans les scores post-tests entre les groupes (p = .716). Cependant, les données qualitatives issues d’un questionnaire post-intervention ont montré des perceptions positives des étudiants. Les participants ont signalé des améliorations en grammaire, en organisation et en clarté, ainsi qu’une confiance accrue et une meilleure compréhension des conventions de l’écriture académique. Certaines préoccupations ont été soulevées concernant une correction excessive et des altérations de sens. Les limites de l’étude incluent la courte durée de l’intervention, la petite taille de l’échantillon et l’exposition préalable des étudiants à d’autres outils d’IA. Malgré l’absence de résultats significatifs sur le plan statistique, les résultats suggèrent que Paperpal pourrait favoriser le développement des compétences en écriture et encourager l’autonomie des apprenants lorsqu’il est utilisé en complément d’un retour humain.