Combler le fossé entre l’IA et les langues locales : le dataset marocain en darija

Smartly.AI est heureuse d’annoncer une nouvelle initiative pour répondre aux défis des langues régionales.

Le darija marocain, parlé par plus de 33,5 millions de personnes, est au cœur de notre mission : créer des chatbots capables de communiquer de manière naturelle et efficace. Notre objectif est simple : lever les barrières linguistiques et rendre la technologie accessible à tous.

Les langues standards comme l’anglais ou le français freinent souvent une communication réellement efficace pour de nombreux utilisateurs. Les modèles d’IA spécialisés de Smartly permettent aux chatbots de comprendre et de répondre avec précision en darija, qu’il soit écrit en alphabet arabe ou en transcription latine, aussi appelée Arabizi. Cela aide les entreprises à instaurer la confiance en apportant des réponses claires et pertinentes dans la langue naturelle de leurs clients.

Notre objectif reste le même : faire tomber les barrières linguistiques et rendre la technologie accessible à tous.

Notre solution simplifie également les interactions globales. Un client marocain peut poser une question en darija et recevoir une réponse dans cette même langue, tandis que l’entreprise anglophone traite la demande directement en anglais grâce à une traduction fluide en temps réel. Cela supprime les frictions et garantit des échanges plus naturels.

Cependant, les modèles existants comme ChatGPT d’OpenAI ou LLaMA montrent encore leurs limites sur le darija, comme on peut le voir dans les exemples ci-dessous.

Figure 1 : une question en darija mal interprétée par ChatGPT. Cet exemple montre comment OpenAI échoue à comprendre correctement une question en darija et produit une réponse hors sujet.

Figure 2 : exemple d’une question en darija traitée par LLaMA 3.8b. On voit ici que LLaMA peut confondre l’arabe marocain avec d’autres langues, comme le néerlandais.

Pour dépasser ces limites, Smartly.ai adapte des modèles existants à l’aide d’un dataset dédié au darija marocain. Cette approche permet aux modèles de mieux comprendre le mélange d’écriture arabe, d’Arabizi et d’expressions locales propres au darija. Notre dataset comprend des exemples du monde réel en écriture arabe et en transcription latine, alignés avec des traductions en anglais et en arabe standard moderne. Cela garantit des réponses plus justes et plus contextuelles.

Découvrez le dataset et contribuez ici : 👉 SmartlyAI Moroccan Darija Dataset 👈

Figure 3 : exemple des données open source. Cela montre comment la translittération de l’arabe vers l’alphabet latin enrichit la diversité et l’utilisabilité du dataset.

En commençant par le darija marocain, Smartly.ai a pour ambition de s’étendre à d’autres dialectes locaux afin de favoriser l’inclusion numérique en Afrique du Nord et au-delà. Nos solutions sur mesure accompagneront des secteurs comme la banque, les télécommunications et l’éducation, en rendant possible une communication multilingue réellement efficace. L’IA doit donner du pouvoir aux utilisateurs, pas les exclure. Avec Smartly.ai, nous construisons un futur où la langue n’est plus un frein à l’accès, à l’opportunité ou à la connexion.

Rejoignez-nous pour enrichir et faire évoluer ce dataset afin de rendre l’IA plus inclusive pour des langues locales comme le darija marocain. Ensemble, nous pouvons façonner une IA plus accessible.