Modeling Uncertainty and Inaccuracy on Data from Crowdsourcing Platforms: MONITOR

Abstract

Crowdsourcing is characterized by the externalization of tasks to a crowd of workers. In some platforms the tasks are easy, open access and remunerated by micropayment. The crowd is very diversified due to the simplicity of the tasks, but the payment can attract malicious workers. It is essential to identify these malicious workers in order not to consider their answers. In addition, not all workers have the same qualification for a task, so it might be interesting to give more weight to those with more qualifications. In this paper we propose a new method for characterizing the profile of contributors and aggregating answers using the theory of belief functions to estimate uncertain and imprecise answers. In order to evaluate the contributor profile we consider both his qualification for the task and his behaviour during its achievement thanks to his reflection.

Modelisation de l'incertitude et de l'imprecision de donnees de crowdsourcing : MONITOR

“…Les principales problématiques du crowdsourcing sont l'ergonomie des tâches, l'estimation du profil des contributeurs et l'agrégation des réponses. Ce papier est une traduction de nos travaux Thierry et al (2019) répondant à ces problématiques en offrant au contributeur la possibilité d'être imprécis dans ses réponses en cas d'hésitation. Pour modéliser l'incertitude et l'imprécision des contributions, la théorie des fonctions de croyance est utilisée.…”

“…Soit X ∈ 2 Ω3 indiquant la réflexion de c à q, la fonction de masse associée à X est définie par m Ω3 cq (X) = g(T cq , T 0q , X), où T cq est le temps de réponse de c à q et T 0q le temps théorique attendu à q. La fonction g est définie par Thierry et al (2019). Une fois la masse m Ω3 cq calculée pour chaque question, une moyenne sur q est effectuée afin d'obtenir la masse m Ω3 c qui modélise la réflexion globale du contributeur.…”

“…Ce papier est une traduction de nos travaux 1 , Thierry et al (2019), qui répondent aux problématiques énoncées. Pour ce faire, notre méthode MONITOR estime le profil du contributeur en prenant en considération sa qualification et son comportement.…”

Research on Sustainable Development Indicator Prediction of Regional Economic Subsystem Based on Artificial Neural Network

“…If conditions permit, more data should be obtained as much as possible [9]. In the process of data collection for sustainable development prediction, due to management and other reasons, data have different accuracy [10]. erefore, under the condition that data meet a certain amount, the quality is crucial [11].…”

Belief Functions on Ordered Frames of Discernment

“…However, if someone answers 614km, the error is smaller than if the answer given is 314km. If we consider imprecise answers as in [15], {ω 3 , ω 4 } make sense while {ω 1 , ω 3 } does not.…”