Converting unstructured and semi-structured data into knowledge

Rusu, Octavian; Halcu, Ionela; Grigoriu, Oana; Neculoiu, Giorgian; Sandulescu, Virginia; Marinescu, Mariana; Marinescu, Viorel

doi:10.1109/roedunet.2013.6511736

Cited by 46 publications

(27 citation statements)

References 6 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…Lexical and semantic features, syntax and logical relations are categorized into language independent and language dependent features respectively, can be combined to extract domain-related information from digitized textbooks of different languages [20]. Data extraction, syntactic and semantic analysis, classification, inference rules and representation into XML are the steps to add structure to unstructured text [21]. But XML is not capable to represent complex unstructured data in fully structured manner.…”

Section: A Information Extraction From Text Datamentioning

confidence: 99%

Information Extraction from Multifaceted Unstructured Big Data

2019

IJRTE

View full text Add to dashboard Cite

In the era of digital globalization, huge volume and variety of data are being produced at a very high rate. Every day, the world is producing around 2.5 quintillion bytes of data. According to IDC, by 2020, over 40 zettabytes of data will be generated and reproduced. Digital data have become a deluge, overwhelming in every field of information technology (IT), business, science and engineering. These fields are shifting to smart and advanced technologies such as smart manufacturing industries, data-aware medical sciences, and other smart applications. These applications are facilitating the industries in context of data-driven decision making, big data storage, and complex analysis of large data sets. Also, these applications are contributing to generate big data deluge where a variety of data necessitate the industries to use advanced IT approaches. 95% of the digital universe is unstructured data. It is rich data as it contains information that can play a vital role to improve big data analytics. The heterogeneity, complexity, lack of structured information, poor quality and scalability of unstructured data generates difficulties in adapting traditional information extraction techniques. Information extraction can play a vital role in transformation of unstructured data into useful information. A multistep pipeline with data preprocessing steps, extraction methods and representation are utmost requirement to improve the unstructured data analytics. In this regard, this paper presents a short review of information extraction process w.r.t. input data type, extraction methods with their corresponding techniques, and representation of extracted information. The issues with unstructured data and the challenges to information extraction from multifaceted unstructured big data as well as the future research directions have also been discussed

show abstract

Section: A Information Extraction From Text Datamentioning

confidence: 99%

Information Extraction from Multifaceted Unstructured Big Data

2019

IJRTE

View full text Add to dashboard Cite

show abstract

“…So a mapping of UMLS concepts to the MEDLINE sentences is needed. For that, we used a MetaMapped MEDLINE, which is annotated by MetaMap tool 5 . Each sentence in MEDLINE annotated with UMLS concepts, and the annotations are represented in MetaMap machine output format 6 .…”

Section: Medline Corpusmentioning

confidence: 99%

“…An essential challenge for applications of Big Data is that, the large volumes of data and extracts valuable information or knowledge for future actions [4]. The process of extracting useful knowledge from structured or unstructured data is known as knowledge discovery from Database (KDD) process which refers to a collection of activities designed to obtain new knowledge from complex data dataset [5] [6]. KDD from such a biomedical corpus like MEDLINE is a complicated process, and it takes several processes [7].…”

Section: Introductionmentioning

confidence: 99%

Big Data Knowledge Mining

Banuqitah¹,

Eassa²,

Jambi³

et al. 2016

ijacsa

View full text Add to dashboard Cite

Abstract-Big Data (BD) era has been arrived. The ascent of big data applications where information accumulation has grown beyond the ability of the present programming instrument to catch, manage and process within tolerable short time. The volume is not only the characteristic that defines big data, but also velocity, variety, and value. Many resources contain BD that should be processed. The biomedical research literature is one among many other domains that hides a rich knowledge. MEDLINE is a huge biomedical research database which remain a significantly underutilized source of biological information. Discovering the useful knowledge from such huge corpus leading to many problems related to the type of information such as the related concepts of the domain of texts and the semantic relationship associated with them. In this paper, an agent-based system of two-level for Self-supervised relation extraction from MEDLINE using Unified Medical Language System (UMLS) Knowledgebase, has been proposed . The model uses a Selfsupervised Approach for Relation Extraction (RE) by constructing enhanced training examples using information from UMLS with hybrid text features. The model incorporates Apache Spark and HBase BD technologies with multiple data mining and machine learning technique with the Multi Agent System (MAS). The system shows a better result in comparison with the current state of the art and naïve approach in terms of Accuracy, Precision, Recall and F-score.

show abstract

“…Os dados podem ser estruturados, semiestruturados e não estruturados. a) Dados estruturados: Os dados recebem a classificação de "estruturados" quando são compostos por números, podendo ser separados por grupos, classificação, categorização ou qualquer outro tipo de forma de agrupamento ou organização, como relatórios extraídos de sistemas no formato de planilhas (DEKA, 2014); b) Semiestruturados: Não há uma definição estabelecida para classificação de dados semiestruturados, segundo Rusu et al (2013). Normalmente, são considerados semiestruturados os dados que, apesar de serem apresentados da mesma forma que dados estruturados, não são organizamos da mesma forma, como categorizados ou com qualquer tipo de agrupamento de dados, exigindo assim uma análise prévia antes de transformar o dado em algum tipo de informação, como um catálogo de produtos na web; c) Não estruturados: Dados que não podem se enquadrar em uma tabela ou em um modelo predefinido de agrupamento de dados, segundo Rusu et al (2013).…”

Section: Tipos De Dadosunclassified

“…Tanto os dados semiestruturados como dados não estruturados podem ser transformados em dados estruturados para análises mais acuradas, utilizando uma sequência de tratativas e análises prévias nos dados em questão. Rusu et al (2013)…”

Section: Tipos De Dadosunclassified

Big Data Analytics aplicado a logística: um estudo de multicasos

Menezes¹

View full text Add to dashboard Cite

O uso de Big Data Analytics na gestão da rede de suprimentos, em uma visão de ponta a ponta do processo de compras a vendas, já é pesquisado há anos, porém é muito concentrado no elo final da cadeia, em itens como vendas e marketing. Em logística, uso de Big Data Analytics é tido como uma das principais tecnologias emergentes a agregar eficiência e eficácia nos processo de transporte (entrada e saída de produtos), armazenagem, planejamento de demanda, compras, inventário, fluxo de informações, controle de materiais e plnejamento de suprimentos. O objetivo desta dissertação é investigar o processo de implementação de Big Data Analytics em logística, procurando identificar as principais barreiras, os facilitadores, as ferramentas utilizadas e os resultados alcançados na utilização desta tecnologia emergente. Para atingir este objetivo, torna-se necessário realizar estudos de multicasos em diferentes empresas e tipos de indústria. Para tanto, um protocolo de pesquisa foi desenvolvido para esta pesquisa. Parte do protoclo envolve a condução de entrevistas com funcionários em cargos de liderança nas áreas relacionadas à logística e tecnologia da informação para coleta e análise de dados até encontrar um padrão de comportamento para construção do conhecimento, tanto para as o ramo corporativo como no meio acadêmico e científico. O resultado desta pesquisa demonstra que as empresas encontram-se em estágio iniciais de implementação de soluções de Big Data Analytics na logística. A opinião dos entrevistados convergem na ideia de que é necessário criar uma forma de deixar os dados disponíveis do negócio transparentes e visíveis em sua rede de suprimentos para depois utilizá-los em alguma melhoria mais específica de logística. Portanto, todos os casos demonstraram a implementação de uma solução chamada de "torre de controle", onde a gestão dos dados logísticos para melhorias de performance no processo ou dos dados em si são gerenciados de forma centralizada. Outra descoberta relevante trata dos desafios encontrados na implementação de Big Data Analytics. Os líderes nas empresas vêem como sua maior dificuldade a de encontrar mão de obra especializada para lidar com ferramentas analíticas mais avançadas, necessárias para trabalhar com a tecnologia. A conclusão obtida é a de que Big Data Analytics melhora a performance dos processos logísticos reduzindo custos, aumentando a receita e auxiliando nas tomadas de decisões, mesmo em estágios iniciais e com a lacuna de falta de mão de obra presente. Palavras-Chave: Big Data Analytics. Logística. Torre de Controle.

show abstract

Converting unstructured and semi-structured data into knowledge

Cited by 46 publications

References 6 publications

Information Extraction from Multifaceted Unstructured Big Data

Information Extraction from Multifaceted Unstructured Big Data

Big Data Knowledge Mining

Big Data Analytics aplicado a logística: um estudo de multicasos

Contact Info

Product

Resources

About