Automating the extraction of data from HTML tables with unknown structure

Embley, David W.; Tao, Cui; Liddle, Stephen W.

doi:10.1016/j.datak.2004.10.004

Cited by 58 publications

(45 citation statements)

References 13 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…Ada juga peneliti yang melakukan integrasi tabel web dengan struktur data yang tidak diketahui, khususnya untuk tabel column wise dan row wise [7]. Mereka mendefinisikan beberapa operator untuk mengatasi masalah struktural yang terkait dengan perbedaan skema, yaitu merged attribute, attribute as value, dan atribut subset.…”

Section: Tabel III Contoh Mixed-cellunclassified

Pengembangan Engine Integrasi Tabel HTML pada Halaman Web

Akbar¹,

Azizah²,

Saptawati³

2016

Jurnal Nasional Teknik Elektro dan Teknologi Informasi (JNTETI)

View full text Add to dashboard Cite

Abstract-Two problems are arisen while integrating number of tables from number of web pages, i.e. structural conflict and semantic conflict. To tackle those problems, the proposed study combines some existing methods that are already proven to solve problems in integrating process. The proposed integration process of HTML Kebutuhan untuk mengumpulkan data dari berbagai sumber diperlukan oleh hampir seluruh kegiatan suatu organisasi, termasuk dari tabel HTML [2]. Integrasi sejumlah tabel dari beberapa halaman web, dengan memanfaatkan dokumen HTML, mempunyai peranan penting dalam banyak aplikasi potensial. Integrasi tabel dari beberapa e-commerce memudahkan seseorang yang berada pada bagian procurement untuk membandingkan dan menentukan Harga Perkiraan Sendiri (HPS) barang yang akan diadakan. Integrasi tabel juga memudahkan calon penumpang pesawat terbang untuk melihat informasi penerbangan dari beberapa maskapai dalam satu halaman web. Integrasi tabel juga dibutuhkan dalam webmining, knowledge management, dan beberapa aplikasi potensial lainnya.Menurut [3], persoalan integrasi tabel pada halaman web dibagi menjadi tiga, yaitu: (1) konflik struktural, (2) konflik semantik, dan (3) konflik penamaan. Konflik struktural terjadi jika terdapat perbedaan struktur tabel yang akan diintegrasikan. Di antara konflik struktural ini, seperti: jumlah dan posisi atribut yang berbeda, serta heterogenitas layout tabel. Beberapa masalah yang terkait dengan konflik semantik adalah sinonim, homonim, dan konflik kontekstual. Sedangkan konflik penamaan terkait dengan istilah yang digunakan pada atribut masing-masing tabel.Penelitian untuk mengatasi persoalan dalam integrasi tabel HTML telah banyak dilakukan. Penelitian tersebut dilakukan oleh beberapa peneliti dan menghasilkan pendekatan yang telah divalidasi untuk mengatasi persoalan dalam integrasi tabel HTML. Namun, solusi yang diberikan hanya untuk persoalan skema data. Belum ada peneliti yang memberikan solusi untuk mengatasi persoalan integrasi pada data values dan belum ada juga penelitian yang menghasilkan engine untuk integrasi tabel HTML dari beberapa halaman web.Berdasarkan latar belakang permasalahan tersebut, maka pada makalah ini dikembangkan pendekatan untuk mengintegrasikan informasi pada tabel HTML dari sejumlah halaman web untuk suatu domain of interest (DOI) yang spesifik menjadi sebuah tabel HTML tunggal dengan mengombinasikan beberapa metode. Pendekatan yang Memen Akbar: Pengembangan Engine Integrasi Tabel ...

show abstract

Section: Tabel III Contoh Mixed-cellunclassified

Pengembangan Engine Integrasi Tabel HTML pada Halaman Web

Akbar¹,

Azizah²,

Saptawati³

2016

Jurnal Nasional Teknik Elektro dan Teknologi Informasi (JNTETI)

View full text Add to dashboard Cite

show abstract

“…It is possible, however, that such a knowledge base can be assembled from studying a large collection of diverse but related tables. This, in fact, is one of our long term research objectives [9][10][11].…”

Section: External Informationmentioning

confidence: 99%

Notes on Contemporary Table Recognition

Embley

Lopresti

Nagy

2006

Document Analysis Systems VII

Self Cite

View full text Add to dashboard Cite

Abstract. The shift of interest to web tables in HTML and PDF files, coupled with the incorporation of table analysis and conversion routines in commercial desktop document processing software, are likely to turn table recognition into more of a systems than an algorithmic issue. We illustrate the transition by some actual examples of web table conversion. We then suggest that the appropriate target format for table analysis, whether performed by conventional customized programs or by off-theshelf software, is a representation based on the abstract table introduced by X. Wang in 1996. We show that the Wang model is adequate for some useful tasks that prove elusive for less explicit representations, and outline our plans to develop a semi-automated table processing system to demonstrate this approach. Screen-snaphots of a prototype tool to allow table mark-up in the style of Wang are also presented.

show abstract

“…We compiled a comprehensive survey of table processing for IJDAR in 2006 [55]. Input tables were matched with known conceptualizations in an attempt to interpret them in [56]. Information extraction from sibling tables with identical headers was demonstrated in [57].…”

Section: Our Earlier Workmentioning

confidence: 99%

Converting heterogeneous statistical tables on the web to searchable databases

Embley

Krishnamoorthy

Nagy

et al. 2016

IJDAR

Self Cite

View full text Add to dashboard Cite

Much of the world's quantitative data resides in scattered web tables. For a meaningful role in Big Data analytics, the facts reported in these tables must be brought into a uniform framework. Based on a formalization of header-indexed tables, we proffer an algorithmic solution to end-to-end table processing for a large class of humanreadable tables. The proposed algorithms transform headerindexed tables to a category table format that maps easily to a variety of industry-standard data stores for query processing. The algorithms segment table regions based on the unique indexing of the data region by header paths, classify table cells, and factor header category structures of two-dimensional as well as the less common multidimensional tables. Experimental evaluations substantiate the algorithmic approach to processing heterogeneous tables. As demonstrable results, the algorithms generate queryable relational database tables and semantic-web triple stores. Application of our algorithms to 400 web tables randomly selected from diverse sources shows that the algorithmic solution automates end-to-end table processing. document analysis table segmentation table analysis table header factoring end-to-end table processing· table headers queries over table data ___________________________________________ Keywords

show abstract

Automating the extraction of data from HTML tables with unknown structure

Cited by 58 publications

References 13 publications

Pengembangan Engine Integrasi Tabel HTML pada Halaman Web

Pengembangan Engine Integrasi Tabel HTML pada Halaman Web

Notes on Contemporary Table Recognition

Converting heterogeneous statistical tables on the web to searchable databases

Contact Info

Product

Resources

About