Design of a mobile Web crawler for hidden Web

Kumar, Manish; Bhatia, Rajesh

doi:10.1109/rait.2016.7507899

Cited by 11 publications

(5 citation statements)

References 4 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…Sorgu sayısı Kapsam (web sitesi) [73] %72.0 200 5 [72] %65.1 ---50 [68] %85.0 3500 154 [70] %87.5 16 1 [74] %70.0 6 1 [75] %96.0 2 1308 [76] %92.5 2 68 [77] %90.0 487 2 [78] %73.7 ---1 [79] %90.0 53 100…”

Section: Kaynak Kapsama Oranıunclassified

“…Bu durum geleneksel web tarayıcılarının neden olduğu ağ yükünü azaltır [67]. Web taraması bağlamında bir tarayıcının, veri kaynağına yani web sunucusuna geçiş yapabilme yeteneği mobilite olarak adlandırılmaktadır [74]. Mobil tarayıcıların temel özelliği, sayfaların değişip değişmediğini sunucu üzerinde kontrol ederek sadece değişen sayfaların alınmasını sağlamaktır.…”

Section: E Mobi̇l Web Tarayicilarunclassified

“…Çalışmada kapsam olarak Hindistan dışında yaşayan Hint kökenli akademisyenlerin verilerini toplamak olduğu için odaklı bir tarama gerçekleştirilmiştir. Buna ek olarak tohum URL olarak yazarlar tarafından seçilmiş sitelerden veriler alınmıştır[74].Anbukodi ve Manickam yaptıkları çalışmada, genel tarayıcıların ağ bant genişliği kullanımı, CPU döngülerinin ve belleğinin kullanımı, işletim sistemlerinin sınırları vb. nedenler ile uzak sunucuda yüke sebep olan durumların ortadan kaldırılması için mobil tarayıcı mimarisi önermişlerdir.…”

unclassified

See 2 more Smart Citations

Web Tarayıcılarında Tohum URL Seçimi ve Performans Analizi: Kapsamlı Bir İnceleme

ALANOĞLU

Akçayol

2023

Düzce Üniversitesi Bilim Ve Teknoloji Dergisi

View full text Add to dashboard Cite

Web, İnternet üzerinde yayınlanan çeşitli türden bilgilerin bulunduğu bir veri deposudur. Bu bilgileri üzerinde bulunduran ve birbirlerine köprülerle bağlı olan yapılara web sayfaları denir. Web tarayıcıları, web sayfaları üzerindeki köprüleri kullanarak Web’i tarayan ve sayfaları indiren programlardır. Bir arama motorunun performansı da web tarayıcısının performansına bağlıdır. Web tarayıcılarının performans metrikleri, kapsamı ve tohum URL seçim yöntemleri performansı etkileyen en önemli faktörlerdir. Bu çalışmada, genel, odaklanmış, artırılmış, gizli, mobil ve dağıtılmış olmak üzere altı kategoride sınıflandırdığımız web tarayıcılarının performansları, kapsamları ve tohum URL kullanım yöntemleri hakkında kapsamlı bir inceleme ve analiz yapılmıştır. Ayrıca her bir tarayıcının çeşitli çalışmalarda yapılmış performans ölçütleri karşılaştırılmıştır.

show abstract

Section: Kaynak Kapsama Oranıunclassified

Section: E Mobi̇l Web Tarayicilarunclassified

unclassified

See 1 more Smart Citation

Web Tarayıcılarında Tohum URL Seçimi ve Performans Analizi: Kapsamlı Bir İnceleme

ALANOĞLU

Akçayol

2023

Düzce Üniversitesi Bilim Ve Teknoloji Dergisi

View full text Add to dashboard Cite

show abstract

“…-Improve the crawler effectiveness, e.g., by using different types of features to classify [89], integrating information extraction techniques [2,11,14], or using feedback information [54]. -Improve the crawler efficiency, e.g., by choosing an optimal set of seed pages [90], or creating distributed (also known as mobile or migrating crawlers) [50]. Note that this also results in better scalability, which is another main concern [70].…”

Section: Performance Measuresmentioning

confidence: 99%

Deep Web crawling: a survey

2018

View full text Add to dashboard Cite

Deep Web crawling refers to the problem of traversing the collection of pages in a deep Web site, which are dynamically generated in response to a particular query that is submitted using a search form. To achieve this, crawlers need to be endowed with some features that go beyond merely following links, such as the ability to automatically discover search forms that are entry points to the deep Web, fill in such forms, and follow certain paths to reach the deep Web pages with relevant information. Current surveys that analyse the state of the art in deep Web crawling do not provide a framework that allows comparing the most up-to-date proposals regarding all the different aspects involved in the deep Web crawling process. In this article, we propose a framework that analyses the main features of existing deep Web crawling-related techniques, including the most recent proposals, and provides an overall picture regarding deep Web crawling, including novel features that to the present day had not been analysed by previous surveys. Our main conclusion is that crawler evaluation is an immature research area due to the lack of a standard set of performance measures, or a benchmark or publicly available dataset to evaluate the crawlers. In addition, we conclude that the future work in this area should be focused on devising crawlers to deal with ever-evolving Web technologies and improving the crawling efficiency and scalability, in order to create effective crawlers that can operate in real-world contexts.

show abstract

“…This problem is identified for this study to build a unique crawler to systematically browse WWW for indexing information, supporting multiple features of crawling like bringing links, images, HTML Source, Depth Crawling (10) . Thus, the desired work is to develop a crawler with all features of diversified crawlers (11) , reducing time of referring multiple crawlers (12) to fulfill the task. Further the proposed crawler can be useful to consolidate the outcomes of crawling very easily.…”

Section: Introductionmentioning

confidence: 99%

A new approach to Web Crawling — DHEKTS Crawler in comparison with various Crawlers

ThirugnanaSambanthan¹,

India²

2021

IJST

View full text Add to dashboard Cite

Objectives: To propose a crawler to visit websites for collecting information and create a search engine index for reference; To compare various crawler License, language used for creation, effectiveness with proposed DHEKTS crawler; To compare various characteristics, tasks and functions with proposed DHEKTS crawler; To identify the merits of the DHEKTS Crawler. Methods: A new Crawler called DHEKTS is developed to filter and synchronize documents like Images, Link, and HTML code from a given website. This Crawler is unique in nature since it returns all the details of a particular website having Images, Links, html code and contents. It can crawl through links in a specified website and crawl further to other links on the website. The DHEKTS Crawler is designed for Depth and Relevance crawling. The entire DHEKTS crawler has a few crawling mechanism supporting variety of information. The requirements are Operating System: Win 7 and higher, Front End: PHP, BackEnd: MySQL, RAM: Minimum 4GB and SERVER: High Speed Server with good storage Capacity. Findings: The DHEKTS Crawler has brought web related Links, Images, HTML Code, Information about to fifth level of crawling and Relevance Search giving relevant information. Multiple crawlers fulfill the major functions of crawling but DHEKTS CRAWLER is built to execute all functions in one crawler. Applications: This is applied in Crawling of various Websites and to retrieve valuable data.

show abstract

Design of a mobile Web crawler for hidden Web

Cited by 11 publications

References 4 publications

Web Tarayıcılarında Tohum URL Seçimi ve Performans Analizi: Kapsamlı Bir İnceleme

Web Tarayıcılarında Tohum URL Seçimi ve Performans Analizi: Kapsamlı Bir İnceleme

Deep Web crawling: a survey

A new approach to Web Crawling — DHEKTS Crawler in comparison with various Crawlers

Contact Info

Product

Resources

About