EPLogCleaner: بهبود کیفیت داده های لاگ های پراکسی شرکتی برای استفاده از وب کاوی موثر

EPLogCleaner: Improving Data Quality of Enterprise Proxy Logs for Efficient Web Usage Mining

Abstract

Data cleaning is an important step performed in the preprocessing stage of web usage mining, and is widely used in many data mining systems. Despite many efforts on data cleaning for web server logs, it is still an open question for enterprise proxy logs. With unlimited accesses to websites, enterprise proxy logs trace web requests from multiple clients to multiple web servers, which make them quite different from web sever logs on both location and content. Therefore, many irrelevant items such as software updating requests cannot be filtered out by traditional data cleaning methods. In this paper, we propose the first method named EPLogCleaner that can filter out plenty of irrelevant items based on the common prefix of their URLs. We make an evaluation of EPLogCleaner with a real network traffic trace captured from one enterprise proxy. Experimental results show that EPLogCleaner can improve data quality of enterprise proxy logs by further filtering out more than 30% URL requests comparing with traditional data cleaning methods.

دانلود رایگان مقاله انگلیسی                 306.93 KB

چکیده
پاکسازی داده ها گام مهم انجام گرفته در مرحله ی پیش پردازش استفاده از وب کاوی است و بطور گسترده در اکثر سیستم های داده کاوی بکار گرفته می شود. با وجود تلاش های زیادی در مورد پاکسازی داده ها برای لاگ های سرور وب، هنوز سوال در مورد لاگ های پراکسی شرکتی مطرح است. با دسترسی های نامحدود به وب سایت ها، لاگ های پراکسی شرکتی، درخواست های وب را از کلاینت های متعدد به وب سرورهای متعدد ردیابی می کنند که آنها را از لاگ های وب سرور در هر دو مکان و محتوا کاملا متفاوت می سازند. بنابراین، اکثر آیتم هایی مانند درخواست های بروزرسانی نرم افزار نمی توانند توسط روش های پاکسازی داده های سابق فیلتر شوند. در این مقاله، اولین روش با عنوان EPLogCleaner را پیشنهاد می کنیم که می تواند مقدار زیادی از آیتم های بی ربط مبتنی بر پیشوند رایج URL هایشان را فیلتر کند. یک ارزیابی از EPLogCleaner با ردیابی ترافیک شبکه واقعی بدست آمده از یک پراکسی شرکتی انجام می دهیم. نتایج تجربی نشان می دهند که EPLogCleaner می تواند کیفیت داده های لاگ های پراکسی شرکتی را با فیلترسازی بیش از 30% درخواست های URL را در مقایسه با روش های پاکسازی داده های سنتی بهبود بخشد.

تعداد صفحات مقاله انگلیسی: 7 صفحه
تعداد صفحات مقاله فارسی: 15 صفحه