WHOIS SOCKS Proxy Scraping Tool

ProxyRack WHOIS Tool یک پروکسی socks5 با پشتیبانی چند نکته است که توسط NodeJS پشتیبانی می شود که می تواند مورد استفاده برای رکورد کردن اطلاعات رکورد WHOIS باشد یا در دسترس بودن دامنه بررسی شود.

ویژگی ها

  • پشتیبانی پروکسی SOCKS با یا بدون اعتبار کاربری
  • Multi
  • NodeJS
  • وب UI و CLI
  • اختیاری: MongoDB برای ذخیره نتایج

نصب

ProxyRack WHOIS Tool نیاز به گره> = 8.93
نصب گره سریع (چند سیستم عامل) https: / / /github.com/creationix/nvm

نصب وابستگی ها و devDependencies و شروع به سرور UI وب.

 $  git clone  https://github.com/proxyrack/whois-proxy-scraping -tool.git
$ cd whois-proxy-scraping-tool
$ npm نصب کنید
گره $ index.js - mode server --port  8080  - وب پورت  8000 

برای CLI:

 گره $ index.js - فایل مدل - دامنه ورودی .txt - خروجی result.txt - خروجی - موجود available.txt - خروجی ثبت شده registered.txt

proxies.json

پروکسی ها در یک فایل JSON به نام proxies.json

 {
  "پروکسی": [
    "yourusername:[email protected]: 222 socks5 "
  ]
}

مثال پروکسی شامل www.proxyrack.com service

config.js

شما می توانید تنظیمات MongoDB خود را در اینجا تغییر دهید، مسیر پروکسی پرونده، دایرکتوری نتایج و تعدادی از موضوعات همزمان شما می خواهید برای اجرای

 'استفاده از سخت "؛

const config = {
  db: {
    url: 'mongodb: // localhost: 27017'،
    نام: 'whois'
  }،
  پروکسی ها: {
    مسیر: 'proxies.json'
  }،
  numThreads: 50، // تعداد موضوعات در هر جستجو
  outputDir: './results'
  outputUrl: '/ results /'
}؛


6 وب Scraping ابزار برای به دست آوردن داده ها بدون برنامه نویسی

1. توپی Outwit:

حال معروف فرمت فایرفاکس، گول زدن توپی می تواند دریافت شده و یکپارچه با مرورگر فایرفاکس خود را. قدرتمند فایرفاکس افزودنی است که با مقدار زیادی از خراش دادن قابلیت های وب است. از جعبه، این برخی از داده های نقطه شناخت ویژگی های است که کار خود را به سرعت و به راحتی انجام می شود. استخراج اطلاعات از سایت های مختلف با گول زدن توپی هر مهارت های برنامه نویسی نیاز ندارد، و این است که چه چیزی باعث این ابزار انتخاب قبلی غیر برنامه نویسان و افراد غیر فنی. هزینه رایگان است و باعث می شود استفاده از گزینه های خود را به خراش داده های خود را بدون افت در کیفیت.

2. وب زداینده (پسوند کروم):

است وب سایت برجسته خراش دادن نرم افزار به دست آوردن داده ها بدون هر گونه برنامه نویسی. به عبارت دیگر می توان گفت که تراشیدن وب جایگزین برای برنامه توپی گول زدن است. منحصرا در دسترس برای کاربران Google Chrome است و اجازه می دهد تا ما را برای ایجاد sitemaps از چه سایت های ما باید پیمایش. علاوه بر این، آن صفحات وب را خراش دهد و خروجی در قالب فایل CSV به دست آمده است.

3. Spinn3r:

Spinn3r یک انتخاب فوق العاده برای برنامه نویسان و برنامه نویسان غیر است. آن می توانید خراش کل وبلاگ و وب سایت خبری، شبکه اجتماعی پروفایل و خوردها آر اس اس برای کاربران آن. Spinn3r استفاده از APIs Firehose که آثار خزنده وب و مدیریت 95% از نمایه سازی می کند. علاوه بر این، این برنامه اجازه می دهد تا ما برای فیلتر کردن داده ها با استفاده از کلمات کلیدی خاص، آن را علف هرز از مطالب بی ربط در هیچ زمان.

4. Fminer:

Fminer یکی از بهترین و ساده ترین و کاربر پسند وب خراش دادن نرم افزار بر روی اینترنت است. ترکیبی از بهترین ویژگی جهان و به طور گسترده ای برای خود داشبورد بصری است که قبل از آن را بر روی دیسک سخت شما ذخیره می شود در جایی که شما مشاهده می تواند استخراج داده ها معروف است. آیا به سادگی می خواهید به خراش داده های خود و یا برخی از وب سایت پروژه های خزنده، Fminer انواع وظایف اداره می کند.

5. Dexi یو:

Dexi. آیو است مبتنی بر وب زداینده و داده ها نرم افزار معروف. شما را به دانلود نرم افزار شما می توانید به انجام وظایف خود را آنلاین به آن نیاز نیست. در واقع مرورگر مبتنی بر نرم افزاری است که اجازه می دهد تا ما برای ذخیره اطلاعات خراشیده به طور مستقیم به درایو گوگل و سیستم عامل Box.net است. علاوه بر این، می توانید فایل های خود را به فرمت CSV و JSON صادرات و پشتیبانی از اطلاعات بدون ذکر نام با توجه به آن سرور پروکسی تراشیدن.

6. ParseHub:

Parsehub یکی از بهترین و معروف ترین وب خراش دادن برنامه هایی که به دست آوردن داده ها بدون هیچ گونه برنامه نویسی یا برنامه نویسی مهارت است. پشتیبانی از داده های ساده و پیچیده و سایت هایی که استفاده از جاوا اسکریپت و آژاکس و کوکی ها و تغییر مسیر می تواند روند. Parsehub یک نرم افزار رومیزی برای کاربران مک، ویندوز و لینوکس است. آن می تواند تا پنج پروژه خزیدن برای شما در زمان رسیدگی، اما نسخه حق بیمه می توانند بیش از بیست پروژه خزیدن به طور همزمان. اگر اطلاعات شما نیاز به نصب setups سفارشی ساخته شده، این ابزار تبادل نظر ایده آل برای شما نیست.

mac

1. توپی Outwit:

حال معروف فرمت فایرفاکس، گول زدن توپی می تواند دریافت شده و یکپارچه با مرورگر فایرفاکس خود را. قدرتمند فایرفاکس افزودنی است که با مقدار زیادی از خراش دادن قابلیت های وب است. از جعبه، این برخی از داده های نقطه شناخت ویژگی های است که کار خود را به سرعت و به راحتی انجام می شود. استخراج اطلاعات از سایت های مختلف با گول زدن توپی هر مهارت های برنامه نویسی نیاز ندارد، و این است که چه چیزی باعث این ابزار انتخاب قبلی غیر برنامه نویسان و افراد غیر فنی. هزینه رایگان است و باعث می شود استفاده از گزینه های خود را به خراش داده های خود را بدون افت در کیفیت.

2. وب زداینده (پسوند کروم):

است وب سایت برجسته خراش دادن نرم افزار به دست آوردن داده ها بدون هر گونه برنامه نویسی. به عبارت دیگر می توان گفت که تراشیدن وب جایگزین برای برنامه توپی گول زدن است. منحصرا در دسترس برای کاربران Google Chrome است و اجازه می دهد تا ما را برای ایجاد sitemaps از چه سایت های ما باید پیمایش. علاوه بر این، آن صفحات وب را خراش دهد و خروجی در قالب فایل CSV به دست آمده است.

3. Spinn3r:

Spinn3r یک انتخاب فوق العاده برای برنامه نویسان و برنامه نویسان غیر است. آن می توانید خراش کل وبلاگ و وب سایت خبری، شبکه اجتماعی پروفایل و خوردها آر اس اس برای کاربران آن. Spinn3r استفاده از APIs Firehose که آثار خزنده وب و مدیریت 95% از نمایه سازی می کند. علاوه بر این، این برنامه اجازه می دهد تا ما برای فیلتر کردن داده ها با استفاده از کلمات کلیدی خاص، آن را علف هرز از مطالب بی ربط در هیچ زمان.

4. Fminer:

Fminer یکی از بهترین و ساده ترین و کاربر پسند وب خراش دادن نرم افزار بر روی اینترنت است. ترکیبی از بهترین ویژگی جهان و به طور گسترده ای برای خود داشبورد بصری است که قبل از آن را بر روی دیسک سخت شما ذخیره می شود در جایی که شما مشاهده می تواند استخراج داده ها معروف است. آیا به سادگی می خواهید به خراش داده های خود و یا برخی از وب سایت پروژه های خزنده، Fminer انواع وظایف اداره می کند.

5. Dexi یو:

Dexi. آیو است مبتنی بر وب زداینده و داده ها نرم افزار معروف. شما را به دانلود نرم افزار شما می توانید به انجام وظایف خود را آنلاین به آن نیاز نیست. در واقع مرورگر مبتنی بر نرم افزاری است که اجازه می دهد تا ما برای ذخیره اطلاعات خراشیده به طور مستقیم به درایو گوگل و سیستم عامل Box.net است. علاوه بر این، می توانید فایل های خود را به فرمت CSV و JSON صادرات و پشتیبانی از اطلاعات بدون ذکر نام با توجه به آن سرور پروکسی تراشیدن.

6. ParseHub:

Parsehub یکی از بهترین و معروف ترین وب خراش دادن برنامه هایی که به دست آوردن داده ها بدون هیچ گونه برنامه نویسی یا برنامه نویسی مهارت است. پشتیبانی از داده های ساده و پیچیده و سایت هایی که استفاده از جاوا اسکریپت و آژاکس و کوکی ها و تغییر مسیر می تواند روند. Parsehub یک نرم افزار رومیزی برای کاربران مک، ویندوز و لینوکس است. آن می تواند تا پنج پروژه خزیدن برای شما در زمان رسیدگی، اما نسخه حق بیمه می توانند بیش از بیست پروژه خزیدن به طور همزمان. اگر اطلاعات شما نیاز به نصب setups سفارشی ساخته شده، این ابزار تبادل نظر ایده آل برای شما نیست.