یک پروژهی سبک ولی با اولویت کیفیت و هندل کردن استثناها به زبان روبی (Ruby)
– آیتمها بصورت خلاصه لیست شده اند (حدود ۲۰ آیتم در صفحه)، با درخواست ثانویه باید صفحهی هر آیتم که اطلاعات کامل را شامل میشود کرال شود. درخواستهای ثانویه باید بطور موازی و کارا انجام شوند تا زمان اجرا اسکریپت زیاد نشود.
– جدیدترین آیتم ها باید کرال شوند و یک صفحهی اول کافی است (هندل کردن صفحهیهای بعدی بطور دلبخواه)
– انتخاب یک شهر دلخواه برای کرال کردن
– همهی اطلاعات مربوط به یک آیتم باید استخراج شود. مثلا لیست عکسها، تاریخ درج، آیدی و هرچی وجود داره. اطلاعات باید تا حد امکان بصورت ریز parse بشن؛ یعنی رشتهی بلندی که چندین اطلاعات داخلش هست نیز باید تفکیک شود
– خطاها، timeout ها و سایر سناریوهایی را که ممکن است هنگام کرال در وب به وجود باید هندل کنید و فرآیند بطور ناقص انجام نشود
– با توجه به شمای (schema) دیتا، یک کلاس تعریف کرده و نهایتا یک مجموعه (آرایه) از اون instance های کلاس رو بعنوان خروجی میدهید.
– سایت مورد نظر انگلیسی یا فارسی نیست. و اطلاعات باید به همان صورت parse شوند ولی فیلد های کلاس مربوطه باید به انگلیسی باشند (برای طراحی راحتتر schema از مترجم آنلاین استفاده کنید)
– استفاده از لاگر در بین کد با پیام معنادار جهت نمایش روند اجرا
سوال متداول:
– چرا خودت یا با استفاده از gpt نمی نویسی؟
جواب: نیاز هست که با دقت و تمیز پیاده بشه و آیتمهای مختلف رو بررسی کنین حتی در روز مختلف تا استثنا ها رو پیدا و هندل کنین
– من با روبی کار نکردم، سخته انجام دادنش؟
جواب: این زبان شبیه به پایتون هست. بعلاوه میتوانین از gpt و اینترنت هم استفاده کنین تا اطمینان حاصل کنین. پکیج هایی که احتمالا استفاده میکنید: nokogiri, httparty, logging
جهت انجام پروژه لطفا با پشتیبانی تلگرام در تماس باشید:
ای دی تلگرام: omid_ahmadyani@