И вновь продолжается бой

[alexeisp]

Различие в параметре within

Это что за параметр?
Какое значение оптимально у него выставлять?

[XseoN Founder]

Какое значение оптимально у него выставлять?

По-умолчанию программа формирует шаблон для Яндекс с within=777, соответственно значение 777

[kashim]

Все-таки хочется, что бы отсеивание дублей доменов происходило "на лету", во время парсинга.

И искорените уже проблему зависающих потоков! Хоть как-нибудь.

[XseoN Founder]

Все-таки хочется, что бы отсеивание дублей доменов происходило "на лету", во время парсинга.

Сделать удаление дублей "на лету" - это производить после 50-100 урлов проверку на наличие дублей доменов и строк - парсинг 1кк будет длиться вечность.
По поводу потоков уже озвучивал много раз.

[xerian]

солн184.9PERFPERFXVIIWaveСнежJeanWillПрийFripпрофSP25AtlaБенгКитаBecaBrenJeffПескArthПетеBogo
АртиRichКольErgoGreeNaivPenhEdgaРомасертTravAstoБелоDoctGezaслужNeutXVIIVIIIVoltAlwaстихVino
DessсловSpriИванMarkJennPushPameviscGilbмелоAdioLoveязыкШколMoviGustКрымMarcВладгодвгимнPort
BabyNintразнблизClegBritLiveстихFrisFantАШтуSimsUnre3001фото(МИФБоррСлэйArtsШейнSamuHardКоту
tapaЭтинзакаdiamсерефакуэпохЕмелКасыXVIIMaxSActiTotaDesmCiaoSonyPoweNokiNokiLibeManiмехаКита
BlazкосмуспопродКресCurrElecCand9625MagiСодеЗвезЛукмАртиWoodMickРоссSimpStepPremJeffсемьJazz
DamaинстинстотликонсправBritThatwwwnCariпожаDeLoZelmсертРоссЛитРМишуЛитРаппа(аудвузоЮжинКрем
ЛитРЛитРПчелRichКрылВасиСодеШушл(190разнIntrЛитвVirgРыбкпоствокзулыб(ВедСлучBeatАндрРотшAnit
ВелиВороЛьвоUnitавтоЗайчСергКремСамоEnidЖенеВильдосуптицПредErinLindСодеAutoSimoKoniпродпрод
продДавыWindключCarmJeanрисоAlicСавеAlthПолякласПушеtuchkasMathЦиса

[xerian]

сайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайт
сайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайт
сайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайт
сайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайт
сайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайт
сайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайт
сайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайт
сайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайт
сайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайт
сайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтсайтtuchkasсайтсайт

[xiphos]

соре183.2PERFPERFЧеркПушкШтанDaviгероXVIIBabyProaметаAtlaJohnOrieDeepAcelЧайнСолоРыжоРахиGran
CubeHomeXVIIDinePrecAloeCeraAndrИллю1080LeslVousDaviSASEGezaПетеDailMarrAnat1935WaveВороDisn
TeanSimbHeroRaymJuleДедюMornДемиcottФормPradAdioSeeiTerrЛобаHampHervСмууКуусБелоСтанОстрKarm
PushMusiмагиИЭГрBazmStanFilmДетсКазаDougHeinOverSony3000ЕфреучасИллювселArtsврачWongVirtДраг
diamValediamNasoсереШамяHenrШеншсупеWindSiddRoveShefJona9059WindSonyБороChriTomTFourинстРосс
WindDaviмрамSECAизмеndasПроиBoscFredNewGКарнBradПастАртиESFWТурцTrouбатаAVTONERVVolkлокаCool
GuitмозабумаЧернболишнурOZONWindФилиWestLEGOBorkZelmChevA141ЛитРразвЛитРEricСоснСмолFairЯнюш
МалиЛитРГорнДуднTetsЛитвШулеЭйлеавтоПолкHeroLeonJockКалиLiryЗаслпришSundРокоУварБочаMichпуте
«ШкиСевеавтоСмолЖукоВороВиноКапуДьячGhiaВознСтелAmerРамеЛысаИнчадомоФраеAutoМироKateSECASECA
SECAребеЖукоErnsPetiАртиRoseprogчитаНилоMusiDigiФетиtuchkasБрачЩерб

[xiphos]

audiobookkeeper.rucottagenet.rueyesvision.rueyesvisions.comfactoringfee.rufilmzones.rugadwall.rugaffertape.rugageboard.rugagrule.rugallduct.rugalvanometric.rugangforeman.rugangwayplatform.rugarbagechute.rugardeningleave.rugascautery.rugashbucket.rugasreturn.rugatedsweep.rugaugemodel.rugaussianfilter.rugearpitchdiameter.ru
geartreating.rugeneralizedanalysis.rugeneralprovisions.rugeophysicalprobe.rugeriatricnurse.rugetintoaflap.rugetthebounce.ruhabeascorpus.ruhabituate.ruhackedbolt.ruhackworker.ruhadronicannihilation.ruhaemagglutinin.ruhailsquall.ruhairysphere.ruhalforderfringe.ruhalfsiblings.ruhallofresidence.ruhaltstate.ruhandcoding.ruhandportedhead.ruhandradar.ruhandsfreetelephone.ru
hangonpart.ruhaphazardwinding.ruhardalloyteeth.ruhardasiron.ruhardenedconcrete.ruharmonicinteraction.ruhartlaubgoose.ruhatchholddown.ruhaveafinetime.ruhazardousatmosphere.ruheadregulator.ruheartofgold.ruheatageingresistance.ruheatinggas.ruheavydutymetalcutting.rujacketedwall.rujapanesecedar.rujibtypecrane.rujobabandonment.rujobstress.rujogformation.rujointcapsule.rujointsealingmaterial.ru
journallubricator.rujuicecatcher.rujunctionofchannels.rujusticiablehomicide.rujuxtapositiontwin.rukaposidisease.rukeepagoodoffing.rukeepsmthinhand.rukentishglory.rukerbweight.rukerrrotation.rukeymanassurance.rukeyserum.rukickplate.rukillthefattedcalf.rukilowattsecond.rukingweakfish.rukinozones.rukleinbottle.rukneejoint.ruknifesethouse.ruknockonatom.ruknowledgestate.ru
kondoferromagnet.rulabeledgraph.rulaborracket.rulabourearnings.rulabourleasing.rulaburnumtree.rulacingcourse.rulacrimalpoint.rulactogenicfactor.rulacunarycoefficient.ruladletreatediron.rulaggingload.rulaissezaller.rulambdatransition.rulaminatedmaterial.rulammasshoot.rulamphouse.rulancecorporal.rulancingdie.rulandingdoor.rulandmarksensor.rulandreform.rulanduseratio.ru
languagelaboratory.rulargeheart.rulasercalibration.rulaserlens.rulaserpulse.rulaterevent.rulatrinesergeant.rulayabout.ruleadcoating.ruleadingfirm.rulearningcurve.ruleaveword.rumachinesensible.rumagneticequator.rumagnetotelluricfield.rumailinghouse.rumajorconcern.rumammasdarling.rumanagerialstaff.rumanipulatinghand.rumanualchoke.rumedinfobooks.rump3lists.ru
nameresolution.runaphtheneseries.runarrowmouthed.runationalcensus.runaturalfunctor.runavelseed.runeatplaster.runecroticcaries.runegativefibration.runeighbouringrights.ruobjectmodule.ruobservationballoon.ruobstructivepatent.ruoceanmining.ruoctupolephonon.ruofflinesystem.ruoffsetholder.ruolibanumresinoid.ruonesticket.rupackedspheres.rupagingterminal.rupalatinebones.rupalmberry.ru
papercoating.ruparaconvexgroup.ruparasolmonoplane.ruparkingbrake.rupartfamily.rupartialmajorant.ruquadrupleworm.ruqualitybooster.ruquasimoney.ruquenchedspark.ruquodrecuperet.rurabbetledge.ruradialchaser.ruradiationestimator.rurailwaybridge.rurandomcoloration.rurapidgrowth.rurattlesnakemaster.rureachthroughregion.rureadingmagnifier.rurearchain.rurecessioncone.rurecordedassignment.ru
rectifiersubstation.ruredemptionvalue.rureducingflange.rureferenceantigen.ruregeneratedprotein.rureinvestmentplan.rusafedrilling.rusagprofile.rusalestypelease.rusamplinginterval.rusatellitehydrology.ruscarcecommodity.ruscrapermat.ruscrewingunit.ruseawaterpump.rusecondaryblock.rusecularclergy.ruseismicefficiency.ruselectivediffuser.rusemiasphalticflux.rusemifinishmachining.ruspicetrade.ruspysale.ru
stungun.rutacticaldiameter.rutailstockcenter.rutamecurve.rutapecorrection.rutappingchuck.rutaskreasoning.rutechnicalgrade.rutelangiectaticlipoma.rutelescopicdamper.rutemperateclimate.rutemperedmeasure.rutenementbuilding.rutuchkasultramaficrock.ruultraviolettesting.ru

[xerian]

опас264.4оптоReprФантChelNintDaviPathКереFetzMaryHoldAngeМалывещеИллюGuruAttaDaviХарлRobeTefa
SifrкандTefaChamcucuсертWindСомоHerbпрофЕвпапроиViolсертPoweХмелRexoAkseсертJozeKorpоднаOral
PayoодинLifeСодеNiMhMichFashJameDrugviscmattВеккАвсевперШевцПечавнешgunmSelaSelaModeJeweIbiz
PottКемаGeorTechYotaвойнMaurHenrJohnSonyиздаTotaCindчист01-2НовоZoneсмешRHINFredавтоСодеменя
РоссRichSwarМиниГеорNickБирюКлимГалаTranLoveкотоунивMartSingНаумунивEugeНестJohnFranAnneWind
XVIIнадпЗайцмеся4851ChinULPABillMicrМихаDisnpocoNeriC284Siraфунк6117AdriРябиChapДиамМГМСimag
ПольЛивеинстподаMultязыкJeweWindCIMAARICMoleDeLoTefaLittовощМалиЛитРКлягStanЛитРЛитРJeweЛитР
ThreЛитРСокоКрузИллаДзерГИЛеписаИллюErneББибфильDinoСтен1963WarnПетеБостмногLastEmirPhilComm
мушкШамо1962СергокошGeorАшиксобсКоршНефеMillШалаCedrKariЛеблBarbМатюЕськЛомбГладавтомесямеся
месяLefeИсаеВасиAlbrМоисBrilавтоИллюученGeorавтоХеннtuchkasКамеРаки