Если у вас возникли предложения по внесению изменений в руководство, свяжитесь с нами по контактам:

Новое в SEDv4

Пост на нашем форуме http://autosed.com/forum/showthread.php?t=1490&p=29380&viewfull=1#post29380

К сожалению, актуализация информации в руководстве достаточно ресурсоемкий процесс, отнимающий много времени. По возможности мы стараемся делать это, но иногда проще подождать и накопить какой-то критический объем и за один раз обновить, чем каждое обновление добавлять какую-то информацию, а затем после следующего обновления, возможно переписывать и переделывать то, что было обновлено в прошлый раз.

С уважением, SED team.

DEC1308

Этот апдейт был частично выложен несколько дней назад, некоторые из вас это заметили Но мы немного поторопились, там были нужны еще кое-какие доработки, поэтому анонса не было.

1. Парсинг статистики из liveinternet (посетители, просмотры , парсинг ключевых слов по которым пришли)

Для интеграции парсера пришлось допилить структуру парсеров контента, таким образом теперь парсер лиру работает по тому же принципу что и парсер контента, тоесть присутствует ротация проксей и интерфейсов вашего сервера, а так же парсинг лиру выводится в лог седа. Для доступа к лиру используется пароль из socials_password глоб настройки.

Парсинг статы производится по крону /cron/liru_stats/ТОКЕН , для настройки парсинга добавлиась настройка liru_cron_domains_number которая определяет количество доменов парсинга за раз.

Парсинг сделан так чтобы парсить не рандомные домены а по порядку, тоесть последний домен предыдущего запуска крона запоминается и при следующем запуске крона будет парсинг начинатся со следующего домена. Хранение данных будет или в файлах, или в мэмкеше, в зависимости от наличия мэмкеш сервера.

Парсинг ключевых слов так же будет идти по порядку по доменам и работать со сменой прокси\интерфейса в разных сессиях. Для настроек парсинга добавились конфиги liru_cron_queries_domains_number - количество доменов за раз , liru_cron_queries_depth - глубина парсинга ключевых словах, тоесть это сколько нужно парсить ключевых слов с домена.

Ключевые слова можно загрузить с домена или группы с вкладок ключевые слова - Liru queries, в случае домена там будет или ссылка или сообщение что ключей нет. Так же ключи можно скачать самим, лежат они в /data/liru_queries в формате DOMAIN/YYYY-HH-MM.txt

2. Рядом с каждым сайтом сделать ссылку на яндекс и на гугл с оператором site:domain.ru

На главной странице возле каждого домена появились иконки гугла\яндекса со ссылками на индекс домена. По умолчанию в ссылке присутствует /& (вроде как основной индекс)

3. Сделали крон ссылку, которая будет запускать парсинг статистики согласно настройкам (см.выше)

4. В глобальные настройки добавить настройку хранить статистику за N дней, соотв все что старше удаляется - stats_save_days. Удаление сейчас происходит только по крону парсинга статистики лиру, по сколько удалять из фронтенд части достаточно напряжно.

5. На графике ввести линию Li.ru, которая будет отображать эту спаршиваемую статистику

На графике главной страницы появятся линии посетителей и просмотров после того как спарсится статистика с лиру для какого либо домена. Так же на графиках каждого домена так же появится отображение статистики с лиру.

6. В таблице соответственно ввести столбцы li.ru посетители и li.ru просмотры

На главной странице рядом со статой седа теперь через слэш будет отображатся стата лиру, если она есть.

7. На главной странице в списке доменов теперь отображается статистика только посетителей, боты не учитываются.

8. Увеличен размер пулла (random_data_number с файла конфигов фронтенд части) с 25 до 300 для временного кэширования рандомного контента для фронтенда.

9. Исправлен баг кэширования связаный с внутренней логикой фреймворка, суть его в том что при создании уникального названия кэша используются GET параметры данного запроса, при использовании терминалов передается реальный айпи посетителя через гет-параметр, таким образом для каждого айпи генерился свой кэш. Данная проблема была не всегда, а появилась месяц-два назад когда добавлялся даный параметр в терминал.

DEC1309

Пост на нашем форуме http://autosed.com/forum/showthread.php?t=1490&p=29460&viewfull=1#post29460

В этом апдейте доработали статистику, теперь есть возможность проверки индексации дорвеев (Google и Yandex) по крону - /cron/index/TOKEN

Появился новый график, на котором будет отображаться индексация

Также в этом апдейте доработаны фильтры текстовки.

Добавлено к чистке текста:

- Вырезаем пробелы в начале и в конце предложения. - Фильтруем всё кроме -0-9a-zа-я & ., ()!?]

Мы оставили француские, немецкие, испанские,чешские итд буквы, исключили их из фильтрации

- Заменяем несколько подряд идущих спец символов(.,?!) на первый символ. - Режем даты и IP - Разбиваем на предложения и строим правильное предложение - первый символ большой, остальные маленькие, в конце точка и пробел. Мы не придумали пока как определять имена собственные. Если есть предложения - пишите. Заранее указывать все собственные имена чтобы потом сравнивать во время чистки - не предлагать, слишком емкая операция.

Чистка заголовков сниппетов:

- Чистим на всё кроме -0-9a-zа-я Мы оставили француские, немецкие, испанские,чешские итд буквы, исключили их из фильтрации

- Заменяем все знаки препинания на пробелы - Режем лишние пробелы - Первый символ большой остальные маленькие

DEC1310

Пост на нашем форуме http://autosed.com/forum/showthread.php?t=1490&p=29609&viewfull=1#post29609

Завершающее обновление декабря, об этом функционале нас просили очень многие ребята, начиная с лета, в основном конечно это пользователи закрытого форума BSS, они ждали и мы сделали.

Данное обновление логически завершает добавление методов заливки файлов-терминалов на домены - SEDv4 теперь поддерживает WSO.

У нас были определенные сомнения насчет этого функционала, но обойти стороной просьбы пользователей мы не могли.

Были проведены небольшие консультации с заинтересованными пользователями в skype/icq, для выяснения необходимой функциональности, также путем логических размышлений были добавлены некоторые свои идеи и составлен таск.

Обращаем ваше внимание на то, что данный функционал был протестирован вот на этой версии WSO скрипта.

Добавлено

1. Добавилась возможность автоматической заливки доменов через WSO.
2. Добавилось окно Утилиты - WSO config в глобальных настройках
3. Добавлена опция "обфусцировать" в Утилиты - WSO config, чтобы можно было отключать обфускацию файла index.php
4. В группе доменов можно указывать дорвеи, которые должны быть созданы через WSO в таком формате

domain.com/$dir|domain.com/1/2/3/wso2.php|password

/$dir обязательно, его скрипт будет заменять на найденную директорию

5. В управлении группой появилась вкладка Утилиты - WSO creator, работает по тому же принципу что и ISP\FTP заливки
6. В конфиге домена появилась вкладка Утилиты - WSO loader, работает по тому же принципу что и ISP\FTP заливки
7. При заливке используется отдельный список socks5/proxy с авторизацией и без

Настройки:

White list - белый список названий директорий
Black list - черный список названий директорий (по нему директории проверяются в первую очередь)
Proxy - список прокси в формате username:р[email protected] или SOCKS5 (Это обязательный параметр, без него ничего не будет работать! Если вы не понимаете зачем и почему так сделано, то мы настоятельно советуем отказаться от использования данного функционала и направления в целом )
Deep - глубина с которой начинать поиск (глубина от корня домена). 0 - глубина папки в которой находится скрипт WSO (в наших примерах wso2.php):
1 - site.ru/dir1/
2 - site.ru/dir1/dir2/ итд

Create dir - создавать или нет свою папку в найденной папке
Owndir - названия своих папок в которые будут залиты файлы терминала, создаются в найденной директории
Obfuscate - обфусцировать ли файл index.php

Логика:

1. Подключаемся к прокси (списка Proxy) и проверяем соединение с WSO скриптом
2. Забираем весь список директорий относительно корня сайта
3. Фильтруем по Black list
4. Выбираем директории с нужной глубиной
5. Выбираем подходящую директорию из выбранных (приоритет у тех директорий что есть в White list), если нету ни одной директории из White list, то берем рандомную
6. Заливаем туда файлы, если указано Obfuscate, предварительно их обфусцируем
7. Если указан параметр Create dir, создаем в найденной директории свою с рандомным названием из списка Owndir и заливаем в нее файлы, если указано Obfuscate, предварительно их обфусцируем
8. Заменяем $dir в имени домена на найденную папку (потому домены нужно указывать в формате domain.com/$dir)

Исправления/Улучшения

1. Поправлена проблема создания роботс для домена на терминале
2. Для инклуда лиру добавлено еще два варианта "liru" и "li"
3. Дефолтное значение index_cron_domains_number изменено с 1 на 10

Обращаем ваше внимание на то, что данный функционал был протестирован вот на этой версии WSO скрипта. Методы обфускации не раскрываем, кому нужно тот узнает и поймет.

Тестирования работоспособности производились на локальном сервере, поэтому работоспособность функционала и заливаемых файлов-терминалов, будет также зависеть от удаленных серверов и их настроек.

JAN1411

Пост на нашем форуме http://autosed.com/forum/showthread.php?t=1490&p=29899&viewfull=1#post29899

В этом обновлении были реализованы две, на наш взгляд очень важные, фичи:

- обработка макросов в статичных страницах шаблона - интеграция с акселератором PHP - Alternative PHP Cache (APC)

Подробней:

1. Статичные страницы с обработкой макросов (http://sedv4.reformal.ru/proj/?ia=574366). Любой файл в шаблоне с раширением tpl теперь будет доступен на доре, контент на такой странице равноценен контенту на странице категории. К примеру, вы не сможете вывести текущий кей страницы, просто потому, что у нее его нет. Контент берется рандомный, из уже спаршенного по другим ключевым словам. В общем все как на странице категории.

Ссылка на статическую страницу имеет вид domen.ru/PATH/IN/THEME.EXTENSION, где PATH/IN/THEME путь к этому файлу относительно корня темы, а EXTENSION это расширение из настроек домена. Ссылатся на такие страницы можно через новый макрос [sed_static_page_url:path=PATH/IN/THEME] который вернет оносительный урл с правильным расширением.

2. Интеграция с apc опкод кэшером. Очень важное обновление потому как это дает прирост в производительности и уменьшает нагрузку на диск. Суть в том что пхп файлы кэшируются в память и при каждом запросе не нужно их брать с диска и интерпретировать. Для использования этого необходимо поставить php-apc модуль. За разъяснениями обратитесь к своему системному администратору.

3. Добавилась возможность в профиле указывать дробные проценты в отложке. Разделитель - точка. И если раньше, имея 5000 слов и выставляя 99% в отложку мы получали все равно довольно много страниц на дорвее со старта (50 штук), то теперь, выставив 99.9% можно получить всего 5 страниц в основных кеях.

Количество знаков после точки ограничено лишь здравым математическим подходом. Для примера 5000 кеев, указываем 99.99% в отложку. Получается 4999.5 ключей должны попасть в отложку. В данном случае, скрипт округлит в меньшую сторону, т.е. 4999 попадут в отложку, а 1 попадет в основу.

4. В профиле, при указании параметров отложки будет автоматически подсчитываться дата до которой будут публиковаться ключи, чтобы удобнее можно было рассчитывать.

Тоже, в общем-то приятная вещь, которой не хватает некоторым пользователям. Она наглядно даст прогноз, когда опубликуется последний кей на доре, при текущих настройках отложенной публикации.

5. Добавлен макрос [sed_baseurl] который возвращает урл на корень домена, полезно для тех кто размещает доры не в корне сайта. (http://sedv4.reformal.ru/proj/?ia=564065)

6. Добавлены макросы [sed_cat_rlink] и [sed_cat_rurl] которые возвращают ссылку и урл на рандомную категорию дора соответственно.(http://autosed.com/forum/showthread.php?t=1694)

7. Добавлена локализация для всех строк которые еще не были переведены.

[исправлено] в связи с оптимизациями вывода статистики домены которые не имели статистики за посл месяц не отображались (спасибо hatab за этот баг)

Промежуточное обновление в марте

Пост на нашем форуме http://autosed.com/forum/showthread.php?t=1490&p=30509&viewfull=1#post30509

Была проведена полная ревизия всех имеющихся парсеров Исправлены парсеры сниппетов:

Altavista, Ask, Mail, RuYahoo, Softonic, Teoma, Ukr

видео:

DailyMotion, YouTube

картинок:

ImagesQip, ImagesYahoo

Удалены парсеры сниппетов:

InfoSpace - аякс Kvasir - аякс MetaCrawler - аякс MyWay - сервиса больше нет MyWebSearch - аякс SpeedBit - аякс

видео:

PlayUkr - сервиса больше нет

картинок:

ImagesBing - аякс ImagesDogpile - аякс ImagesInfoSpace - аякс ImagesWebCrawler - аякс

Промежуточное обновление в марте

Пост на нашем форуме http://autosed.com/forum/showthread.php?t=1490&p=30594&viewfull=1#post30594

Новый макрос [sed_exec_randfile]

Принимает параметр path - путь к папке от корня шаблона, без слэша спереди

Пример: [sed_exec_randfile:path=papla/papka1;] можно без ;

Из указанной папки будет браться рандомный файл, обрабатываться макросы находящиеся в этом файле, если есть, и полностью весь контент файла, вместе с результатом обработанных макросов будет вставлен в то место шаблона, где использован данный макрос. Проще говоря, в одном из предыдущих апдейтов мы сделали возможность обработки макросов в любых tpl файлах в шаблоне, теперь вот появилась возможность инклюдить рандомные файлы с обработкой макросов в них. Это позволит еще больше разнообразить в конечном итоге дор, заранее подготовленным рандомом.

Отдельная благодарность за этот макрос пользователю seowin, он был инициатором внедрения данного функционала вне очереди.

Feb-Mar14

Подробней на http://searchengines.guru/showpost.php?p=12859393&postcount=741

- Кроны теперь можно запускать как угодно часто! Теперь, при запуске, проверяется запущен ли уже такой крон, если запущен то ничего выполнятся не будет.
- Статистика обрабатывается по крону. Это нужно учитывать и ставить на работу крон, а так же не ожидать моментального изменения статистики на графике, но больших задержек быть не должно судя по тестам.
- Так же по крону подготавливается рандомный контент для фронтенда. Теперь рандомные макросы берут контент не из базы, а из файла подготовленного кроном, это дает прирост в производительности но требует чтобы крон работал иначе у вас рандом будет браться лишь из небольшой выборки данных ( по умолчанию это 500 сниппетов\видео\ключей ).
- Добавлено полное кэширование страниц, страницы так же полностью кешируются и ложатся в хранилище (sqlite), но теперь можно указывать блоки которые не будут кэшироватся используя [NOCACHE][/NOCACHE] блоки.
- Изменено хранилище файлового кэша, теперь это sqlite база за счет чего удаление кэша будет моментально по сравнению с большим количеством файлов.

Теперь макросы находятся в папке /lib/macroses и в названиях макросов, в начале, не нужно подчеркивание.

В новой версии появилось 4 новых крона, поэтому будьте внимательны, запустите их и не забывайте о них и о тех задачах, которые они выполняют!

http://site.ru/backend.php/cron/stats/[TOKEN]

пересчитывает показатели статистики, тоесть по нему будет менятся стата на главной, можно ставить достаточно часто, раз в пару минут, не напряжный.

http://site.ru/backend.php/cron/regenerate_cache/domain/[TOKEN]

обновляет конфиги домена для фронтенда, не напряжный но обновляет сразу всем доменам потому смотрите сами, можно ставить раз пару минут спокойно. РУками можно это обновить из конфигов домена, синяя кнопка.

http://site.ru/backend.php/cron/regenerate_cache/random/[TOKEN]

тоже что и выше но обновляет рандом контент для домена. ЭТО ВАЖНО, рандом берется не из базы а из этого кэша, тоесть если крон не поставить то будет рандом из малого количества данных постоянно. Сейчас берется 500 ключей, сниппетов, картинок, видео и 100 адв конта. Этот момент тоже можете оттестить, хватает ли такого количества данных для "живого" рандома.

http://site.ru/backend.php/cron/regenerate_cache/global/[TOKEN]

обновляет глоб конфиг для фронтенда, вообще не напряжный можно часто ставить, можно руками запустить из глоб конфига по синей кнопке.

APR1414

Пост на нашем форуме http://autosed.com/forum/showthread.php?t=1490&p=30780&viewfull=1#post30780

1. Введена логика наследования данных от странице к странице, проще говоря можно делать какой-то блок, вывести в нем текст, картинку, видео и ссылку на какую-то страницу и при переходе на эту страницу мы увидим полностью или частично тот контент, который был на предыдущей странице.

Реализовано так: добавлен блок [BLOCK][/BLOCK], внутри которого НЕрандомные макросы, такие как sed_snip_title, sed_link, sed_snip_descr, sed_image_large будут отдавать контент по одному какому-то рандомному ключу.

Соответственно, если Вы вставите в блоке макросы [SED_RAND_KEY_LINK] и [SED_SNIP_TITLE], то на странице будет выведена рандомная ссылка с анкором в виде ключевика страницы, например это будет ключ1, на которую ведет эта ссылка и будет выведен один из заголовков сниппетов, спаршенных для ключа1.

Возникает вопрос - что будет на самом старте жизни дорвея, ведь ни по одному ключу ничего не спаршено?

Мы это предусмотрели таким образом, что блоки готовятся только из тех ключей, по которым уже есть спаршенная информация. Таким образом на новом дорвее это будет выглядеть примерно так:

- заходим на страницу по ключу1, информация парсится, формируется страница, блок пустой
- заходим на страницу по ключу2, информация парсится, формируется страница, в блоке данные по ключу1
- заходим на страницу по ключу3, информация парсится, формируется страница, в блоке данные по ключу2

Ключ блока (тот к которому будут принадлежать все данные в блоке), выбирается рандомно из всей базы ключей, по которым уже есть спаршенная информация.

Особенно хочется отметить, что некоторые макросы в блоке меняют свои свойства, например макрос [SED_CUR_KEY_LINK], который по идее должен вывести ссылку на текущую страницу с кеем текущей страницы, выведет ссылку на рандомную страницу с ее ключом в качестве анкора т.е. на страницу ключа блока, учитывайте это.

У каких макросов в этом блоке изменится поведение?

- макросы вывода сниппетов (тайтлов и дескрипшнов)
- макросы вывода изображений
- макросы вывода видео
- макрос вывода адвансед контента
- макрос вывода текущего ключа (CUR_KEY*)

Просто запомните - все что выводится в блоке - берется по рандомному ключу из базы, выбирается ключ и в блоке используются данные исключительно этого ключа, т.е. если в блоке выводится сниппет, то это будет обязательно сниппет принадлежащий этому ключу, если выводится картинка, то это картинка спаршенная по этому ключу итд!

Поэтому если вы хотите организовать правильную перелинковку со следующей страницей, используйте в блоке макросы текущей страницы а НЕ рандомные, например: [SED_CUR_KEY_LINK], который выведет ссылку на страницу ключа данного блока, а [SED_SNIP_DESCR] выведет текст сниппета принадлежащий одному из сниппетов спаршенных по данному ключу.

Тем самым мы выполнили эту просьбу, настолько, насколько смогли продумать http://sedv4.reformal.ru/proj/?ia=497807

2. Возможность скачать все ключи домена или БД ключей. http://sedv4.reformal.ru/proj/?ia=525841 Для этого появились соответствующие кнопки в разделах ключей домена и глобальных настройках, в разделе БД ключей.

3. Исправлены разного рода ошибки, а так же несколько оптимизаций. (Точно не помню, мы их вместе с билларом и чижом находили\правили прим. разработчика)

4. Улучшена работа макроса [SED_ADVCONT], для более логичной работы с новым функционалом наследования. Раньше при каждом вызове этой логики, в макрос выводилась мешанка из спаршенных адвансед текстов по ключу, т.е. при каждой перезагрузке страницы, если она не кеширована, выводился бы разный текст, созданный из того что спаршено по кею.

Таким образом, если в блоке вы бы вывели этот макрос, на странице, на которой вы бы ожидали увидеть тот же результат его работы что и на предыдущей, вы бы с большой долей вероятности увидели бы другой текст.

Для того, чтобы результат был один и тот же, мы внедрили модификатор rand со значениями:

0 - не перемешивать предложения, брать текст из базы по предложениям в том порядке, в котором он расположен в БД 1 - установлен по дефолту, т.е. его можно не указывать, означает что будет выводиться каждый раз мешанка из предложений текста, спаршенного по кею

Apr1415

Пост на нашем форуме http://autosed.com/forum/showthread.php?t=1490&p=30822&viewfull=1#post30822

На сервер залито очередное обновление:

1. Полный импорт\экспорт ключей домена.

- экспорт на вкладке Ключевые слова, в настройках каждого домена. Экспортируется кей с привязкой к категории (первым идет кей, затем через разделитель ; категория)
- импорт: заходим в настройки домена-ключевые слова - новое ключевое слово и в textarea пишем кеи а в select'e сверху выбираем для какой категории. А если select оставить пустым, добавляемые кеи раскидаются рандомно-равномерно. Также вы можете сформировать файл импорта csv и загрузить ключевые слова с привязкой к категории. При этом категория это всегда значение, идущее после самого последнего знака точка с запятой (;).

Запомните это, потому что в следующем месяце это будет играть очень важную роль, появится MULTIKEY, а там формат будет такой:

кей1;значение2;значение3;зна чение3;значение3;категория, т.е. все что будет идти до самой последней точки с запятой в строке - мультикеи, после - категория или ничего, т.е. не будет задана никакая категория, для этого нужно ничего не вписывать после завершающей (;)

Тем самым исполнена эта просьба http://sedv4.reformal.ru/proj/?ia=525841

Внимание! Select в котором выбирается категория, работает только для ключевых слов в textarea (окошко для текста), если вы добавляете ключевые слова через CSV файл, путем нажатия на кнопку Обзор, вам необходимо указать категории для слов, непосредственно в самом файле, вот так:

кей;категория
кей;категория
кей;категория
кей;категория
кей;категория
кей;категория

2. Возможность задавать категорию не только у основных ключевых слов, но и у ключей в отложке!

Теперь Вы можете заранее распределить нужные ключи по нужным категориям.

Внимание! Select в котором выбирается категория, работает только для ключевых слов в textarea (окошко для текста), если вы добавляете ключевые слова через CSV файл, путем нажатия на кнопку Обзор, вам необходимо указать категории для слов, непосредственно в самом файле, вот так:

кей;категория
кей;категория
кей;категория
кей;категория
кей;категория
кей;категория

3. При добавлении ключей через конфиги домена автоматически будет присваиваться категория для этого ключа.

Мы полностью переделали логику присваивания категории ключу, если раньше категория присваивалась непосредственно при генерации страницы по ключевому слову, то теперь категория присваивается ключевому слову сразу, при его добавлении.

4. Улучшена работа с картинками, если сервер не отдает картинку то пытаемся загрузить по очереди все из рандомных и отдать её.

5. Улучшена работа кеша, теперь он не будет создаваться если на странице еще не напарсилось достаточно контента.

Подстраховка от пустых страниц, когда контент не спарсился, страница могла лечь в кеш и отдаваться без контента.

6. Исправлен баг создания дора на базе профиля категорий.

Независимо от выбора шаблона в профиле категорий шаб перебивался на шаб домена

7. Исправлен баг когда домены пропадали с главной страницы админки.

8. Исправлена логика выборки рандомных записей для блоков.

Важно!

При обновлении, примерно на таком моменте, обновление застопорится.

25/75

File "/lib/migration/doctrine/1397589739_keywordscache.php" successfully downloaded Download complete Starting to update files, this may take a while. Не нужно предпринимать никаких действий! Система генерирует кеш для блоков ([block][/block])

May1416

Пост на нашем форуме http://autosed.com/forum/showthread.php?t=1490&p=30900&viewfull=1#post30900

1. Multikey - не буду долго разъяснять что это и для чего. Функционал довольно ожидаемый и во многом нужный. Решили наконец-то восполнить этот пробел.

Теперь вы можете добавлять ключевики в формате

key;mkey1;mkey2;mkey3

где:

key - это основное ключевое слово, по которому генерируется страница
mkey2,mkey3 - мультикеи этого кея, разделяются всегда точкой с запятой, добавлять можно сколько угодно

Выводить в шаблоне эти мультикеи можно макросом [SED_MULTIKEY], у этого макроса как и остальных есть параметр counter, который в случае с этим макросом будет отвечать за то, какой мультикей выведется.

Пример:

key;mkey1;mkey2;mkey3

будут обработаны так:

[SED_MULTIKEY:counter=1] - выведет mkey1
[SED_MULTIKEY:counter=2] - выведет mkey2
[SED_MULTIKEY:counter=3] - выведет mkey3

[SED_MULTIKEY] если указывать макросы без каунтера, то мультикеи будут выведены по очереди.

key - можно вывести любым доступным макросом вывода ключевого слова [SED_CUR_KEY], [SED_CUR_KEY_B] итд

Также в настройках домена, вы можете добавить ключевики в отложку, присвоив им определенную категорию, для этого вы либо в текстовой области выбираете в select'e категорию и добавляете построчно ключи, либо в текстовом файле, формат:

key;mkey1;mkey2;mkey3;category

где:

category - категория в которую будет отправлен кей, если категории нет, она создается и в нее добавляется кей. за категорию принимается любой набор символов, который идет после завершающей точки с запятой в строке, т.е.

key;qwer1;qwer2

будут обработаны так:

key - кей страницы
qwer1 - мультикей
qwer2 - категория

а вот если добавить в конце точку с запятой:

key;qwer1;qwer2;

то qwer2 будет уже мультикеем, а категория в данном случае будет присвоена рандомная, потому как после последней точки с запятой ничего нет.

Поэтому вот с этим моментом будьте внимательны

Очень важно понимать, что в БД ключей и в текстовую область не имеет смысла добавлять category потому что:

1. В БД ключей ключи используются и получают категорию либо рандомную, если вы работаете с профилем, либо определенную, если работаете с профилем категорий. 2. В текстовую область, потому что там над текстовой областью есть селект, в котором можно выбрать в какую категорию добавляются кеи

Т.е. фактически категорию вы будете использовать только тогда, когда будете добавлять в настройках конкретного домена ему в текущие кеи или кеи в отложку из txt файла с данными нужного формата - key;mkey1;mkey2;mkey3;category

2. Парсинг данных для config.yml - очень важное и полезное обновление, которое упростит логику вашей работы с шаблонами.

Теперь вам больше не нужно заботиться о том, сколько и какого контента (content) вам нужно указать в config.yml, а также не нужно перечислять названия папок (routes), в которых содержатся файлы темплат.

Все это теперь делает сам скрипт при сохранении любого файла (заходите в глобальные настройки - редактирование шаблона, на любом выбранном файле жмете Save)

Но в некоторых случаях пользователю необходима возможность задавать собственные параметры в config.yml. В этом случае необходимо отключить наш генератор, сделать это можно так

Эту особенность можно отключить и сделать так, чтобы подхватывался файл, созданный пользователем (отключить наш генератор):

В файле

/apps/backend/config/app.yml

template_config_builder: true

меняем на

template_config_builder: false

и чистим папку

cache/backend/prod/config

May1417

Произошли улучшения встроенного редактора шаблонов:

1. Редактор теперь с подсветкой синтаксиса 2. Появилась нумерация строк 3. Кнопки быстрого перехода к самым популярным тегам - head, body, title, h1-6, div'ы и p'шки 4. В дополнение к быстрым кнопкам, появился поиск по коду 5. Добавлен список макросов справа, к этим макросам добавлены комментарии 6. При вставке макроса, вставляется макрос+все возможные модификаторы с демо данными, чтобы было понятней в каком формате что прописывать 7. Быстрая фильтрация макросов из списка

8. Самое или почти самое главное - добавлена возможность просмотра Preview шаблона! Дада, теперь можно смотреть превью шаба, после каждого изменения!

Внимание! Preview шаблона - это по факту генерация демо дорвея. Дорвей этот генерируется на главном домене системы, т.е. на том, на котором лежит ваша сед4 админка.

Поэтому пожалуйста, не используйте более этот домен под свои доры, потому что после каждого предпросмотра шаба, ваш дорвей, если он есть, будет перегенерироваться с демо данными!

Jun1418

Поработали над тематичностью разрастания:

1. Добавлен парсинг заголовков статей адв конта (h1 или title). Данный функционал необходим для создания ключей для ссылок разрастания со страниц не использующих парсинг заголовков сниппетов. В данном случае h1 или title парсится, а затем обрабатывается и из него получается ключевик, из которого делается ссылка разрастания (см. пункт 2)

2. Добавлено разрастание по заголовкам адв конта. Собственно сама логика разрастания для ключей сделанных из данных со страниц с адвансед контента.

3. Добавлены макросы [SED_R_ACT_ADVCONT], [SED_ACT_ADVCONT]. Эти макросы выводят рандомную ссылку разрастания (рандомную в рамках всего дора) или ссылку разрастания сделанную из кеев получившихся при парсинге страниц на адвансед контент.

4. Добавлены группы стоп слов (Стоп-слова) с возможностью указывать их в профиле. Эта логика имеет непосредственное отношение к регулированию разрастания, а именно поможет фильтровать нежелательные ключи, в состав которых входят заданные вами стоп-слова.

По этим стоп словам фильтруются кеи сделанные из Загловков сниппетов (такие ссылки разрастания выводятся макросами [SED_R_ACT_SNIP_TITLE] и [SED_ACT_SNIP_TITLE]) или из Адвансед котнтента (h1 или title, которые выводятся новыми макросами [SED_R_ACT_ADVCON], [SED_ACT_ADVCONT]) на стадии их обработки. Если кей прошел лист стоп-слов, идем дальше и применяем фильтр схожести (см. пункт 5)

Для удобства все сделано так, чтобы вы могли создавать разнообразные группы стоп-слов под разные тематики например и затем в зависимости от необходимости применять к группе или к отдельному дору ту или иную группу стоп-слов. Очевидно ведь, что для фармы будут хороши свои стоп-слова, а для адалта свои

5. Фильтрация разрастания по проценту схожести ключа текущей страницы и потенциального ключа (настройка Growth match percent), который будет изготовлен из заголовка сниппета\адв конта. Задачей данного алгоритма является улучшение тематичности разрастания, он пока не идеален, но вместе с вами мы его допилим, с помощью ваших фидбеков. Полный алгоритм работы этого фильтра раскрываться не будет. Суть такова: после того как кей прошел лист стоп-слов мы сравниваем его с текущим ключевым словом страницы, если процент совпадения удовлетворяет заданный вами в настройках порог - кей проходит и может учавствовать в перелинковке, т.е. может быть выведен одним из 4х вышеперечисленных макросов, если кей не прошел - значит не прошел. Но если кей прошел, мы применяем последний фильтр (см. пункт 6)

6. Добавлена возможность задавать максимальную длину будущего ключевого слова для логики разрастания (настройка Growth title words number). После того как кей прошел все стадии (получение кея из заголовка сниппета или из title/h1 адвансед контента → фильтрацию по группе стоп-слов → фильтрацию по проценту схожести с основным кеем страницы), итоговый кей обрабатывается этим фильтром. Есть возможность указать количество слов (ДО) из которых должен состоять кей. Словом считается набор из 3х подряд идущих букв (тоже не идеально конечно, но лучше чем пропускать 1-2 буквенные слова)

Таким образом мы удовлетворили данную просьбу http://sedv4.reformal.ru/proj/sedv4?ia=518464

Также добавился новый функционал, задачей которого является отсев мусорных сайтов при парсинге Адвансед контента:

7. Добавлены доменные зоны (domain zones) для фильтрации доменов с которых парсится адв конт, работают по принципу белого списка. Все мы прекрасно знаем, что есть абсолютно мусорные доменные зоны, на которых вряд ли располагаются нормальные сайты. Данный функционал поможет отсечь заведомо захламленные доменные зоны, включив в White list только нужные, по-вашему мнению. Понятно что на RU'шках полно дорвеев и прочего хлама, но на каких-нибудь co.cc, cz.cc % хлама будет гораздо более высоким.

Чтобы не разбрасывать по тексту, отдельными пунктами опишем изменения по интерфейсу (где находятся настройки описанные выше):

1. В Глобальных настройках появились группы стоп-слов и фильтр доменных зон (отдельные группы табов в менюшке) 2. В профиле появились Доменные зоны , Группы стоп-слов, Конфиг процента совпадения ключа. 3. В Настройках домена (в настройках Группы доменов пока нет) появились новые страницы - Группы стоп-слов, страницы фильтра доменных зон и настроек совпадения ключа

Также в этом апдейте добавлено:

8. Добавлен макрос рандомизации [var1|var2|var3]. Макрос не нуждается в представлении, но все же - его задачей явлется подставновка рандомного варианта из указанных var1, var2, var3. Выполнена просьба http://sedv4.reformal.ru/proj/?ia=522074

Jul1419

В этом апдейте добавлена генерация контента по алгоритмам Панченко и Маркс. Текст генерируется из спаршенного контента страницы.

Добавлен соответствующий макрос [SED_GENERATE]

Его параметры:

type - алгоритм генерации. pan или marks, по умолчанию будет рандомный.
symbols - количество символов в формате 400-1000, то есть MIN-MAX
paragraph - количество параграфов в формате MIN-MAX
ptype - html элемент в который будет оборачиватся параграф, по умолчанию p
pclass - хтмл атрибут class, по умолчанию ничего
chunk - количество слов для одного блока в алгоритме Маркса, по умолчанию 5. Для алгоритма Панченка ничего не сделает.
chunks_in_sentence - количество блоков в одном предложении, используется только для алгоритма Маркса, по умолчанию 2.

Aug-Free (fixes)

1. В новом фронтенде не работал функционал времени кэша, то есть кэш ложился на всегда. Сейчас всё отрабатывает как должно.
2. Убраны проверки на тип файлы на формах добавления ключей и отложки в домен, на некоторых серверах эта проверка лагала и выкидывала ошибку "Поддерживается только тхт файлы"
3. Исправлена проблема когда крон перестает работать если выполнение прекратилось неожиданно ( оборвался процесс ).
4. Исправлена ошибка в системе роутинга седа, когда картинки не опрделилялись и кидало на 404. Данная ошибка только при роботе с терминалами.
5. Исправлена ошибка когда макросы вида sed_r_act_* выкидывали пхп ошибки.

Feb15 (03/02/15) - не регулярный

Подробности на форуме

1. Разработан блок отложенной публикации контента:

[postponed:days=5]
….Контент завернутый в этот блок появится через заданное количество дней….
[/postponed]

Использовать нужно с [nocache][/nocache] блоком или выставить короткое время жизни страницы. Потому что, SEDv4, проверяет не подошла ли дата публикации, при каждой загрузке страницы, соответственно при первой же загрузке страницы, если не управлять кешированием, макрос postponed вернет пустой результат (если время не подошло) и страница с этим пустым результатом ляжет в кеш.

2. Для блока отложенной публикации разработана спец. логика и блок одноразового кеширования [once-cached][/once-cached].

Пример использования совместно с блоком отложенной публикации:

Эта конструкция добавляется предварительно в шаблон, затем генерируется дорвей.

[once-cached]
[postponed:days=5]
[любой макрос SEDv4]
[/postponed]
[/once-cached]

Описание результата:

после генерации дорвея, создались страницы с блоком одноразового кэширования и блоком отложенной публикации, они легли в кеш.

Через 5 дней (days=5), со дня создания дорвея подходит срок публикации.

Без изменения этой закешированной страницы, единоразово, в страницу. инклюдится результат выполнения макросов находящихся в блоке postponed окруженном once-cached блоком и страница с этим результатом ложится обратно в кеш.

При этом, все что было до этого на этой странице, остается в неизменном виде, добавляется только результат выполнения макроса.

3. Созданы макросы:

sed_extlink_randcat_link + параметр ucfirst =1 - вывод с последовательной ротацией рандомной анкорной ссылки рандомного домена из перелинковки, есть параметр ucfirst, работает так же как и выше

sed_extlink_randcat_url - вывод с последовательной ротацией рандомной безанкорной ссылки рандомного домена из перелинковки, т.е. голый URL

sed_allcat_link - вывод списком анкорных ссылок на главные страницы всех категорий (в куче, без разделителей)

Нижеприведенные макросы работают по такой логике: подразумевается, что от страницы к странице, ссылки будут выводиться по очереди, когда все категории использованы, ротация начинается заново. В рамках одной стараницы категория не повторояется (т.е. если у нас 4 категории, а макросов вывода 5 шт, 1 макрос не вернет ничего)

sed_rcat_link + параметр ucfirst =1 - вывод с последовательной ротацией ссылок на главные страницы всех категории. Есть параметр ucfirst в котором можно указать 1 и тогда у якоря ссылки будет первый символ большой.

sed_rcat_url - вывод с ротацией урлов (ротация у этих макросов общая)

[SED_RAND_LINE] - в макрос добавлены новые модификаторы, позволяющие вставить в строки текста текущий ключевик страницы, а также ИМЯ категории, слова в ключевиках могут быть перемешаны (было "лучшие автомобили мира" стало "мира автомобили лучшие"):

key= количество вставки ключей в текст
mix= процент (%) от количества key, которые будут перемешаны

Например: [SED_RAND_LINE:path=papka/;numb=3;delim=<br>;del=1;ser=1;key=2;mix=50]
будут взяты 3 строки и в них будет вставлен текущий ключ 2 раза, 1 раз из этих 2х, слова в кее будут перемешаны (параметр mix=50)

По аналогии с предыдущими параметрами были сделаны еще два, в связи с тем, что на странице категории, вышеприведенный параметр key, будет выводить каждый раз рандомный ключ категории, потому что у КАТЕГОРИИ в SEDv4 нет ключа. В данном случае, было решено использовать в качестве ключа - ИМЯ категории.

cat= количество вставки ИМЕНИ категории в текст
mixcat= процент (%) от количества cat, которые будут перемешаны

Параметр cat, при использовании на странице ключа, вставит ИМЯ категории, к которой принадлежит ключ этой страницы.

Была произведена полная инспекция всех парсеров:

Парсеры сниппетов:

Softonic - удалены, внешний провайдер. Nigma - удален, внешний провайдер. Conduit - удалён, сервиса больше нет. Google - исправлен, изменилась верстка Bing - исправлен, изменилась верстка. Lycos - удален, возвращает хрень для бота. Search - исправлен, изменилась логика выдачи.

Парсеры видео:

Tvigle - удален, изменилась логика отображения видео на странице Dailymotion - исправлен, изменилась верстка. Youtube - исправлен, изменилась верстка. MailVideo - исправлен, изменилась верстка.

Парсеры картинок:

ImagesMail - исправлен, изменилась верстка. ImagesRuAsk - исправлен, изменилась верстка. ImagesGoogle - исправлен, изменилась верстка. ImagesAsk - исправлен, изменилась верстка.

Apr15 (18/04/15) - не регулярный

Подробности на форуме

[Добавлено] Отключение категории (роута) в URL дорвея (было так site.ru/route/key.html, теперь можно сделать так site.ru/key.html):

1. Добавилась галочка в настройках URL "категория"
2. Если галочка выключена то ссылки будут вести на страницы ключей без категории, страницы категорий будут отдавать 404 как и страницы ключей с категориями.
3. Обновлен генератор ссылок
4. Обновлен генератор карты сайта
5. Обновлена заливалку в фермы
6. Обновлены макросы генерации ссылок (потенциально могли что-то пропустить так что стоит хорошо потестить), макросы категорий и т.д. будут работать как и раньше, потому НЕ НУЖНО их использовать, если юзаешь эту фичу
7. Обновлена форма профиля и логику генерации домена по профилю
8. Обновлена форма конфигов домена и группы доменов

[Добавлено] Добавление rewriterule в корневой htaccess, что позволит заливать дор в директориюА, а отображать дор используя виртуальную директориюБ, что, в свою очередь, сделает URL дорвея короче.

Если указать папку (PAPKA) в задании, при создании дора:

domain.com/$dir|domain.com/1/2/3/wso2.php|password|PAPKA

в корневой htaccess будет добавлено соответствующий rewriterule и дор будет доступен не по физическому адресу залитых терминалов, а по domain.com/PAPKA

Стоит учитывать, что эта операция требует времени и это сильно завязано на max_execution_time. Если не все задания отработают, понять на каком случился сбой, можно будет по тому, что последний домен, на котором случился сбой, добавится в группу - Без группы (дефолтная группа в SEDv4)

Если в задании указать так:

domain.com/$dir|domain.com/1/2/3/wso2.php|password|

или так

domain.com/$dir|domain.com/1/2/3/wso2.php|password

то корневой htaccess не трогаем и просто льем в найденную папку, итоговый URL дорвея получается такой какой же, как и путь к физической директории (т.е. все по старому)

[Добавлено] Кнопка массового удаления доров. На главной, жмешь кнопку, в окошке вписываешь урлы доров и сед удаляет их. Удобно для тех кто работает масштабно

[Добавлено] Touch на файлы заливаемые и изменяемые файлы: корневой htaccess, файлы терминалов которые заливаем (htaccees + index.php) и папка которую мы для них создаем, ставится дата минус 10-30 дней от текущей даты, рандомно.

[Добавлено] Установка chmod 0444 на корневой htaccess

[Добавлено] Добавлен макрос sed_maplinks (делает перелинковку кольцом между страницами кеев), выводит ссылки в UL LI

параметры:

number - количество ключей до и после, то есть параметр 3 будет говорить что нужно 3 ключа до и 3 после вывести. По умолчанию 5
mix - перемешивать ссылки или нет, по умолчанию нет (true\false, 0\1)

работает только на странице ключа

[Улучшено] Оптимизирована работа заливщика в случае, если встречается невалидный доступ. Раньше, в таких случаях, система считала что проблема в нерабочем прокси.
[Улучшено] Оптимизирована логика поиска директорий для функции заливки терминальных файлов через функционал webshell. Теперь список директорий в которые производятся попытки загрузки терминальных файлов ограничен 100 подходящими под условия путями и таймаут на каждое действие ограничен 60 сек. 60 сек на один запрос на сервер. Одно задание = 1 дорвей = несколько таких запросов: получить директории, залить htaccess, залить index.php, поправить корневой htaccess (если необходимо), создать папку в которую заливаем терминальные файлы (если необходимо).
Раньше, при выполнении какого-нибудь задания, могла сложиться ситуация, когда SEDv4 натыкался на сайт из задания, в котором было очень много подходящих директорий, но ни в одну из них загрузить не получалось и заканчивалось по таймауту max_execution_time, с ограничением в 100 папок ситуация чуть улучшается.
[Улучшено] Оптимизирована логика установки touch на файлы и папки.
[Улучшено] Для работы файлов терминалов теперь не используется CURL, работа идет напрямую через socket'ы, что позволяет терминалам работать на серверах без установленной библиотеки CURL
[Исправлено] При работе терминальных файлов в исходном коде страницы возникали символы (числа и буквы), проблема была в https://ru.wikipedia.org/wiki/Chunked_transfer_encoding
[Исправлено] Регистрация счетчика Li.Ru. В случае когда дорвей лежал во внутренней директории, SEDv4 передавал в Ли.Ру урл дорвея с папкой, что вызывало ошибку.

May15 (30/05/15) - не регулярный

[Добавлено] Новые возможности авторизации в WSO.

В задании можем указывать в том месте где сейчас указывается пароль cookie - если хотим использовать куку из настроек, для авторизации UA - если хотим использовать юзерагент None - если не используем пароль свой_пароль - соответственно если пароль используем

[Добавлено] Изменения в логике поиска подходящей директории для заливки через WSO.

Ранее WSO менеджер мог залить в директорию, доступ к которой через http был закры согласно директивам файлов htaccess, лежащих на одном из уровней.(deny from all) и при попытке захода на дорвей выдавалась 403 ошибка. Логика изменена. Если находим хоть 1 htaccess с содержимым deny from all от корня до директории на уровень выше той, в которой лежат терминальные файлы - пропускаем этот путь и пытаемся залить по тому, у которого в директориях нет таких htaccess

[Исправлено] Актуализированы все парсеры (29.06.15)

Text SE

WebAlta - исправлен, поменялась верстка Altavista - исправлен, поменялась верстка RuYahoo - исправлен, поменялась верстка Rambler - исправлен, поменялась верстка MySearch - исправлен, поменялась верстка Yahoo - исправлен, поменялась верстка Teoma - исправлен, поменялась верстка

Video SE

Vimeo - исправлен, изменилась верстка UStream - исправлен, перешли на аякс MailVideo - исправлен, изменилась верстка

Image SE

ImagesRambler - исправлен, изменилась верстка

[Исправлено] Проблема с битыми картинками на дорвеях, отображаемых через терминальные файлы, после перехода на работу с сокетами. Сервер отдавал больше контента чем надо было. То есть тело ответа сервера было больше чем Content-Length хэдер, в связи с чем, при попытке открыть / подгрузить такую картинку, выдавалась ошибка "Изображение не может быть показано, так как содержит ошибку."

Mar16 (24/03/16) - не регулярный

Snippets

lib/parsers/snippets/Ask.php

- Change all data detection xpath
- Change url detection logic

lib/parsers/snippets/ExactSeek.php

- Change description detection logic

lib/parsers/snippets/Google.php

- Change all data detection xpath - Change url detection logic

lib/parsers/snippets/Qip.php

- Change item container & description detection xpath

lib/parsers/snippets/RuAsk.php

- Change all data detection xpath

lib/parsers/snippets/TalkTalk.php

- Change description detection xpath

lib/parsers/snippets/Teoma.php

- Change all data detection xpath - Chnage url detection logic

lib/parsers/snippets/Avg.php

- deleted

Images

lib/parsers/images/ImagesGoogle.php

- Change description detection xpath & logic - Add additional template parser for mobile version

lib/parsers/images/ImagesICQ.php

- Change large image detection logic

lib/parsers/images/ImagesMail.php

- Add additional template parser for JSON version

lib/parsers/images/ImagesQip.php

- Change all data detection xpath

lib/parsers/images/ImagesRambler.php

- Change JSON detection pattern - Replace [] with array() (back compatibility with php 5.3)

lib/parsers/images/ImagesRuAsk.php

- Add title verification to exclude errors when it doesnt exists

lib/parsers/images/ImagesYahoo.php

- Change img detection logic

Videos

lib/parsers/videos/MailVideo.php

- Trim title content

lib/parsers/videos/Vimeo.php

- Change item container detection xpath

lib/parsers/videos/Tochka.php

- deleted

[Улучшение] Добавлено условие, по которому логи включаются/выключаются отдельно для каждого, а не всем. Теперь не возникает проблем/ошибок 500 при попытках отключения вывода ошибок с использованием php_flag display_errors off

Навигация

После оплаты


* Что делать после оплаты?


Новое в SEDv4

* Новое в SEDv4 Это те обновления, информация о которых пока не вошла в данное руководство


Видео инструкции

* Видео-инструкции


Установка

* Настройки сервера

* Установка


Ошибки

* Что делать в случае ошибок?


Главная страница

* Главная страница

* Добавить группу

* Редактирование группы

* Управление группой

* Настройки домена


Глобальные настройки

* Главная

* Парсеры

* Интерфейсы

* Прокси

* Стоп-слова

* Макросы

* Шаблоны

* Профили

* Профили категорий

* БД ключей

* Фильтр сниппетов

* Настройки TwiFarm

* Боты

* Утилиты

* Системные логи


Домены

* Домены


Статистика

* Статистика


Новости

* Новости


Профиль

* Профиль


Обновление

* Обновление


Важные логики SEDv4

* Парсинг продвинутого контента

* Логика наследования данных от странице к странице

* Крон ссылки SEDv4

* Как происходит парсинг в SEDv4

* Создание своего парсера в SEDv4

* Все о шаблонах SEDv4

* Встроенный клоакинг SEDv4

* Кеширование в SEDv4


Нагрузка SEDv4

* Сколько дорвеев выдержит SEDv4


Пересечение ключей в дорвеях

* Пересечение ключей в дорвеях


Ответы на частые вопросы (FAQ)

* FAQ


Интересные мысли/солянка

* Уникальность контента

Печать/экспорт
QR Code
QR Code Новое в SEDv4 (generated for current page)