Оказалось базы растолстели до 500-600 Мб.

Пошел выяснять в PhpMyAdmin в чем же собственно дело и оказалось, что в базах ненормальным образом разрослась таблица wp_posts, в которой хранится собственно содержимое постов, хотя количество постов на блоге составляло всего лишь порядка нескольких сотен.

Дальнейшие изыскание выявили, что столько места в таблице заняли различные ревизии этих самых постов. У каждого поста имелись десятки ревизий!

И ревизии эти отстояли по времени своего сохранения друг от друга примерно на два часа, что как раз соотвествует  интервалу проверки обновлений rss-лент источников плагином Feedwordpress, т.е. плагин почему-то самым бесстыдным образом при каждой проверке ленты на предмет появления в ней новых сообщений обновлял содержимое постов, сохраняя предыдущее содержание в базе.

В то же время блоги с wp-o-matic такой проблемы не имеют.

Да и вообще post revision появились в wordpress начиная с версии 2.6.

Встроенных в wordpress средств для удаления или отключения сохранения ревизий я не нашел. Однако для борьбы с этой напастью нашелся хороший плагинчик, который во-первых после активации удаляет из базы все лишние ревизии постов, а во-вторых отключает возможность создания новых ревизий.

Мой блог находят по следующим фразам:

• управление KMplayer
• wp и права на достъп 755 на файловете
• как записать видео KMP из ТВ тюнера
• «wp security scan» +»You do not have sufficient permissions to access this page.»
• почему после установки вордпресс кодировка 1251
• spisok kanalov U8000 rh hybrid

Мой блог находят по следующим фразам:

• бесплатный сжимающие прокси
• бесплатные сервисы по сжатию трафика
• GT-U7200 GIGA-BYTE
• ТВ тюнер Gigabayt
• бесплатное сжатие трафика
• Установка WordPress права на файлы и папки

Пример использования YQL:

1. Вводим в  текстовом поле модуля YQL:

   select * from feed where url='http://digg.com/rss/index.xml'

   Этим запросом мы получим на выходе модуля содержимое http://digg.com/rss/index.xml;

2. Вводим в  текстовом поле модуля YQL:

   select title from feed where url='http://digg.com/rss/index.xml'

   Этим запросом мы получим на выходе модуля не всё содержимое http://digg.com/rss/index.xml, а только заголовки фида;

3. Вводим в  текстовом поле модуля YQL:

   select * from rss where url in ('http://digg.com/rss/index.xml','http://feeds.mixx.com/MixxPopular') | sort(field="pubDate")

   Этим запросом мы получим на выходе модуля содержимое двух фидов отсортированное по дате;

4. Вводим в  текстовом поле модуля YQL:

   select * from flickr.photos.info where photo_id in (select id from flickr.photos.search where woe_id in (select woeid from geo.places where text="san francisco, ca") and tags = "fog")

   Этим запросом мы ищем фото на Flickr помеченные тэгом «fog» и относящиеся к Сан-Франциско.

Это только самые простые примеры того, что можно делать.

Модуль имеет два режима вывода: «Results only» и «Diagnostics and results». В первом режиме выводятся только результаты обработки запроса, а во втором еще и различная дополнительная информация.

Тестировать работу ваших YQL-запросов можно в YQL-консоли, кликнув на ссылку «Try in the console». YQL-коносль содержит примеры различных запросов.

Мой блог находят по следующим фразам:

• настроики kmplayer
• сервис БВК
• GT-P8000 проблема звука
• бесплатная програма сжатие трафик gprs
• gigabyte gt p6000
• сжатие трафика gprs бесплатная програма

Pipes charset encoding and pubDatePipes has had a problem handling certain character sets in various feeds and XML documents. The good news is that we believe we’ve finally isolated the issue and the release today should solve the mangling problem for a majority of feeds in our system. If you are using the http://william.cswiz.org/tool/xmliconv/ hack, you can still continue to use it, but you should be able to fetch the feeds directly now.

We also fixed the pubDate on our output. We will display the 4 digits of the year (2008) vs. the 2 digits (08).

Что вкратце можно перевести как: «Хорошая новость, ребята, сегодня мы закончили работу по внедрению обработки кодировок отличных от utf-8 в модуле Yahoo Pipes — Fetch Feed.
Если до этого вы использовали для перекодировки ваших фидов в кодировку понятную Yahoo Pipes описанный здесь способ, то вы можете продолжать его использовать, однако теперь выдергивание содержимого rss-фидов можно осуществлять напрямую.

Кроме того мы изменили pubDate на выходе ваших труб. Теперь будет отображаться 4 цифры года (2008) вместо 2 цифр (08).

Попробовал, и действительно все фиды которые прежде приходилось пропускать через перекодировщик теперь работают напрямую нормально.

Мой блог находят по следующим фразам:

• yahoo pipes руководство
• сжимающий прокси
• kmplayer тв тюнер
• WPress delirium скачать
• лучшая программа тв тюнер
• Адрес прокси сервера хорошо сжимающего трафик

При такой вырезке сам текст не повреждается! Ссылки из ссылок превращаются в обычный текст!
Модификатор «g» обязателен, он означает для Yahoo Pipes, что замена должна проводится во всех вхождениях, если модификатор не будет включен, то в каждой записи ленты будет обработана только первая ссылка!

Подобным же образом можно вырезать не только ссылки но и любые другие тэги.

Мой блог находят по следующим фразам:

• handy cash скачать бесплатно программа сжатия интернет трафика на русском бесплатно
• globax сжатие трафика скачать бесплатно
• Лучшая программа телевидения
• tunnel сжимать трафик
• сжиматели трафика
• yahoo pipes regex

А на самом деле всё очень и очень просто: для этого воспользуемся модулем Filter, который позволяет задать несколько правил для фильтрации и очень гибко её настроить… возможна фильтрация например по признаку наличия в содержимом предмета фильтрации какого-либо выражения или его отсутствия. Но в контексте заданного вопроса важно что при фильтрации в качестве правила можно задать регулярное выражение (да-да! я знаю вы их очень любите ).

Ниже привожу пример фильтра:

Что делает этот фильтр? Он делает следующее: пропускает дальше в ленту только элементы ленты item.description которых описывается регулярным выражение «.{275,}«, где «.» — это любой символ, а то что находится в фигурных скобках {} — это квантификатор, который определяет сколько раз выражение (в данном случае «. » — любой символ) может встречаться.

Квантификатор задается следующим образом:

{m,n}

общее выражение, повторений может быть
от m до n включительно

{m,}

общее выражение,
m и более повторений

{,n}

общее выражение,
не более n повторений

?

Знак вопроса означает
0 или 1 раз (то же самое, что и {0,1})

*

Звёздочка означает
0, 1 или любое число раз (то же самое, что и {0,})

+

Плюс означает
хотя бы 1 раз (то же самое, что и {1,}).

Таким образом, в показанном на рисунке примере фильтр пропускает в ленту только элементы в описании которых 275 и более символов.

Аналогично можно сделать что-нибудь подобное……..

Мой блог находят по следующим фразам:

• префикс таблицы вы не имеете достаточно прав для доступа к данной странице. wordpress
• ВИДЕОПЛЕЕРЫ с ТВ тюнером
• pipes fetch page utf8
• сpanel установить wp вручную
• как работать с Yahoo Pipes
• как работать с Yahoo Pipes

Показываю на примере помещения модуля Fetch Page в  модуль Loop:

1. Сначала добавляем в наш pipe модуль Loop обычным так сказать способом (нажимая плюсик на иконке с названием модуля в списке доступных модулей):

2. Дальше просто перетягиваем модуль Fetch Page из списка доступных модулей в центральную область модуля Loop:

3. Заметьте — именно перетягиваем, а не нажимаем плюсик  на иконке с названием модуля Fetch Page в списке доступных модулей!!! Тогда всё получится

Мой блог находят по следующим фразам:

• presto pvr
• полный текст rss описание
• page parse yahoo pipe
• капча wordstat
• wordpress security scan Вы не имеете достаточно прав
• лучшая тв карта

  В этой части я расскажу как сделать с помощью Yahoo Pipes тоже самое что и в прошлой, т.е. получить полный текст новости из фида, если в RSS-ленту отдается не полная статья, только несколько иным способом.

  Тем кто не читал предыдущую статью  лучше сначала почитать её.

  Для примера возьму тот же rss-фид с анонсами новостей на Allboxing.ru.

  Сама разработанная мной труба (pipe) представлена ниже:

  Итак, главное отличие этой трубы от трубы показанной в первой части заключается в том что в первой части мы из исходного rss-фида брали только содержимое item`а link и формировали содержимое конечного фида полностью вручную (создавали в чистом фиде 2 item`а: title (заголовок) и description (описание)), а здесь мы не будем сами формировать содержимое фида а возьмем за основу имеющийся фид со всеми имеющимися в нем item`ами и будем только лишь заменять в нем содержимое item`а description (будем записывать в него вместо анонса полный текст новости), не трогая содержимое других item`ов.

  Здесь также следует сделать отступление и сказать что теперь так как мы берем исходный фид за основу полностью то в отличие от первой части для нас становиться важным то что Yahoo Pipes не дружит со многими русскоязычными фидами имеющими кодировку отличную от utf-8, поэтому исходный фид мы сначала конвертируем в понятную Yahoo Pipes кодировку. Делается это просто… подробно описано как мной здесь. 

  В первой части поскольку в модуле Loop была выбрана опция “emit all results” то на выходе модуля создавался полностью новый фид содержащий только лишь item content в который выдавался результат работы модуля Fetch Page. Теперь же мы поступаем по другому и в модуле Loop выбираем опцию “assign first results to item.description”. Таким образом, содержимое фида не перезаписывается а результат работы модуля Fetch Page (то есть полное содержимое новости выдранное из страницы по ссылке указанной в item`е link) дописывается в подмодуль content item`а description. На выходе модуля Loop имеем:

 Причем, заметьте что результат выдается именно в подмодуль item`а description а не в сам item description несмотря на то что в опциях модуля Loop указан вывод в item description. Поэтому после модуля Loop применяем модуль Rename чтобы переписать содержимое подмодуля content item`а description непосредственно в сам item description (в опциях модуля вводим: “item.description.content” rename “description”). На выходе получаем:

  Дальше опять идет модуль Regex только в этот раз в нем будет меньше правил чем в первой части поскольку теперь нет необходимости выполнять какие-либо манипуляции с содержимым  item`а title поскольку он берется из исходного фида и уже итак не содержит ничего лишнего. Нам нужно только сделать так, чтобы item description содержал только текст новости без заголовка. Для операции “очистка” задаем в модуле Regex те же два правила что и в первой части:

•  заменить в item`е description:  “^<h3 class=”title”>[^<]*</h3>” на – “пустой текст”; этим правилом я просто затираю содержимое item`а description, находящееся в нем между “<h3 class=”title”>” и “</h3>”, то есть убираю из него заголовок новости, который в описании новости мне не нужен…

•  заменить в item`е description: “</p>.*$” на “</p><div align=”right”><small>Источник-<a href = ‘http://allboxing.ru’>Allboxing.ru</a> </small></div>”; этим правилом я подписываю внизу каждой новости ссылку на её источник…

   Кроме того, в модуле Regex для каждого правила у меня выставлены чекбоксы “s” и “i”. 

   На выходе Regex после очистки item`а description получаем:

…то есть получаем то что хотели – item description содержит полный текст новости без заголовка и ссылку на главную страницу первоисточника…

  Описанный способ во многом проще чем в первой части (не требуются манипуляции с заголовком) и к тому же здесь мы получаем на выходе более правильный rss-поток, который содержит помимо item`а title (заголовок) и description (описание) все item`ы из исходного фида, благодаря чему исключаются проблемы которые могли возникнуть с фидами полученными способом описанным в первой статье (например не все rss-аггрегаторы понимали полученный в первой части rss-фид). По сути здесь мы не создаем фид заново как в первой части а просто переписываем в нем содержимое добавляя туда вместо анонса полный текст новости вырванный из страницы.

Мой блог находят по следующим фразам:

• g900 моддинг клавиши заметки
• как через KMPlayer смотреть тв
• pipes yahoo примеры
• счётчик символов
• yahoo pipes как loop
• yahoo pipes замена в ленте

  Однако решение этой проблемы довольно просто и было приведено в статье Arser`а «Дело — труба», где он выложил нужный для решения проблемы скрипт. Я же хочу здесь остановится подробнее на том как его использовать поскольку возможно не всем будет понятно как же им воспользоваться… Я не особо знаю html и php совершенно не знаю поэтому мне например не сразу стало ясно как же им воспользоваться…

  Для того чтобы им воспользоваться нужно закинуть содержимое архива (файл скрипта rss2utf8.php) на php-сервер (на ваш хостинг с поддержкой php). После этого уже можно конвертировать с помощью этого скрипта rss-фиды в понятную Yahoo Pipes кодировку передавая скрипту в параметре “url” адрес нужного фида. Это делается следующим образом: например нужно получить содержимое rss-фида http://kitya.livejournal.com/data/rss через модуль Fetch Feed для работы с ним.. тогда модуле Fetch Feed в строке Url вместо http://kitya.livejournal.com/data/rss пишем http://ваш_домен/rss2utf8.php?url=http://kitya.livejournal.com/data/rss, если вы закинули скрипт в корневую папку public_html на вашем хостинге.

Если rss-фидов много и вам не хочется разбираться понимает ли Yahoo Pipes кодировку каждого из них, то можно смело пропускать через скрипт все фиды поскольку те фиды что уже имеют правильную для Yahoo Pipes кодировку он не испортит… они просто выйдут из него неизменными….

Мой блог находят по следующим фразам:

• счётчик символов код
• "gt-ps700" wdm
• пост в wordpress из yahoo pipe
• чем хорош тв-тюнер
• presto pvr
• настройка ТВ в KMPlayer

В поисках способов автоматизированного получения полных текстов этих статей я потратил довольно много времени… многие писали что можно там наваять свой скрипт и т.д… но это мне не подходит поскольку я не знаю языков программирования, да и html то не знаю особо…  Однако благодаря небезызвестному многим Тормозу и его статье про применение Yahoo Pipes для робоблоггинга мне открылись широчайшие возможности Yahoo Pipes, которые позволили мне совершить задуманное…

Кратко о Yahoo Pipes:

“…Yahoo Pipes – это очень интересный инструмент для работы с RSS-потоками. Это не очередной онлайн-агрегатор, но инструмент куда более изящный и сложный. Одна из основных его возможностей — создание персональных RSS-потоков при помощи различных модулей, отвечающих за получение, фильтрацию, анализ, перевод, преобразование и сортировку потоков. Результат работы Pipes можно получить в виде нового RSS-потока, или же в формате JSON…”

Увидев вышеназванную статью Тормоза я стал усиленно изучать механизм работы описанной в его статье трубы… Изучение шло непросто, пришлось еще поработать с help`ом Yahoo Pipes, только тогда механизм работы трубы стал полностью мне понятен… Но время было потрачено не зря и поняв как работает его труба я на следующий же день легко реализовал поставленную самим собой задачу, сделав для этого свой пайп, который легко выдирает из rss-фида с анонсами новостей на Allboxing.ru полные тексты этих новостей…

Сама разработанная мной труба (pipe) представлена ниже:

Как видно на рисунке Yahoo Pipes имеет очень удобный графический интерфейс… Сама труба имеет модульную структуру, я использую только 5 модулей в своей трубе в то время как разработчики Yahoo Pipes придумали еще множество полезных модулей, которые вы можете использовать (например, перевод содержимого с одного языка на другой, сортировка элементов выходного фида по дате, различная фильтрация с целью убрать из фида, получаемого на выходе, ненужные вам элементы или выбрать только элементы посвещенные определенной тематике).

Чтобы получить короткую справку по любому из элементов и ссылку на пример нужно нажать на знак “?” в заголовке любого модуля.

Внизу есть Debugger в котором можно просмотреть что у вас получается на выходе каждого используемого вами модуля…

Итак рассмотрим работу трубы по порядку:

1. Fetch Feed.

Этот модуль позволяет получить содержимое выбранных фидов (у меня выбран один фид но можно вбить столько сколько нужно)… На выходе модуля имеем содержание нужного фида представленное в виде отделных item`ов: link, description и т.д. с каждым из которых можно затем работать… Как видно на рисунке, Yahoo Pipes не понимает кодировки выбранного мной русскоязычного фида, однако для меня это не важно поскольку из всего фида мне нужен только item link который содержит ссылку на страницу, содержащую полную версию искомой новости…

2. Loop + Fetch Page.

Модуль Loop с помещенным в него модулем Fetch Page вытаскивает страницы с полными новостями по ссылкам содержащимся в item`е link исходного фида. Модуль Fetch Page появился совсем недавно, именно с его появлением стало возможно быстро решать задачи парсинга страниц. Раньше для этого приходилось использовать сторонние сервисы вроде Feedity или собственные скрипты. Модуль позволяет получить содержимое любой странички, вырезать из неё лишнее, да ещё и разделить на отдельные элементы. Я вырезаю из страниц нужное мне содержимое начинающееся с “<h3 class=»title»>”  и заканчивающееся на “<div align=»right»>”, где содержится непосредственно сам текст новости и её заголовок. На выходе этого модуля имеем:

Вообще модуль Loop циклически перебирает каждый item rss-фида, применяя к его элементам какие-то модификаторы или производя определенные действия с данными. Внутри Loop вы можете размещать модификаторы строк или элементы из раздела Sources, для этого необходимо перетащить модуль непосредственно на Loop блок. При этом опция «emit result» – перезапишет заново все содержимое rss-ленты, а «assign results to» – направит вывод результатов в какой-то из item`ов, и не повлияет на существующие данные.

3. Rename — модуль переименования и копирования.

Чтобы на выходе получить RSS-фид нужно, чтобы он имел хотя бы 2 item`а: title (заголовок) и description (описание)… для их создания я и использую этот модуль копируя содержимое item`а content, полученного на выходе модуля Fetch Page, в item title, а затем переименовывая item content в item description… На выходе получаем фид с двумя item`ами, что нам и было нужно:

4. Regex.

На выходе Rename мы получили фид с двумя item`ами, которые  имеют абсолютно одинаковое содержимое, которое раньше являлось содержимым item`а content и включает как полный текст новости так и заголовок новости… Дальше нам нужно сделать так, чтобы item title содержал только заголовок новости, а item description содержал только текст новости без заголовка…  Вот тут мы и воспользуемся модулем Regex, который позволяет оперируя регулярными выражениями легко вычистить содержимое item`ов, оставив в них только нужный нам текст. Для операции “очистка” я задал в модуле Regex три правила:

• заменить в item`е title:  “^<h3 class=»title»>([^<]*).*” на “$1”, где “$1” – это как раз то, что находится в первом выражении в круглых скобках; этим правилом я заменяю всё содержимое item`а title на то, что находиться в нем между “<h3 class=»title»>” и “<”, после чего в нем остается только текст заголовка новости, чего собственно мы и добивались…

• заменить в item`е description:  “^<h3 class=»title»>[^<]*</h3>” на – “пустой текст”; этим правилом я просто затираю содержимое item`а description, находящееся в нем между “<h3 class=»title»>” и «</h3>”, то есть убираю из него заголовок новости, который в описании новости мне не нужен…

• заменить в item`е description: “</p>.*$” на “</p><div align=»right»><small>Источник-<a href = ‘http://allboxing.ru’>Allboxing.ru</a> </small></div>”; этим правилом я подписываю внизу каждой новости ссылку на её источник…

Кроме того, в модуле Regex для каждого правила у меня выставлены чекбоксы “s” и “i”. При необходимости могут быть выставлены чекбоксы “g”, “i”, “s”, “m” – это т. н. модификаторы:

• “g” – если не выставлен этот чекбокс, то замена происходит только в одном (первом) вхождении (например, если вы хотите заменить в слове “мамашка” буквы “м” на буквы “к” и не поставите чекбокс, то заменится только первая буква и получится “камашка”, а вот с выставленным чекбоксом вы получите как раз то чего и ожидали

• “i” – если этот модификатор используется, символы в шаблоне соответствуют символам как верхнего, так и нижнего регистра

• “s” – если данный модификатор используется, метасимвол «точка» в шаблоне соответствует всем символам, включая перевод строк; без него — всем, за исключением переводов строк. Этот модификатор эквивалентен записи /s в Perl.

Подробнее о модификаторах здесь.

Подробнее о регулярных выражениях здесь и здесь.

Итак на выходе после очистки item`ов получаем:

…то есть получаем то что хотели – item title содержит только заголовок новости, а item description только текст новости без заголовка и ссылку на главную страницу первоисточника…

5. Pipe Output.

Вот и всё,  получили трубу, которая из RSS-ленты, содержащей только анонсы новостей, делает RSS-ленту, содержащую  полные тексты этих новостей, преодолевая на своём нелегком пути теги <!—more—> .

Всем заинтересовавшимся статьей рекомендую читать Вторую часть !!!

Ссылки по теме:

• Форум Миллионеров по Yahoo Pipes

• Yahoo Pipes FAQ от Arser`а

Мой блог находят по следующим фразам

• кто работает с WordPress
• кто работает с WordPress
• кто работает с WordPress
• !(руководство пользователя wordpress)
• руководство по wordpress
• какие права доступа для папки wordpress

Мой блог находят по следующим фразам:

• глобакс работал бесплатно
• handy cash настройка
• KMplayer выбор устройства аудио
• программа KMPlayer для ноутбука
• presto pvr
• Pipe пример использования