Жертва Taobao

Не ходите туда… ибо обратного пути уже нет…

Записи из рубрики: RSS

Feedwordpress захламляет базу

16th Апрель 2009. Рубрики: , , . 2 коммент..

Сегодня ужаснулся, взглянув на размеры баз данных на блогах, обновляющихся через -фиды, собранные в , посредством плагина Feedwordpress!

Оказалось базы растолстели до 500-600 Мб.

Пошел выяснять в PhpMyAdmin в чем же собственно дело и оказалось, что в базах ненормальным образом разрослась таблица wp_posts, в которой хранится собственно содержимое постов, хотя количество постов на блоге составляло всего лишь порядка нескольких сотен.

Дальнейшие изыскание выявили, что столько места в таблице заняли различные ревизии этих самых постов. У каждого поста имелись десятки ревизий! (далее…)

Новости сервиса Yahoo Pipes: Новый модуль YQL (делаем запросы в стиле SQL)

30th Январь 2009. Рубрики: , , . 1 комментарий.

Итак, в раздел Sources добавился новый модуль — YQL. Модуль YQL позволяет получать и обрабатывать данные из различных источников используя SQL-подобный синтаксис. Подробно о синтаксисе написано здесь.

Пример использования YQL:

  1. Вводим в  текстовом поле модуля YQL: 
    select * from feed where url='http://digg.com//index.xml'

    Этим запросом мы получим на выходе модуля содержимое http://digg.com/rss/index.xml;

  2. Вводим в  текстовом поле модуля YQL: 
    select title from feed where url='http://digg.com/rss/index.xml'

    Этим запросом мы получим на выходе модуля не всё содержимое http://digg.com/rss/index.xml, а только заголовки фида;

  3. Вводим в  текстовом поле модуля YQL: 
    select * from rss where url in ('http://digg.com/rss/index.xml','http://feeds.mixx.com/MixxPopular') | sort(field="pubDate")

    Этим запросом мы получим на выходе модуля содержимое двух фидов отсортированное по дате;

  4. Вводим в  текстовом поле модуля YQL: 
    select * from flickr.photos.info where photo_id in (select id from flickr.photos.search where woe_id in (select woeid from geo.places where text="san francisco, ca") and tags = "fog")

    Этим запросом мы ищем фото на Flickr помеченные тэгом «fog» и относящиеся к Сан-Франциско. (далее…)

Новости сервиса Yahoo Pipes: изменения в обработке кодировок и pubDate

6th Ноябрь 2008. Рубрики: , , , . 2 коммент..

Узнал сегодня вот такую новость…

Pipes charset encoding and pubDatePipes has had a problem handling certain character sets in various feeds and XML documents. The good news is that we believe we’ve finally isolated the issue and the release today should solve the mangling problem for a majority of feeds in our system. If you are using the http://william.cswiz.org/tool/xmliconv/ hack, you can still continue to use it, but you should be able to fetch the feeds directly now.

We also fixed the pubDate on our output. We will display the 4 digits of the year (2008) vs. the 2 digits (08).

MyPipes

Что вкратце можно перевести как: «Хорошая новость, ребята, сегодня мы закончили работу по внедрению обработки кодировок отличных от utf-8 в модуле — Fetch Feed.
Если до этого вы использовали для перекодировки ваших фидов в кодировку понятную Yahoo Pipes описанный здесь способ, то вы можете продолжать его использовать, однако теперь выдергивание содержимого -фидов можно осуществлять напрямую.

Кроме того мы изменили pubDate на выходе ваших труб. Теперь будет отображаться 4 цифры года (2008) вместо 2 цифр (08).

Попробовал, и действительно все фиды которые прежде приходилось пропускать через перекодировщик теперь работают напрямую нормально.

Мой блог находят по следующим фразам:

• yahoo pipes руководство
• сжимающий прокси
• kmplayer тв тюнер
• WPress delirium скачать
• лучшая программа тв тюнер
• Адрес прокси сервера хорошо сжимающего трафик

Как в Yahoo Pipes очищать текст RSS-ленты от ссылок?

26th Июль 2008. Рубрики: , , , . 7 коммент..

Как же легко и быстро вырезать в тексте -ленты все ссылки?
А очень просто: с помощью модуля regex и одного несложного регулярного выражения!
Заменяем «<a[^>]*>» на «пустой текст«:

модуль regex

При такой вырезке сам текст не повреждается! Ссылки из ссылок превращаются в обычный текст!
Модификатор «g» обязателен, он означает для , что замена должна проводится во всех вхождениях, если модификатор не будет включен, то в каждой записи ленты будет обработана только первая ссылка!

Подобным же образом можно вырезать не только ссылки но и любые другие тэги.

Мой блог находят по следующим фразам:

• handy cash скачать бесплатно программа сжатия интернет трафика на русском бесплатно
• globax сжатие трафика скачать бесплатно
• Лучшая программа телевидения
• tunnel сжимать трафик
• сжиматели трафика
• yahoo pipes regex

Снова о Yahoo Pipes: как сделать счетчик символов и фильтровать статьи по длине?

26th Июль 2008. Рубрики: , , , . 7 коммент..

Продолжаем мучать любимую тему… в комментариях к предыдущим постам один из комментаторов задал вопрос: «Как сделать счетчик символов заграбленой статьи в ? как сделать чтобы статьи менее 1000 символов не грабились и не вставлялись в выходную -ленту (собственно из-за чего и нужен был счетчик)?»

А на самом деле всё очень и очень просто: для этого воспользуемся модулем Filter, который позволяет задать несколько правил для фильтрации и очень гибко её настроить… возможна фильтрация например по признаку наличия в содержимом предмета фильтрации какого-либо выражения или его отсутствия. Но в контексте заданного вопроса важно что при фильтрации в качестве правила можно задать регулярное выражение (да-да! я знаю вы их очень любите :-) ).

Ниже привожу пример фильтра:

Что делает этот фильтр? Он делает следующее: пропускает дальше в ленту только элементы ленты item.description которых описывается регулярным выражение «.{275,}«, где «.» — это любой символ, а то что находится в фигурных скобках {} — это квантификатор, который определяет сколько раз выражение (в данном случае «. » — любой символ) может встречаться.

Квантификатор задается следующим образом:

{m,n}
общее выражение, повторений может быть
от m до n включительно
{m,}
общее выражение,
m и более повторений
{,n}
общее выражение,
не более n повторений
?
Знак вопроса означает
0 или 1 раз (то же самое, что и {0,1})
*
Звёздочка означает
0, 1 или любое число раз (то же самое, что и {0,})
+
Плюс означает
хотя бы 1 раз (то же самое, что и {1,}).

Таким образом, в показанном на рисунке примере фильтр пропускает в ленту только элементы в описании которых 275 и более символов.

Аналогично можно сделать что-нибудь подобное……..

Мой блог находят по следующим фразам:

• префикс таблицы вы не имеете достаточно прав для доступа к данной странице. wordpress
• ВИДЕОПЛЕЕРЫ с ТВ тюнером
• pipes fetch page utf8
• сpanel установить wp вручную
• как работать с Yahoo Pipes
• как работать с Yahoo Pipes

Страницы: 1 2