Blog do Petry

Busca full-text do mysql no django

2009-05-28T13:34:00.008-03:00

Essa semana tive que implementar em um dos meus projetos um sistema de busca full-text. como estou utilizando o Mysql, ele possui um mecanismo de pesquisa integrado. Há outras bibliotecas de pesquisa como o Lucene, Xapian e Sphinx e todas elas possuem modulos para integra-las ao Django(django-search-lucene, djapian e django-sphinx ) mas no meu caso, como estou utilizando uma hospedagem compartilhada, tenho certas restrições para instalar algumas bibliotecas, portanto tive que partir para esta alternativa.

Bom, vamos ao que é necessário para funcionar a busca:

digamos que você possui um model de noticias:

class Artigo(models.Model):
 data_publicacao = models.DateTimeField("Data de Publicação", default=datetime.now)
 titulo = models.CharField(max_length=200)
 slug = models.SlugField()
 texto = models.TextField("Texto da noticia")

 class Meta:
     ordering = ['-data_publicacao']
      get_latest_by = 'data_publicacao'

 def __unicode__(self):
     return self.titulo

Como esperado, o código acima vai gerar um tabela no banco, mas, para a busca funcionar corretamente, teremos que criar "no braço" um índice fulltext para efetuar a busca. Como estamos utilizando o mecanismo de busca do próprio banco. O índice será atualizado automaticamente quando registros são inseridos, atualizados, ou excluídos, de modo que os resultados da pesquisa nunca estarão desatualizada. A declaração CREATE INDEX é utilizado para criar o índice:

CREATE FULLTEXT INDEX fti_noticias_artigo ON noticias_artigo(titulo,texto)

Bom agora teremos que estender esta funcionalidade ao ORM do Django e criar um manager para o model em que você quer fazer a busca. Para isso simplesmente copie este código no seu models, ou melhor, coloque em um arquivos separado, já que você poderá aproveitá-lo em outros models!

Agora, chame o manager do código, atribuindo ao atributo objects (ou qualquer outro que você criar) passando como parâmetro os campos que você indexou no mysql:

objects = SearchManager(('titulo', 'texto'))

e está pronto!

agora para realizar alguma busca utilize o seguinte comando:

Artigo.objects.search('minha busca')

o método search executará uma consulta, verificando se a string que você enviou se encontra em um dos campos que você estabeleceu no seu SearchManager.

algo mais ou menos assim:

SELECT titulo, data_publicacao, slug, texto, MATCH(titulo, texto) AGAINST ('minha busca')
  AS `relevance`
FROM noticias_artigo
WHERE MATCH(titulo, texto) AGAINST ('minha busca')

O seu manager também inclui um campo extra na sua consulta chamado relevance, que é o indice de relevância da sua pesquisa. Desse modo é possivel efetuar uma ordenacão através deste campo.

Artigo.objects.search('minha busca').order_by('relevance')

bom era isso! qualquer duvida, reclamação, ou colaboração de código, é só comentar!

Vote nos convidados internacionais para a Conferência Python Brasil

2009-04-24T09:37:00.001-03:00

Chegou a hora de votar para escolher os convidados internacionais da Conferência Python Brasil 5.

Qualquer interessado pode votar, não é preciso ser membro da
Associação Python Brasil (APyB).

Visite a página dos candidatos para saber quem é quem, e conhecer os detalhes sobre o processo de escolha.

Para votar, utilize este formulário. Você pode votar em um ou dois candidatos.

O prazo final para votar é 26/4 (domingo) e o resultado da votação será publicado dia 27/4.

O candidato mais votado será convidado pela APyB para vir à nossa Conferência Python Brasil 5 em Caxias do Sul, com passagens e hospedagem paga.

Os conselheiros e diretores da APyB convidarão também um segundo palestrante, escolhido entre os candidatos, independente da classificação dele na votação.

Adeus DjangoSnippets! olá DjangoTidBits!!

2009-03-24T09:26:00.004-03:00

Foi criado por Jose Soares da Washington Times o site DjangoTidbits que é mais ou menos o famigerado Django Snippets.

O DjangoTidbits, além de um layout, na minha opinião, mais bonito, possui outros recursos como um controle de revisões do código, a opção de fazer uploads dos arquivos através de um arquivos compactado - ou não, e, o mais importante tem uma busca!!!!!!

Por enquanto o site possui poucos snippets, ou melhor tidbits, mas acredito que seja questão de tempo, pois achei este novo recurso *muito* melhor que o seu antecessor!

Django Code Search

2009-03-19T23:19:00.003-03:00

Com o Django Code Search é possivel realizar uma pesquisa no código do próprio framework.

Atratves dele, é possível encontrar atributos de classe ou até mesmo a definições de funções. É leve e rápido, é ma ferramenta a ser usada pelos djangers!

PythonBrasil 5 em Caxias do Sul

2009-01-13T10:07:00.004-03:00

Apenas para tirar as traças do blog, hehehe espero que este ano eu dê mais atenção a ele!

A decisão foi tomada a tempo, mas como não foi publicada oficialmente, fiquei segurando a noticia! Mas é mais do que certo! o próximo encontro da comunidade Python brasileira será na minha cidade, mas precisamente no meu local de trabalho! Na Universidade de Caxias do Sul!

O evento agora chamdo PythonBrasil 5 acontecerá dias 10, 11, e 12 de Setembro de 2009.

Posso dizer em nome de todos os colegas de trabalho, que estamos muito felizes e orgulhosos de sermos os anfitriões deste evento e daremos todo o apoio necessário para que ele se torne um sucesso!

Mais informações estão no site da associação:

Palestra na Tche Linux

2008-09-03T08:46:00.003-03:00

Dia 27, sábado, estarei no evento da TcheLinux, na FTEC de Caxias do Sul, falando sobre o Django, onde mostrarei algumas das várias ferramentas do framework (admin, forms, generic views,...) e uma palhinha sobre o Google App Engine!

Estão se você estiver à toa neste dia (o que é muito dificil ehhehe),morar perto de Caxias do Sul e estiver afim de fazer um programinha nerd, aparece lá!

os detalhes do evento podem ser conferidos em: http://www.tchelinux.org/caxias/

Proposta do TCC Aprovada!

2008-07-04T09:21:00.004-03:00

Acabei de receber um "OK" para minha proposta do meu trabalho de conclusão do curso de graduação!!

A idéia basicamente é criar um gerador de código para o framework Django a partir de modelos UML, algo como o archgenXML mas com algumas técnicas de compiladores (GLC's, Analisadores Léxicos, Sintaticos, etc...)

Para quem quiser mais informações, o link para proposta está publico no Google Docs
http://docs.google.com/Doc?id=d7zxc7q_71rbmszjdd

ahh e também...qualquer ajuda é bem vinda! hehe

Django + mysql + cluster

2008-05-16T13:44:00.003-03:00

A noticia é meio antiga mas como não sabia to postando aqui...
Foi criado um beckend para o django pra utilizar o mysql em um clusters, ele permite que voce configure servidores master e slave e, e expecificar qual deles será utilizado através dos decorators!

E tudo bem explicadinho como instalar, configurar e usar! :)

Django e Python2.5 no dreamhost - Parte 2

2008-04-02T09:11:00.005-03:00

Bom depois de Configurado o Python, como visto no post anterior é hora de colocar o django no ar. Ahh lembrando que o Django não é suportado oficialmente pela dreamhost por isso a instalação é um pouquinho...digamos...xarope ehhehe, mas é possivel sim!

Usei como base para esse post a instalação do Django que está no wiki do Dreamhost, mas tinha dado uns probleminhas e, garimpando aki e ali... cheguei no resultado que vou passar para voces!

Configurando o site no dreamhost

bom pra começar, crie um dominio no painel de controle da Dreamhost, no meu caso criei um subdominio, mas o processo é o mesmo!

Escolha “Manage Domains” e depois “Add New Domain / Sub-Domain”
Escolha oome para seu (sub)dominio, no meu caso coloquei django.mdpetry.net
Escolha “Extra web security” e “Fast CGI Support” e submeta o formulário

Depois crie uma base de dados e uma tabela para seu projeto (não vo ficar explicando isso, mas é bem fácil de fazer! :) )

Configurando o Django

Entre por ssh na sua conta, e no home seu usuário, crie uma pasta django e dentro dela a pasta django_projects, para adicionar os seus projetos.

dentro da pasta ~/django, baixe o source do django, através do svn utilizando o comando:
svn co http://code.djangoproject.com/svn/django/trunk/ django_src

Altere o seu .bash_profile, adicionando as linhas:

export PATH=$PATH:$HOME/django/django_src/django/bin
export PYTHONPATH=$PYTHONPATH:$HOME/django/django_src:$HOME/django/django_projects

e ative as mudanças digitando source ~/.bash_profile

agora entre no diretório django_projects e crie um novo projeto:
django-admin.py startproject myproject

Como de costume, ele criou uma série de arquivos, crie as pastas para os templates e para as imagens (geralmente eu as crio dentro da pasta do projeto, mas tanto faz onde elas serão criadas)
no meu caso criei a pasta templates e media.

á no arquivo settings.py e altere as configurações:

de banco de dados:


    DATABASE_ENGINE = 'mysql'           # 'postgresql', 'mysql', 'sqlite3' or 'ado_mssql'.
    DATABASE_NAME = 'django_db'             # Or path to database file if using sqlite3.
    DATABASE_USER = 'usuario'             # Not used with sqlite3.
    DATABASE_PASSWORD = 'senha'         # Not used with sqlite3.
    DATABASE_HOST = 'djangomysql.mdpetry.net'             # Set to empty string for localhost. Not used with sqlite3.

de internacionalização:

 TIME_ZONE = 'America/Sao_Paulo'
LANGUAGE_CODE = 'pt-br'

de templates:

TEMPLATE_DIRS = (
        # Put strings here, like "/home/html/django_templates".
        # Always use forward slashes, even on Windows.
        "/home/mdpetry/django/django_projects/myproject/templates"
    )

mídia:


    MEDIA_ROOT = '/home/mdpetry/django/django_projects/myproject/media'
    MEDIA_URL = 'http://django.mdpetry.net/media/'
    ADMIN_MEDIA_PREFIX = '/admin_media/'

insira a seguinte linha no .bash_profile
export DJANGO_SETTINGS_MODULE=myproject.settings e ative novamente o arquivo.

após isso, sincronize o BD e crie u musuário para acessar a area de adminsitração com as suas alterações na pasta do projeto, digite:
django-admin.py syncdb

instalando e configurando o FASTCGI e o mod_rewrite

vá até o subdominio criado e vaixe o script python

wget http://svn.saddi.com/py-lib/trunk/fcgi.py e altere as permissões do arquivo chmod 755 fcgi.py

crie o arquivo dispatch.fcgi

#!/home/mdpetry/opt/bin/python
import sys
sys.path += ['/home/mdpetry/django/django_src']
sys.path += ['/home/mdpetry/django/django_projects']
from fcgi import WSGIServer
from django.core.handlers.wsgi import WSGIHandler
import os
os.environ['DJANGO_SETTINGS_MODULE'] = 'myproject.settings'
WSGIServer(WSGIHandler()).run()

para o mod rewrite, crie o arquivo .htaccess:

RewriteEngine On
    RewriteBase /
    RewriteRule ^(media/.*)$ - [L]
    RewriteRule ^(admin_media/.*)$ - [L]
    RewriteRule ^(dispatch\.fcgi/.*)$ - [L]
    RewriteRule ^(.*)$ dispatch.fcgi/$1 [L]

reinicia o python para validar as mudanças:
pkill python

Configurações finais

altere as os links dos arquivos de midia para o projeto do django:
ln -s $HOME/django/django_src/django/contrib/admin/media $HOME/django.mdpetry.net/admin_media

adicione no arquivos settings.py do seu projeto a app de adminsitração:


INSTALLED_APPS = (
        'django.contrib.auth',
        'django.contrib.contenttypes',
        'django.contrib.sessions',
        'django.contrib.sites',
        'django.contrib.admin',
    )

e no arquivos urls.py, deconmente a linahs da adminsitração tbem:
(r'^admin/', include('django.contrib.admin.urls')),

reinicie o python e na pasta do projeto instale o proejto com o manage.py

pkill python
python manage.py syncdb

e... ta pronto! se voce acessar http://django.DEUDOMINIO.com/admin, deverá aparecer a tela de login da interface de adminsitração do django!

Django e Python2.5 no dreamhost - Parte 1

2008-04-01T19:18:00.005-03:00

Estava com alguns probleminhas para isntalar o Django no Dreamhost, no meu caso, o servidor, depois de um tempo tentando estabelecer conexão, aparecia aquela indesejavel tela de erro 500, foi ai que o Andrews me deu a idéia de isntalar o python2.5, e de primeira deu tudo certo!

bom os passos para instalar:

Baixe o arquivo com o source do python e coloque numa pasta, no meu caso coloquei na opt do meu home, e após isso descompacte o arquivo:

cd ~
mkdir opt
wget http://www.python.org/ftp/python/2.5.2/Python-2.5.2.tgz   
tar xvzf Python-2.5.2.tgz

entre na pasta do source, e instale com os comandos abaixo:

./configure --prefix=$HOME/opt/ --enable-unicode=ucs4
make
make install

após instalado, altere o .bash_profile:

vim ~/.bash_profile

e insira a seguinte linha no arquivo:

export PATH=$HOME/opt/bin/:$PATH

execute o arquivo e verifique a versão do python instalada!

source .bash_profile
python --version

Ele irá retornar a versão correta do python no caso a 2.5.2

Feito isso, será necessário instalar o módulo de conexão com o mysql, e agora com o python 2.5 vai se beem + fácil! :)


wget http://internap.dl.sourceforge.net/sourceforge/mysql-python/MySQL-python-1.2.2.tar.gz
tar xvzf MySQL-python-1.2.2.tar.gz
cd MySQL-python-1.2.2
python setup.py install

Amanha (ou depois hehe), posto como está configurado o djando na minha conta!

Django (e vários outros projetos) estão aceitando estudantes para desenvolver aplicações no Google Summer of Code

2008-03-25T13:48:00.003-03:00

Você é estudante e está interessado em desenvolver algumas melhorias ou funções novas para o framework Django? o Django é um dos projetos que o Google Summer of code está bancando!
Se voce se acha que tem conhecimento suficiente, submeta suas proposta! o prazo se encerra dia 31 de março, ou seja, não há muito tempo! Ah e como recompensa voce ganha 4.500 doletas e uma camiseta bonitona! :)

algumas idéias que o pessoal sugeriu estão em: http://code.djangoproject.com/wiki/SummerOfCode2008

e a lista de discussão: http://groups.google.com/group/django-gsoc

se houver interesse siga este guia e faça sua aplicação: http://groups.google.com/group/google-summer-of-code-announce/web/guide-to-the-gsoc-web-app-for-student-applicants

ahh o pssoal do Plone, Zope, Grok, TurboGears e vários outros também estão aceitando participantes! veja a lista completa em: http://code.google.com/soc/turbogears/about.html

Recorte de imagens usando Python/Django/PIL

2008-01-25T10:02:00.000-03:00

respondendo um dúvida na lista django-brasil, resolvi colocar aqui também um exemplo de recorte de imagem através do django.

from django.utils.httpwrappers import HttpResponse
from PIL import Image

def image(request,arquivo,largura=100,altura=100):

im = Image.open(arquivo)
imre = im.transform((largura, altura), Image.AFFINE,(1,0,0,0,1,0))

response = HttpResponse(mimetype="image/png")
image.save(response, "PNG")
return response

DjangoPeople

2008-01-23T15:20:00.000-03:00

Nos últimos meses, muitos usuários aderiram ao Django e, consequentemente ao Python! isso é muito bom e fico muito feliz com isso! :). No entnado, são pouco os usuários que utilizam as listas de discussão, irc, ou coisas do tipo, simplesmente entram no site, baixam o framewor, lêem a documentação (que'é muito boa por sinal!) e começam a desenvolver!

Então o co-criador do Django, Simon Willison e Natalie Downe, criaram o site djangopeople.net com o objetivo de "dar uma chance" de mostrar ao o mundo quem são os usuários desse fantástico framework (pouquinho puxa-saco não? ehhe)

Então se voce desenvolve sites em django, visite o site, e coloque mostre-se!

Projetos em Django

2007-07-03T10:31:00.000-03:00

Decidi durante o meu pequeno periodo de férias da faculdade, brincar um pouco com o Django, trabalhando com ele com *todo o seu poder*... classe de modelagem ORMI, atc... coisa que na UCS não fazemos.... Para isso tenho dois projetos pra continuar:

O projeto o o ZZtop que começou, entre os colegas do trabalho, mais pra aprender a usar o framework, é basicamente um cadastro de itens relacioados a filmes, cada usuario pode postar filmes, e compartilhar entre os mesmbro... Infelizmente morreu na praia! Vou "tentar" dar continuidade e ele, criar algo funcional pelo menos...

Outro projeto é o da Musix, seria fazer uma versão melhorada do meu trabalho de Analise e Projeto de sistema II, mas em vez de ser em JDeveloper (eu não queria!! mas como era um trabalho em grupo, não tive muita voz entre meus colegas javistas hehehe) usaria o Django...

Os projetos estão no google Code, se alguém quiser participar no desenvolvimento da apicação, é bem vindo!!