Python-Datenbank ohne Verwendung von Django (für Heroku)

Question

Zu meiner Überraschung habe ich diese Frage nicht anderswo gefragt. Kurze Version, ich schreibe eine App, die ich in der Cloud bereitstellen möchte (wahrscheinlich mit Heroku), die verschiedene Web Scraping und Datensammlung durchführen wird. Der Grund, warum es in der Cloud sein wird, ist so, dass ich es so einrichten kann, dass es jeden Tag von selbst läuft und die Daten in seine Datenbank zieht, ohne dass mein Computer eingeschaltet ist, so dass der Rest des Teams auf die Datenbank zugreifen kann Daten.

Ich habe AWS SimpleDB und DynamoDB verwendet, aber ich fand SDBs Speicherbeschränkungen zu klein und DDBs schlechte Abfragefähigkeit ist ein Problem, daher suche ich nach einem Datenbanksystem (SQL oder NoSQL), das speichern kann Werte beliebiger Länge (und idealerweise beliebige Datenstrukturen), die auf jedem Feld abgefragt werden können.

Ich habe viele Datenbanklösungen für Heroku gefunden, z. B. ClearDB, aber alle Informationen, die ich gesehen habe, haben gezeigt, wie Django für den Zugriff auf die Datenbank eingerichtet wird. Da dies Skript und keine Website sein soll, würde ich es wirklich vorziehen, nicht in Django einzutauchen, wenn ich nicht muss.

Gibt es irgendeine Art von Datenbank, die ich in Heroku mit Python verbinden kann, ohne Django zu benutzen?

Answer 1

Ich würde MongoDB verwenden. Heroku hat Unterstützung dafür, also denke ich, dass es wirklich einfach ist, zu beginnen und zu skalieren: https://addons.heroku.com/mongohq

Über Python: MongoDB ist eine wirklich einfache Datenbank. Das Schema ist flexibel und passt sehr gut zu Python-Wörterbüchern. Das ist etwas wirklich Gutes.

können Sie PyMongo

from pymongo import Connection 
connection = Connection() 

# Get your DB 
db = connection.my_database 

# Get your collection 
cars = db.cars 

# Create some objects 
import datetime 
car = {"brand": "Ford", 
     "model": "Mustang", 
     "date": datetime.datetime.utcnow()} 

# Insert it 
cars.insert(car) 

Ziemlich einfach verwenden, äh?

Ich hoffe, es hilft.

EDIT:

Wie Endophage erwähnt, eine weitere gute Option mit Mongo für die Anbindung ist mongoengine. Wenn Sie viele Daten speichern müssen, sollten Sie einen Blick darauf werfen.

Answer 2

Erstellen Sie eine eigenständige Heroku Postgres-Datenbank. http://postgres.heroku.com

Answer 3

Ich tat dies kürzlich mit Flask. (https://github.com/HexIce/flask-heroku-sqlalchemy).

Es gibt ein paar Fallstricke:

heroku addons:add shared-database 

(Oder je nachdem, welche Datenbank Sie wollen:

1. Wenn Sie nicht über Django verwenden können Ihre Datenbank selbst, indem Sie müssen einrichten verwenden, die anderen kosten Geld.)

2. Die Datenbank-URL wird in Heroku in der Umgebungsvariablen "DATABASE_URL" gespeichert. In Python können Sie es tun, indem Sie tun.

Was Sie tun, um von dort aus mit der Datenbank zu verbinden, liegt bei Ihnen, eine Option ist SQLAlchemy.

Answer 4

Sie können eine von Heroku bereitgestellte Datenbank abrufen, ohne dass Ihre App Django verwenden muss.Dazu:

heroku addons:add heroku-postgresql:dev 

Wenn Sie eine größere mehr dedizierten Datenbank benötigen, können Sie die Pläne auf Heroku Postgres

Innerhalb Ihres requirements.txt untersuchen werden Sie hinzufügen möchten:

psycopg2 

Dann können Sie eine Verbindung herstellen/interagieren wie folgt:

import psycopg2 
import os 
import urlparse 

urlparse.uses_netloc.append('postgres') 
url = urlparse.urlparse(os.environ['DATABASE_URL']) 

conn = psycopg2.connect("dbname=%s user=%s password=%s host=%s " % (url.path[1:], url.username, url.password, url.hostname)) 
cur = conn.cursor() 

query = "SELECT ...." 
cur.execute(query)