Bu repo, Twitterdan hashtag e bağlı verileri canlı olarak almak için yazılmış olan bir job script içermektedir. Aldığı tweetleri anlık olarak AWS RDB üzerinde bir postgresql e kayıt etmektedir. Anlık çekilen veriler Social Content Analysis Application için kullanılacaktır. Modülde bulunan HASHTAG değişkeni, kullanıcının toplamak istediği tweet'lerde bulunmasını istediği hashtag'i belirtir.
-
id: Birincil anahtar ve seri olarak artan tweet kimliği.
-
device: Tweet'in gönderildiği cihazın adı.
-
tweet_url: Tweet'in URL'si (benzersiz ve boş olamaz).
-
user_url: Tweet'i gönderen kullanıcının profili.
-
user_location: Kullanıcının coğrafi konumu.
-
username: Tweet'i gönderen kullanıcının adı (boş olamaz).
-
content: Tweet'in içeriği (boş olamaz).
-
publish_date: Tweet'in yayınlanma tarihi.
-
created_date: Veritabanına eklendiği tarih ve saat.
-
hashtags: Tweet'teki hashtag'ler (boş olamaz). .
Ayrıca, model msticpy.data.data_obfus modülündeki hash_string() ve hash_account() fonksiyonlarını tweet verilerini anonimleştirmek için kullanır. Bu fonksiyonlar, KVKK - Kvkk 28.1 c gereği bir gizlilik önlemi olarak kullanılır.
Kullanılan teknolojiler:
- PostgreSQL - RDBMS database
- Python - Python versiyon: 3.10
Lütfen Python sürümünüzü 3.10 olarak ayarlayın:
python --version- Virtualenv kurulumu:
pip install virtualenv- Virtualenv oluşturma:
virtualenv venv- Virtualenv'i aktif hale getirme:
source venv/bin/activate- Kütüphanelerin kurulumu:
pip install -r requirements.txtpython main.py