Skip to content

Releases: j-Cis/skorobaczSkanoteki

skrobaczSkanoteki (powłokowy) wersja v0.0.1-rc.1

21 Jun 19:12
Compare
Choose a tag to compare

skrobaczSkanoteki - wersja powłokowa - wersja v0.0.1-rc.1 - 2024-06-21T19:21 CET

IKONA

Ta wersja programu charakteryzuje się minimalistyczną funkcjonalnością dzięki temu jest lżejsza. (już działa).

Dodatkowo równolegle do tej wersji występuje wersja graficzna - która charakteryzuje się rożnymi udogodnieniami, dlatego jej objętość jest większa. (w fazie rozwoju); Rozwijana jest w gałęzi main-large (https://github.com/j-Cis/skorobaczSkanoteki/tree/main-large) .

─-

1. Pobieranie programu skrobaczSkanoteki w wersji powłokowej

pobieranie programu

W celu użycia programu, udajemy się na stronę pobierania programu (https://github.com/j-Cis/skorobaczSkanoteki/releases) należy zwrócić szczególną uwagę czy w nawiasie przy danej wersji jest dopisek (powłokowy) czy (graficzny) są to 2 różne gałęzie programu, z nieco inną koncepcją.

2. Przygotowanie nowego zadania dla skrobaczSkanoteki w wersji powłokowej

  • w folderze tasks utwórz plik tekstowy na wzór pliku test.txt
  • ważne nie usuwaj pliku test.txt
  • pamiętaj że każdy link do strony musi być w podwójnym cudzysłowie,
  • pamiętaj że każdy link musi być poprzedzony wcięciem, a na końcu wersu musi znajdować się przecinek
  • pamiętaj że w 1 lini musi być
  STRONY = [
  • pamietaj że w następującej linijce po ostatnim linku, musi być
  ]

  [METRYCZKA]
  ZESPOL_SYGNATURA    = "44444"
  JEDNOSTKA_SYGNATURA = "1331"
  • pamiętaj że w metryczce obowiązkowymi polami są pola sygnaturalne! (zamieszczone powyżej)
  • Możesz dodawać dowolne inne pola do metryczki
    • pamiętając by w nazwie pola nie było
      • spacji
      • znaków specjalnych za wyjątkiem znaku podkreślenia
      • innych znaków niż znaki z alfabetu angielskiego i cyfr
    • pamietaj że wielkość znaków ma znaczenie
    • pamiętaj że tylko i wyłącznie liczby mogą być nie być w cudzysłowie
  • Pamiętaj że ostatnia linia dokumentu musi być pusta

Przykładowy plik zadania

STRONY = [
  "https://sadowe.genealodzy.pl/index.php?op=pg&amp&id=2456&amp&se=5&amp&sy=18&amp&kt=&amp&plik=087.jpg",
  "https://sadowe.genealodzy.pl/index.php?op=pg&amp&id=2456&amp&se=5&amp&sy=18&amp&kt=&amp&plik=088.jpg",
  "https://sadowe.genealodzy.pl/index.php?op=pg&amp&id=2456&amp&se=5&amp&sy=18&amp&kt=&amp&plik=089.jpg",
  "https://sadowe.genealodzy.pl/index.php?op=pg&amp&id=2456&amp&se=5&amp&sy=18&amp&kt=&amp&plik=090.jpg",
  "https://sadowe.genealodzy.pl/index.php?op=pg&amp&id=2456&amp&se=5&amp&sy=18&amp&kt=&amp&plik=091.jpg",
]

[METRYCZKA]
ZESPOL_SYGNATURA = "44444"
JEDNOSTKA_SYGNATURA = "1331"
ZESPOL_OPIS = "Sądy różne - zbiór szczątków zespołów"
SERIA_OPIS = "Forum Nobilium"
JEDNOSTKA_OPIS = "Acta successionalia et pupillaria"
JEDNOSTKA_LATA_OD = 1739
JEDNOSTKA_LATA_DO = 1804

3. Pozyskiwanie listy stron do utworzenia zadania opisanego w punkcie 2

Krok 1

Krok 1

─-

Krok 2

Krok 2

Teraz otwieramy edytor tekstu, może być systemowy notatnik, a najlepiej jakby był to vsCODE. Następnie w nowym pliku tekstowym, wklejamy, uprzednio skopiowaną zawartość naszego <tbody> i dla bezpieczeństwa zapisujemy plik.

─-

Krok 3

Teraz najlepiej było by już posiadać vsCODE, lub inny zaawansowany edytor tekstu. oczywiscie można to zrobić bez jego pomocy - ręcznie, ale automatyzacja procesu była by sprawniejsza. Poniżej pokażę jak zrobić to w vsCODE. Te zaawansowane edytory tekstu (np. znam jeszcze Atom, Notepad++), działają dość podobnie, ale maja też różnice.

INSTALACJA (OPCJONALNA) PROGRAMU vsCODE,ZOSTAŁA OPISANA W PUNKCIE: "DODATEK C, PONIŻEJ"

Krok 3

Tekst który należy wpisać do okna wyszukiwania, można wygodnie skopiować sobie z tego miejsca (?<=href=["|'])(.*?)(?=["|']) a następnie w oknie wyszukiwania wkleić. NALEŻY PAMIĘTAĆ O ZAZNACZENIU OPCJI "RegEx" KTÓRĄ NA GRAFICE POWYZEJ OZNACZYŁEM NA RÓŻOWO Z NUMEREM 3.

─-

Krok 4

Krok 4

─-

Krok 5

Krok 5

W okienku znajdź wpisujemy index.php natomiast w oknie zamień w tym przypadku https://sadowe.genealodzy.pl/index.php to co tu wpisujemy zależy od tego co uzyskamy w 4 kroku.

─-

Krok 6

Krok 6

W okienku znajdź wpisujemy średnik ; natomiast w oknie zamień wpisujemy & znak end.

─-

Krok 7

Krok 7

W okienku znajdź wpisujemy średnik http natomiast w oknie zamień wpisujemy | "http (bez znaku | został on użyty tylko po to bo zwrócić uwage na odstęp - 2 spacje) należy zwrócić uwagę na to że znak cudzysłowu poprzedzają 2 spacje, jest to bardzo istotne.

─-

Krok 8

Krok 8

W okienku znajdź wpisujemy średnik .jpg natomiast w oknie zamień .jpg", wpisujemy.

Tak przygotowaną listę wklejamy do pliku z zadaniem opisanym w drugim (2.) punkcie.

STRONY = [
  "https://sadowe.genealodzy.pl/index.php?op=pg&amp&id=2456&amp&se=5&amp&sy=18&amp&kt=&amp&plik=087.jpg",
  "https://sadowe.genealodzy.pl/index.php?op=pg&amp&id=2456&amp&se=5&amp&sy=18&amp&kt=&amp&plik=088.jpg",
  "https://sadowe.genealodzy.pl/index.php?op=pg&amp&id=2456&amp&se=5&amp&sy=18&amp&kt=&amp&plik=089.jpg",
  "https://sadowe.genealodzy.pl/index.php?op=pg&amp&id=2456&amp&se=5&amp&sy=18&amp&kt=&amp&plik=090.jpg",
  "https://sadowe.genealodzy.pl/index.php?op=pg&amp&id=2456&amp&se=5&amp&sy=18&amp&kt=&amp&plik=091.jpg",
]

[METRYCZKA]
ZESPOL_SYGNATURA = "44444"
JEDNOSTKA_SYGNATURA = "1331"
ZESPOL_OPIS = "Sądy różne - zbiór szczątków zespołów"
SERIA_OPIS = "Forum Nobilium"
JEDNOSTKA_OPIS = "Acta successionalia et pupillaria"
JEDNOSTKA_LATA_OD = 1739
JEDNOSTKA_LATA_DO = 1804

─-

4. Ustawienia programu skrobaczSkanoteki (powłokowy)

Domyślnie aby nie przeciążyć serwera ustawione jest tylko 6 operacji na minute.
Można to zmienić w pliku ustawienia.ts

const OPERACJE_NA_MINUTE:number = 6;

─-

5. Uruchamianie programu skrobaczSkanoteki (powłokowy)

Program skrobaczSkanoteki (powłokowy), można uruchomić tylko gdy, posiadasz zainstalowane środowisko wykonawcze DeNo, jeśli go nie posiadasz, niezbędne będzie udanie się do kolejnego punktu o DODATEK B - gdzie znajduje się instrukcja pozyskania tegoż środowiska wykonawczego DeNo - jego działanie polega na wykonywaniu napisanego kodu programu.

Istnieją dwie metody uruchomienia programu, 'A' i 'B' w gruncie rzeczy metoda 'A' sprowadza się do automatycznego wykonania tego co jest w 'B' metodzie.

A. Uruchomienie poprzez dwukrotne kliknięcie start.bat lub start.cmd (jest to skrótowa metoda)

  • przed uruchomieniem ważne jest by zastąpić w pliku start.cmd lub start.bat wyraz test nazwę utworzonego zadania a następnie zapisać zmiany i uruchomić jeden z tych plików, oba robią dokładnie to samo co punkt B. ważne by i tu nie zamykać okna do ukończenia, co może być czasochłonne

B. Uruchomienie poprzez wpisanie komendy deno task start ─zadanie=test do programu powłokowego zwanego też konsolą czy terminalem, lub PowerShell czy Bash; i naciśnięcie enter. (jest to najszybsza opcja, bez vsCODE)

deno task start ─zadanie=test
  • gdzie zamiast test należy wpisać nazwę utworzonego zadania a następnie kliknąć enter i nie zamykać okna do ukończenia, co może być czasochłonne

─-

Jeśli nie korzystałeś / korzystałaś nigdy z powłoki systemowej (zwanej też konsolą, terminalem czy PowerShell lub Bash),opiszę pokrótce to w punkcie "DODATEK A".

Praca programu na grafice poniżej

praca programu

Rezultaty pracy programu na grafice poniżej

praca programu

─-
─-

DODATEK A: Używanie powłoki systemowej

Każdy system operacyjny posiada wbudowaną powłokę systemową. Oprócz tego istnieją dodatkowe które usprawniają pewne procesy, trzeba jednak je sobie samodzielnie pobrać. Zacznę wyjaśnienie od tych wbudowanych.

SYSTEM WINDOWS

Poniższe grafiki ukazują jak uruchomić z uprawnieniem administratorskim, do zwykłej pracy programu nie jest to potrzebne, jednak będzie to potrzebne do zainstalowania środowiska wykonawczego DeNo...

Read more

skrobaczSkanoteki (powłokowy) wersja v0.0.1-rc.0

21 Jun 12:27
Compare
Choose a tag to compare

Osiągnięto pożądane działanie programu.
skrobaczSkanoteki (powłokowy) wersja v0.0.1-rc0