Releases: j-Cis/skorobaczSkanoteki
skrobaczSkanoteki (powłokowy) wersja v0.0.1-rc.1
skrobaczSkanoteki - wersja powłokowa - wersja v0.0.1-rc.1 - 2024-06-21T19:21 CET
Ta wersja programu charakteryzuje się minimalistyczną funkcjonalnością dzięki temu jest lżejsza. (już działa).
Dodatkowo równolegle do tej wersji występuje wersja graficzna - która charakteryzuje się rożnymi udogodnieniami, dlatego jej objętość jest większa. (w fazie rozwoju); Rozwijana jest w gałęzi main-large (https://github.com/j-Cis/skorobaczSkanoteki/tree/main-large) .
─-
1. Pobieranie programu skrobaczSkanoteki w wersji powłokowej
W celu użycia programu, udajemy się na stronę pobierania programu (https://github.com/j-Cis/skorobaczSkanoteki/releases) należy zwrócić szczególną uwagę czy w nawiasie przy danej wersji jest dopisek (powłokowy)
czy (graficzny)
są to 2 różne gałęzie programu, z nieco inną koncepcją.
2. Przygotowanie nowego zadania dla skrobaczSkanoteki w wersji powłokowej
- w folderze
tasks
utwórz plik tekstowy na wzór plikutest.txt
- ważne nie usuwaj pliku
test.txt
- pamiętaj że każdy link do strony musi być w podwójnym cudzysłowie,
- pamiętaj że każdy link musi być poprzedzony wcięciem, a na końcu wersu musi znajdować się przecinek
- pamiętaj że w 1 lini musi być
STRONY = [
- pamietaj że w następującej linijce po ostatnim linku, musi być
]
[METRYCZKA]
ZESPOL_SYGNATURA = "44444"
JEDNOSTKA_SYGNATURA = "1331"
- pamiętaj że w metryczce obowiązkowymi polami są pola sygnaturalne! (zamieszczone powyżej)
- Możesz dodawać dowolne inne pola do metryczki
- pamiętając by w nazwie pola nie było
- spacji
- znaków specjalnych za wyjątkiem znaku podkreślenia
- innych znaków niż znaki z alfabetu angielskiego i cyfr
- pamietaj że wielkość znaków ma znaczenie
- pamiętaj że tylko i wyłącznie liczby mogą być nie być w cudzysłowie
- pamiętając by w nazwie pola nie było
- Pamiętaj że ostatnia linia dokumentu musi być pusta
Przykładowy plik zadania
STRONY = [
"https://sadowe.genealodzy.pl/index.php?op=pg&&id=2456&&se=5&&sy=18&&kt=&&plik=087.jpg",
"https://sadowe.genealodzy.pl/index.php?op=pg&&id=2456&&se=5&&sy=18&&kt=&&plik=088.jpg",
"https://sadowe.genealodzy.pl/index.php?op=pg&&id=2456&&se=5&&sy=18&&kt=&&plik=089.jpg",
"https://sadowe.genealodzy.pl/index.php?op=pg&&id=2456&&se=5&&sy=18&&kt=&&plik=090.jpg",
"https://sadowe.genealodzy.pl/index.php?op=pg&&id=2456&&se=5&&sy=18&&kt=&&plik=091.jpg",
]
[METRYCZKA]
ZESPOL_SYGNATURA = "44444"
JEDNOSTKA_SYGNATURA = "1331"
ZESPOL_OPIS = "Sądy różne - zbiór szczątków zespołów"
SERIA_OPIS = "Forum Nobilium"
JEDNOSTKA_OPIS = "Acta successionalia et pupillaria"
JEDNOSTKA_LATA_OD = 1739
JEDNOSTKA_LATA_DO = 1804
3. Pozyskiwanie listy stron do utworzenia zadania opisanego w punkcie 2
Krok 1
─-
Krok 2
Teraz otwieramy edytor tekstu, może być systemowy notatnik, a najlepiej jakby był to vsCODE. Następnie w nowym pliku tekstowym, wklejamy, uprzednio skopiowaną zawartość naszego <tbody>
i dla bezpieczeństwa zapisujemy plik.
─-
Krok 3
Teraz najlepiej było by już posiadać vsCODE, lub inny zaawansowany edytor tekstu. oczywiscie można to zrobić bez jego pomocy - ręcznie, ale automatyzacja procesu była by sprawniejsza. Poniżej pokażę jak zrobić to w vsCODE. Te zaawansowane edytory tekstu (np. znam jeszcze Atom, Notepad++), działają dość podobnie, ale maja też różnice.
INSTALACJA (OPCJONALNA) PROGRAMU vsCODE,ZOSTAŁA OPISANA W PUNKCIE: "DODATEK C
, PONIŻEJ"
Tekst który należy wpisać do okna wyszukiwania, można wygodnie skopiować sobie z tego miejsca (?<=href=["|'])(.*?)(?=["|'])
a następnie w oknie wyszukiwania wkleić. NALEŻY PAMIĘTAĆ O ZAZNACZENIU OPCJI "RegEx" KTÓRĄ NA GRAFICE POWYZEJ OZNACZYŁEM NA RÓŻOWO Z NUMEREM 3.
─-
Krok 4
─-
Krok 5
W okienku znajdź wpisujemy index.php
natomiast w oknie zamień w tym przypadku https://sadowe.genealodzy.pl/index.php
to co tu wpisujemy zależy od tego co uzyskamy w 4 kroku.
─-
Krok 6
W okienku znajdź wpisujemy średnik ;
natomiast w oknie zamień wpisujemy &
znak end.
─-
Krok 7
W okienku znajdź wpisujemy średnik http
natomiast w oknie zamień wpisujemy | "http
(bez znaku |
został on użyty tylko po to bo zwrócić uwage na odstęp - 2 spacje) należy zwrócić uwagę na to że znak cudzysłowu poprzedzają 2 spacje, jest to bardzo istotne.
─-
Krok 8
W okienku znajdź wpisujemy średnik .jpg
natomiast w oknie zamień .jpg",
wpisujemy.
Tak przygotowaną listę wklejamy do pliku z zadaniem opisanym w drugim (2.) punkcie.
STRONY = [ "https://sadowe.genealodzy.pl/index.php?op=pg&&id=2456&&se=5&&sy=18&&kt=&&plik=087.jpg", "https://sadowe.genealodzy.pl/index.php?op=pg&&id=2456&&se=5&&sy=18&&kt=&&plik=088.jpg", "https://sadowe.genealodzy.pl/index.php?op=pg&&id=2456&&se=5&&sy=18&&kt=&&plik=089.jpg", "https://sadowe.genealodzy.pl/index.php?op=pg&&id=2456&&se=5&&sy=18&&kt=&&plik=090.jpg", "https://sadowe.genealodzy.pl/index.php?op=pg&&id=2456&&se=5&&sy=18&&kt=&&plik=091.jpg", ] [METRYCZKA] ZESPOL_SYGNATURA = "44444" JEDNOSTKA_SYGNATURA = "1331" ZESPOL_OPIS = "Sądy różne - zbiór szczątków zespołów" SERIA_OPIS = "Forum Nobilium" JEDNOSTKA_OPIS = "Acta successionalia et pupillaria" JEDNOSTKA_LATA_OD = 1739 JEDNOSTKA_LATA_DO = 1804
─-
4. Ustawienia programu skrobaczSkanoteki (powłokowy)
Domyślnie aby nie przeciążyć serwera ustawione jest tylko 6 operacji na minute.
Można to zmienić w pliku ustawienia.ts
const OPERACJE_NA_MINUTE:number = 6;
─-
5. Uruchamianie programu skrobaczSkanoteki (powłokowy)
Program skrobaczSkanoteki (powłokowy), można uruchomić tylko gdy, posiadasz zainstalowane środowisko wykonawcze DeNo, jeśli go nie posiadasz, niezbędne będzie udanie się do kolejnego punktu o DODATEK B
- gdzie znajduje się instrukcja pozyskania tegoż środowiska wykonawczego DeNo - jego działanie polega na wykonywaniu napisanego kodu programu.
Istnieją dwie metody uruchomienia programu, 'A' i 'B' w gruncie rzeczy metoda 'A' sprowadza się do automatycznego wykonania tego co jest w 'B' metodzie.
A. Uruchomienie poprzez dwukrotne kliknięcie start.bat
lub start.cmd
(jest to skrótowa metoda)
- przed uruchomieniem ważne jest by zastąpić w pliku
start.cmd
lubstart.bat
wyraztest
nazwę utworzonego zadania a następnie zapisać zmiany i uruchomić jeden z tych plików, oba robią dokładnie to samo co punktB.
ważne by i tu nie zamykać okna do ukończenia, co może być czasochłonne
B. Uruchomienie poprzez wpisanie komendy deno task start ─zadanie=test
do programu powłokowego zwanego też konsolą czy terminalem, lub PowerShell czy Bash; i naciśnięcie enter. (jest to najszybsza opcja, bez vsCODE)
deno task start ─zadanie=test
- gdzie zamiast
test
należy wpisać nazwę utworzonego zadania a następnie kliknąć enter i nie zamykać okna do ukończenia, co może być czasochłonne
─-
Jeśli nie korzystałeś / korzystałaś nigdy z powłoki systemowej (zwanej też konsolą, terminalem czy PowerShell lub Bash),opiszę pokrótce to w punkcie "DODATEK A
".
Praca programu na grafice poniżej
Rezultaty pracy programu na grafice poniżej
─-
─-
DODATEK A: Używanie powłoki systemowej
Każdy system operacyjny posiada wbudowaną powłokę systemową. Oprócz tego istnieją dodatkowe które usprawniają pewne procesy, trzeba jednak je sobie samodzielnie pobrać. Zacznę wyjaśnienie od tych wbudowanych.
SYSTEM WINDOWS
Poniższe grafiki ukazują jak uruchomić z uprawnieniem administratorskim, do zwykłej pracy programu nie jest to potrzebne, jednak będzie to potrzebne do zainstalowania środowiska wykonawczego DeNo...
skrobaczSkanoteki (powłokowy) wersja v0.0.1-rc.0
Osiągnięto pożądane działanie programu.
skrobaczSkanoteki (powłokowy) wersja v0.0.1-rc0