Narzędzia
Czego używamy,
kiedy model działa lokalnie
Nie katalog rynku, tylko krótka lista rzeczy, które u nas naprawdę chodzą — razem z tym, gdzie każda z nich przestaje wystarczać. Jedną z nich napisaliśmy sami, bo brakowało nam odpowiedzi na pytanie, które wraca przy każdym lokalnym modelu: czy on w ogóle dostał to, co mu wysłałem?
Nasze
LlamaScope
Lampka kontrolna lokalnego modelu — dla macOS, za darmo, kod otwarty.
Pokazuje na jednym ekranie, co naprawdę robi Twoja Ollama: który model jest załadowany, ile z niego siedzi w pamięci GPU, jakie jest obciążenie układu graficznego i zużycie swapu.
Najważniejsze jest jednak to, czego nie widać nigdzie indziej: czy Twój prompt nie został po cichu przycięty. Ollama nie zgłasza tego przez API — jedynym śladem jest linia w logu serwera. Objaw myli, bo wygląda jak halucynacja: model „zignorował” wklejoną dokumentację i odpowiedział tak, jakby jej nie widział. Nie zignorował. Nie dostał jej.
Co ten program widzi
Pośrednik — część, która wykrywa ucięte rozmowy — jest domyślnie wyłączony. Po włączeniu staje między Twoim klientem a Ollamą i widzi treść promptów, bo tylko stamtąd widać żądanie, zanim serwer je przytnie. Zapisuje z nich wyłącznie liczby, nigdy treść, i tylko na Twoim dysku. Nic nie wychodzi na zewnątrz — my też niczego nie dostajemy.
Żeby nie trzeba było brać tego na słowo, pośrednik jest osobnym programem w pakiecie. „Wyłączony” znaczy, że tego procesu nie ma — widać to w Monitorze aktywności. Sama aplikacja nie zawiera ani grama jego kodu i możesz to sprawdzić jedną komendą:
Ma zwrócić zero:
nm /Applications/LlamaScope.app/Contents/MacOS/LlamaScope | grep -c ProxyCoremacOS 14 lub nowszy, Apple Silicon
Wersji na Intela nie ma świadomie: odczyty GPU nie miałyby tam znaczenia, a zero wyglądające na pomiar jest gorsze niż brak programu. Na Intelu zostaje skrypt w Pythonie z repozytorium.
Przez Homebrew:
brew tap MarcinSNowak/tap
brew install --cask llamascopeWłasny tap, nie oficjalne repozytorium Homebrew — to drugie wymaga od nowego pakietu 90 forków, 90 obserwujących albo 225 gwiazdek. Instaluje dokładnie ten sam plik, co przycisk wyżej, dokładając sprawdzenie sumy kontrolnej.
- Wersja
- 0.9.1 · 1,2 MB
- Licencja
- MIT
- SHA-256
- f49474b2984b79b4117f86b1b9ad6a64ee483e120c98c381f5d974ed10394c2c
Cudze
Ta lista jest krótka i taka ma zostać. Są na niej narzędzia, które sami uruchomiliśmy i które pracują w odcinkach serii — nie te, o których czytaliśmy. Zdanie „polecamy” o czymś, czego nie sprawdziliśmy, byłoby tą samą nieprawdą, którą LlamaScope istnieje po to, żeby wyłapywać.
Ollama
Serwer, który uruchamia duże modele językowe na Twoim komputerze — jedną komendą, bez konta i bez chmury.
Stoi na nim cała seria ABC AI i nasze własne eksperymenty. Instaluje się w minutę, mówi protokołem zgodnym z OpenAI, więc większość bibliotek działa z nim bez zmian w kodzie.
Po cichu przycina zbyt długie prompty i nie mówi o tym przez API — przy przyciętej rozmowie potrafi nawet zaraportować, że nie uciął nic. To jest dokładnie powód, dla którego powstał LlamaScope.
Licencja: MITPracuje w odcinku 01Strona projektuChroma
Lekka baza wektorowa: przechowuje fragmenty dokumentów w postaci, w której da się szukać po znaczeniu, a nie po słowie.
Używamy jej w odcinku o RAG-u, bo uruchamia się jako biblioteka w Pythonie — bez serwera, bez Dockera, bez konfiguracji. Do bazy wiedzy jednego projektu to wystarcza w zupełności.
Skaluje się do jednej maszyny i jednego procesu. Przy kilku równoległych zapisach albo zbiorach idących w miliony fragmentów trzeba sięgnąć po coś cięższego.
Licencja: Apache 2.0Pracuje w odcinku 02Strona projektuSwiftBar
Wstawia wynik dowolnego skryptu do paska menu macOS i odświeża go co zadany czas.
Na nim chodziła pierwsza wersja LlamaScope’a — zwykły skrypt w Pythonie wypisujący jedną linię. Świetny sposób, żeby sprawdzić, czy narzędzie jest w ogóle potrzebne, zanim napisze się aplikację.
Skrypt odpala się od nowa przy każdym odświeżeniu, więc nie ma pamięci między odczytami — historii ani wykresu tak nie zrobisz. Na tym właśnie skończyła się ta droga u nas.
Licencja: MITStrona projektu