Zobacz, jak zespół 4soft wspiera Cryptio w budowie infrastruktury pobierania danych (ingestii).
Technologie
• Rust
• TypeScript
• Kubernetes
• AWS
Głównym zadaniem Cryptio jest pobieranie rozproszonej, często niekompletnej historii transakcji pochodzącej z setek źródeł (blockchainów, giełd kryptowalut, custodianów oraz protokołów DeFi) i przekształcanie jej w spójne, w pełni audytowalne dane księgowe. Platforma przetwarza informacje na dużą skalę, zapewniając jakość accounting-grade, co pozwala działom finansowym na poprawne wyliczanie bazy kosztowej (cost basis), przeprowadzanie uzgodnień kont (reconciliation) oraz eksport danych do tradycyjnych systemów ERP.
Wśród klientów publicznie korzystających z Cryptio znajdują się tacy liderzy rynku jak: Uniswap Labs, Gnosis, Circle, Gemini oraz ConsenSys.
Wyzwanie projektowe: Rygorystyczna kompletność danych w świecie Web3
W przeciwieństwie do systemów skupionych na wykrywaniu prania pieniędzy (AML/compliance), systemy księgowe stawiają przed inżynierami zupełnie inne definicje sukcesu. Głównym wyzwaniem jest tu bezwzględna poprawność i kompletność danych finansowych.
• Wiele niekompatybilnych źródeł: Różnorodne systemy (np. łańcuchy EVM, Cosmos, Solana, ledgery giełd czy interfejsy custodianów takich jak BitGo i Anchorage) muszą zostać zmapowane do jednego, spójnego modelu transakcji.
• Wymóg zerowej utraty danych: W systemie księgowym nie można zgubić żadnej nagrody ze stakingu, transferu między subkontami ani prowizji sieciowej. Tak zwany cichy sukces importu, w którym nie pobrano żadnych transakcji z powodu błędów, jest traktowany jako krytyczny błąd systemu.
• Skala i ograniczenia API: Pobieranie ogromnych wolumenów danych historycznych oraz bieżących transakcji wiąże się z koniecznością ciągłego zarządzania limitami zapytań (rate limits) różnych dostawców. Każde źródło narzuca inne reguły paginacji i dostępu do danych historycznych.
Budowa konektorów end-to-end: Tworzymy od zera integracje z nowymi giełdami i sieciami (m.in. Bitpanda, GMO, MegaETH, Moca, Scroll, PulseChain). Konektory są dostarczane kompleksowo – od definicji poświadczeń, przez walidację, aż po włączenie funkcji w panelu SaaS po stronie użytkownika.
Zaawansowana obsługa custodianów: Realizujemy głębokie integracje, m.in. dla BitGo i Anchorage. Wymaga to zaawansowanej logiki biznesowej, np. odpowiedniego mapowania transakcji OTC jako pojedynczego handlu, a nie niezależnych transferów wejścia/wyjścia, co zrujnowałoby obliczenia bazy kosztowej. Obsługujemy też filtrowanie portfeli, prowizje i checkpointy.
Rozbudowa potoków danych i wznawialność: Projektujemy zrównoleglone procesy typu worker, które wykorzystują współdzielone limity zapytań i trwałe punkty kontrolne. Dzięki temu wielogodzinnymi importy mogą być łatwo wznawiane w przypadku przerwań. System wykonuje również kolejne przebiegi dla transakcji o statusie pending, przechwytując ich ostateczny stan.
Migracje na wewnętrzne indeksery (gRPC): Zespół przeprowadza płynne migracje łańcuchów (np. Polygon, Avalanche, Arbitrum, Ripple) z zewnętrznych eksploratorów korzystających z REST na autorskie, wewnętrzne indeksery Cryptio oparte na technologii gRPC. Zapewnia to lepszą kontrolę, pełniejsze dane i ominięcie limitów zewnętrznych API, a to wszystko bez niszczenia historii starych importów.
Kluczowym elementem operacyjnym jest zachowanie integralności zgromadzonych danych. Zespół 4soft wdrożył zautomatyzowane mechanizmy kontrolne, które na bieżąco weryfikują luki w pokryciu danych i oflagowują wolne lub psujące się importy. Analityka opiera się na dashboardach Grafana, które pomagają w szybkiej identyfikacji nietypowych zachowań infrastruktury.
Sztuczna inteligencja (AI) jest traktowana w projekcie jako równoprawny uczestnik cyklu życia oprogramowania. Używamy narzędzi opartych na AI do programowania, testowania rozwiązań, sprawdzania kodu (code review) oraz do pomocy w analizowaniu incydentów operacyjnych. Wykorzystujemy powtarzalne instrukcje, które dają agentom odpowiedni kontekst z bazy kodu, pozwalając inżynierom 4soft podejmować ostateczne decyzje techniczne i dbać o najwyższą jakość środowiska produkcyjnego.
Praca zespołu 4soft bezpośrednio przekłada się na skuteczność biznesową Cryptio:
• Zapewniliśmy wysoką przepustowość wytwarzania i wdrażania nowych integracji (zarówno blockchainów, jak i giełd czy custodianów) w modelu end-to-end.
• Skutecznie zoptymalizowaliśmy jakość danych oraz naprawiliśmy luki kompletności na największych integracjach na żywo (np. BitGo, Coinbase Prime, Gate.io, Deribit, Bitstamp).
• Wnieśliśmy głęboką wiedzę domenową w obszarze jakości informacji księgowo-finansowych ze świata Web3, zapewniając audytorom bazę do wiarygodnych rozliczeń krypto.
