Skip to content

SamGIS - Alcuni appunti su Segment Anything

Rimando alle mie note in inglese su Segment Anything.

A proposito del riutilizzo degli embedding delle immagini e SamGIS

Dopo aver riletto questo paper ho capito che avrei potuto migliorare l'efficienza di SamGIS conservando e riutilizzando gli embedding delle immagini.

Ho implementato questa modifica in SamGIS versione 1.3.0. Alcuni dati di test dalla demo SamGIS che ho utilizzato:

  • prima chiamata: 5.42s
    • modello fastsam istanziato
    • immagine creata dalla mappa web (uso OpenStreetMap come tile provider e Mapnik come layer della webmap)
    • creato il embedding dell'immagine
  • seconda chiamata: 0,41 s
  • dalla terza alla settima chiamata: ~0,34s

Si tenga presente che effettuando una chiamata immediatamente dopo l'altra la durata rimane bassa, probabilmente a causa dell'utilizzo della cache durante il download delle tile nel back-end. Aspettando più di 10 minuti sembra invalidare la cache, quindi contextily (la libreria di GeoPanda che utilizzo come client di Tiles) ha impiegato da 0.5s a 1.5s di tempo, durante le mie prove, per il download delle tile.

Espandere qui per il dettaglio del payload delle chiamate di test.
json
{
    "bbox": {
        "ne": {
            "lat": 46.236615111857255,
            "lng": 9.519996643066408
        },
        "sw": {
            "lat": 46.13405108959001,
            "lng": 9.29821014404297
        }
    },
    "prompt": [
        {
            "id": 146,
            "type": "point",
            "data": {
                "lat": 46.18483299780137,
                "lng": 9.418864745562386
            },
            "label": 1
        }
    ],
    "zoom": 13,
    "source_type": "OpenStreetMap"
}

A proposito della conversione "dal testo alla maschera" "zero shot": LISA e SamGIS

La versione originale di SAM può utilizzare anche semplici prompt testuali in linguaggio naturale. Per un uso pratico di questa funzionalità, si veda:

Naturalmente potrebbe interessare anche il mio lavoro di integrazione di LISA con SamGIS e la corrispondente [demo](https://huggingface. co/spaces/aletrn/samgis-lisa-on-cuda). Devo tenerlo in pausa a causa dei costi, ma sto richiedendo l'uso di una GPU gratuita da HuggingFace.

Nel caso il mio progetto fosse interessante, metti "mi piace" o commenta il [thread di richiesta di risorse GPU di HuggingFace](https://huggingface.co /spaces/aletrn/samgis-lisa-on-cuda/discussions/1).

Apprezzi il mio sito? Pagami un caffè
Referenze disponibili su richiesta. Autorizzo il trattamento dei miei dati personali in conformità al D. Lgs. n. 196/2003, art. 13, allo scopo di farmi proposte lavorative.