Le Blog Utux

Parce qu'il n'y a pas que Linkedin pour se faire mousser avec des articles techniques

Backups in Azure with Duplicati

Rédigé par uTux Aucun commentaire

I need to backup my NAS to a remote and secure location, and because I am a Azure AZ-103 associate, I have decided to store my data on a Azure storage account. I will use Duplicati, a free backup software written in C# with the following features:

  • Native AES-256 encryption.
  • Wide variety of storage backends: Azure, S3, GCS, FTP, SSH, Onedrive...
  • Works well on Windows, Linux, FreeBSD.
  • Works on a headless server with a WebUI.

Storage account offers 3 tier storage with different pricing: hot, cool, archive. If you choose a hot tier, access is less charged, but storage is more expensive. This is the opposite for cool and archive, storage is cheap but access is expensive. Archive is the most interesting tier for backups but it has many constraints, such as the need to pick every object inside the container to move them. So I will use cool right now.

Create a Resource group and a Storage account

First you need to create a Resource group. Go to the Resource groups blade then click +Add. Take a look at Ready: Recommended naming and tagging conventions if you don't know how to name it. Select a region (does not really matters now).

Create a resourcegroup

Now you need to create a Storage account. Go to the Storage accounts blade then click +Add.

  • Subscription: your subscription.
  • Resource group: the one you just created
  • Storage account name: must be unique accross Azure and as many limitations, so I recommend using a short name + random id.
  • Location: Select the location of your choice (choose a close one with an interesting pricing, see Azure Calculator)
  • Account kind: StorageV2
  • Replication: LRS
  • Access tier: cool
Create storage account

Now open you new Storage account and go to the Containers blade then click +Container. This time the name is private and does not need to be unique. Make sure the Public level access is set to Private (no anonymous access).

Create container

Go to the Access keys blade and retrieve the value of key1 or key2. These key are private and should not be shared with anyone because they basically give full access to the storage account and the data inside.

Retreive access key

Configure Duplicati

Go into the Web UI then + Add backup > Configure a new backup.

Enter a name, a description and a very strong encryption passphrase. Do not lose it, personally I use Keepass + Syncthing to manage my passwords.

duplicati step 1

Select "Azure blob" for Storage type and set your credentials.

duplicati step 2

Click Test connection to make sure Duplicati can reach your Azure container.

duplicati step 2 test

Select the files you want to backup.

duplicati step 3

Schedule your backup. For me, monthly is enough.

duplicati step 4

Duplicati will not copy your files one by one but use "volumes". To select the size of each block, read this documentation. Smaller means more transactions but better de duplication. Bigger means less transactions but less optimized de duplication. If you have the bandwith, go for higher chunks. 1 Gbyte seems to be a good value for me. More is not good because it takes too much resources.

You can also set the retention, for me it's 6 months.

duplicati step 5

Et voila, just run your backup now!

Cost and Metrics

My Storage Account:

  • Location: North Europe
  • Performance/Access tier: Standard/Cool
  • Replication: Locally-redundant storage (LRS)
  • Account kind: StorageV2 (general purpose v2)

My Backups:

  • Data source: ~650 GB
  • Schedule: @Monthly
  • Volume size: 1 GB

Used capacity (512 GiB) :

Azure Metrics 1

Ingress and Egress (Last executions: 2020/10/10 and 2020/10/14):

Azure Metrics 2

Transactions (Last executions: 2020/10/10 and 2020/10/14):

Azure Metrics 3

I admit I'm not sure sure why I see transactions when there is no backups. I assume it's Azure stuff.

Last invoice:

Azure Metrics 4

Monthly billing is always around €5 which is not cheap but affordable. If you need more than 1TB of storage, it might be a good idea to take a look at Google One (Drive) or Dropbox.

En vrac 1: Crucial, Asus, 8-Bit Guy

Rédigé par uTux 6 commentaires

En Avril 2017 à l'occasion de l'assemblage de ma nouvelle tour basée sur Ryzen, j'ai monté un SSD Crucial MX500 (500GB) au format M2.

Crucial MX500
En fin d'année j'ai commencé à rencontrer des BSOD d'origine non identifiée, et à l'occasion d'une d'une résinstallation de Windows j'ai réalisé que je ne pouvais plus formater le SSD, pareil sous Linux. Le SAV Crucial se fait par mail et j'ai du renvoyer à mes frais le SSD défectueux en Angleterre, ce qui a coûté 8€ (pour un objet minuscule qui doit peser quelques centaines de grammes), arf. Mais le pire est que le SAV n'a jamais reçu le SSD alors que le suivi transporteur indique qu'il a été remis. Tant pis, il arrivera peut-être un jour, en attendant j'ai décidé d'acheter un Samsung 970EVO M2/NVMe, ça dépote et c'est fiable, je ne n'achèterai plus jamais de Crucial de ma vie.

Samsung EVO 970

J'ai un routeur Asus RT-AC66U branché derrière la FreeBox et qui tourne sous Asus-merlin depuis toujours. Depuis quelques temps, ce modèle est passé en "legacy", autrement dit il ne bénéficiera plus des nouveautés du projet mais uniquement des correctifs importants. Notez qu'on parle d'un firmware communautaire, le produit semble toujours supporté par Asus (dernier firmware proposé: Mai 2018), mais je ne peux m'empêcher de songer à le remplacer par un modèle plus ouvert, voire une solution maison avec pfSense.

J'ai découvert la chaîne Youtube The 8-Bit Guy. Il s'agit d'un passionné de vieux ordinateurs comme les Apple II, Commodore, IBM PC, mais aussi un développeur en assembleur. Il nous montre comment il restaure des machines dans un état déplorable, allant du nettoyage de boiter jusqu'à la réparation de carte mères.

C'est passionnant, j'adore, c'est quasiment de l'ASMR pour moi.

ENLARGE YOUR HP PROLIANT MICROSERVER GEN8 - épisode 2

Rédigé par uTux 2 commentaires

Wow, on parle souvent des smartphones impossibles à démonter, en ce qui concerne le serveur HP Proliant Gen8 c'est totalement l'inverse, tout se fait sans tournevis de manière évidente. On ouvre le boîtier, on débranche les connecteurs sur la carte mère, et on la tire vers l'arrière, et voilà.

Ouverture carte mère gen8

Une fois la carte mère extraite, il ne reste plus qu'à retirer le radiateur, enlever le Celeron puis insérer le Xeon, et après un petit changement de pâte thermique on remet le tout. Et au boot... ça marche !!

FreeNAS xeon

Le Xeon apporte un certain confort qui se ressent rapidement. L'exploration des partages Samba est plus fluide tout comme la navigation dans l'interface FreeNAS. Le démarrage des jails iocage aussi, même si non exempt de latences tant que le cache ARC n'est pas rempli :) Quand le prix des SSD de 1To baissera, je songerai à remplacer les disques mécaniques.

Cherche alternative à backuppc

Rédigé par uTux 5 commentaires

J'adore Backuppc. Les sauvegardes passent par SSH, pas d'agent à installer, interface et fonctionnement simples. Mais bon sang c'est une plaie à installer, surtout quand on sort de Debian qui nous facilite la vie.

Donc je cherche une alternative à Backuppc:

  • Webui
  • Pas d'agent à installer sur les serveurs
  • Moderne
Fil RSS des articles de cette catégorie