クラスタを復旧するには¶
クラスタの 1 つまたは複数のメンバーがオフラインまたは到達不能になるかもしれません。 この場合、このメンバー上での操作とすべてのメンバーにまたがる状態変更が必要な操作は不可能になります。 詳細はオフラインメンバーと障害耐性と自動での退避を参照してください。
オフラインのクラスタメンバーを復旧させるかクラスタから削除すると、通常どおり操作が可能となります。 これができない場合、故障の原因となったケースに応じて、クラスタを復旧させるいくつかの方法があります。 詳細は以下のセクションを参照してください。
注釈
全ての利用可能なコマンドの概要を見るには incus admin cluster --help
を実行してください。
過半数割れからの復旧¶
各 Incus クラスタは(cluster.max_voters
で設定した)特定のメンバー数を持ち、これが分散データベースの voter メンバーの数を決定します。
クラスタメンバーの過半数を恒久的に失った場合(たとえば、 3 つのメンバーのクラスタで 2 つのメンバーを消失した場合)、クラスタは過半数を失い利用不可能となります。
しかし、最低 1 つのデータベースメンバーが生き残っていれば、クラスタを復旧できます。
このためには、以下のステップを実行してください。
クラスタ内の生き残っているどれかのメンバーにログオンし以下のコマンドを実行します:
sudo incus admin cluster list-database
このコマンドはデータベースロールの 1 つを持つクラスタメンバーを表示します。
一覧表示されたデータベースメンバーの 1 つを新しいリーダーとして選択します。 そのマシンにログオンします(すでにログオンしたマシンと異なる場合)。
そのマシンで Incus デーモンが実行中でないことを確認します。
sudo systemctl stop incus.service incus.socket
まだオンラインである他のすべてのクラスタメンバーにログオンし Incus デーモンを停止します。
新しいリーダーとして選択したサーバーで以下のコマンドを実行します:
sudo incus admin cluster recover-from-quorum-loss
すべてのマシンで再び Incus デーモンを開始し、新しいリーダーを始動させます。
sudo systemctl start incus.socket incus.service
これでデータベースはオンラインに戻るはずです。 データベースから情報が削除されることはありません。 失ったクラスタメンバーについての情報は、そのメンバーのインスタンスについてのメタデータも含めて、すべて残っています。 失ったインスタンスを再び作成する必要がある場合に、この情報がさらに復旧を進める上で役に立ちます。
失ったクラスタメンバーを恒久的に削除するには、強制削除します。 クラスタメンバーを削除する を参照してください。
アドレス変更からクラスタメンバーを復旧する¶
クラスタのいくつかのメンバーがもう到達不能な場合、あるいはクラスタ自体が IP アドレスまたはリッスニングポート番号の変更のために到達不能な場合、クラスタを再設定できます。
そうするためには、クラスタの各メンバーでクラスタ設定を編集し、IP アドレスとリッスニンググポート番号を必要に応じて変更します。 この操作中はメンバーは削除できません。 クラスタ設定は完全なクラスタの記述を含む必要がありますので、すべてのクラスタメンバー上ですべてのクラスタメンバーを変更する必要があります。
異なるメンバーの メンバーロール を編集できますが、以下の制限があります:
database*
ロールを持たないクラスタメンバーは、グローバルデータベースがないため、 voter になれません。少なくとも 2 つのメンバー(2 つのメンバーからなるクラスタの場合を除く、この場合は 1 つで十分)が voter にとどまる必要があります。そうでなければ過半数が成り立ちません。
各クラスタメンバーにログオンして以下のステップを実行します:
Incus デーモンを停止します。
sudo systemctl stop incus.service incus.socket
以下のコマンドを実行します:
sudo incus admin cluster edit
クラスタメンバーがクラスタの他のメンバーについて持っている情報の YAML 表現を編集します:
# Latest cowsql segment ID: 1234 members: - id: 1 # メンバーの内部 ID(読み取り専用) name: server1 # クラスタメンバー名(読み取り専用) address: 192.0.2.10:8443 # メンバーの最終の既知のアドレス(変更可能) role: voter # メンバーの最終の既知のロール(変更可能) - id: 2 # メンバーの内部 ID(読み取り専用) name: server2 # クラスタメンバー名(読み取り専用) address: 192.0.2.11:8443 # メンバーの最終の既知のアドレス(変更可能) role: stand-by # メンバーの最終の既知のロール(変更可能) - id: 3 # メンバーの内部 ID(読み取り専用) name: server3 # クラスタメンバー名(読み取り専用) address: 192.0.2.12:8443 # メンバーの最終の既知のアドレス(変更可能) role: spare # メンバーの最終の既知のロール(変更可能)
アドレスとロールを編集できます。
すべてのクラスタメンバー上でこの変更をした後、すべてのメンバーで Incus デーモンを再び開始します。
sudo systemctl start incus.socket incus.service
クラスタはすべてのメンバーが入った状態で再び完全に利用可能になるはずです。 データベースから情報が削除されることはありません。 クラスタメンバーとそれらのインスタンスについての情報はすべて残っています。
Raft のメンバーシップを手動で変更する¶
場合によっては、なんらかの予期せぬ挙動のために Raft のメンバーシップ設定を手動で変更する必要があるかもしれません。
たとえば、クラスタメンバーをクリーンでない状態で削除した場合、 incus cluster list
では表示されないが Raft 設定の一部として残るという状態になるかも知れません。
Raft の設定を見るには以下のコマンドを使用します:
incus admin sql local "SELECT * FROM raft_nodes"
この場合、残ったノードを削除するには以下のコマンドを使用します:
incus admin cluster remove-raft-node <address>