2020/04/26 にっき - hanachin temporary

弊社、Snap cameraブームがおきているが当方Linuxなので試せず

ということでこれを試すことにする

これが必要

あとminicondaも必要

docs.conda.io

いれる

% yay -Ss v4l2loopback
aur/v4l2loopback-dkms-git 0.12.4.r0.g9bd5553-1 (+12 1.12%)
    v4l2-loopback device
aur/v4l2loopback-dkms 0.12.5-1 (+38 4.89%)
    v4l2-loopback device
% yay -S v4l2loopback-dkms
% yay -Ss miniconda
aur/miniconda3 4.8.2-1 (+19 0.09%)
    Mini version of Anaconda Python distribution.
% yay -S miniconda3
% echo "[ -f /opt/miniconda3/etc/profile.d/conda.sh ] && source /opt/miniconda3/etc/profile.d/conda.sh" >> ~/.zshrc

確認する

% dkms status
v4l2loopback, 0.12.5, 5.6.7-arch1-1, x86_64: installed
% conda --version
conda 4.8.2

avatarifyをダウンロード

% ghq get https://github.com/alievk/avatarify.git
% cd ~/src/github.com/alievk/avatarify

インストールスクリプトを少し読む

% cat scripts/install.sh
#!/usr/bin/env bash

source scripts/settings.sh

# v4l2loopback
rm -rf v4l2loopback 2> /dev/null
git clone https://github.com/alievk/v4l2loopback.git
echo "--- Installing v4l2loopback (sudo privelege required)"
cd v4l2loopback
make && sudo make install
sudo depmod -a
cd ..

source $(conda info --base)/etc/profile.d/conda.sh
conda create -y -n $CONDA_ENV_NAME python=3.7
conda activate $CONDA_ENV_NAME

conda install -y pytorch==1.0.0 torchvision==0.2.1 cuda100 -c pytorch

# FOMM
rm -rf fomm 2> /dev/null
git clone https://github.com/alievk/first-order-model.git fomm

pip install -r requirements.txt

% cat scripts/settings.sh
# Web-camera device id
# Call `v4l2-ctl --list-devices` and find your web-camera device, e.g. /dev/videoX, where X is camera id
CAMID=0

# ################################################
# Normally you don't want to change settings below

# [Linux] Virtual camera device
# Make sure this id is greater than maximum device id in the list `v4l2-ctl --list-devices`
# Don't set a big number, it's known that Zoom does not detect cameras with id like 99
CAMID_VIRT=9

# Conda environment name
CONDA_ENV_NAME=avatarify

確認してみよう

% v4l2-ctl --list-devices
HD Pro Webcam C920 (usb-0000:02:00.0-4):
        /dev/video0
        /dev/video1

これvideo0とvideo1あるのはHDかどうじゃないかみたいな違いかしら、とりあえず CAMID は問題なさそうだし CAMID_VIRT も9でもんだいなさげ

v4l2loopback まわりの部分はざっくりコメントアウトしてしまおう

diff --git a/scripts/install.sh b/scripts/install.sh
index 4117693..6ba196f 100644
--- a/scripts/install.sh
+++ b/scripts/install.sh
@@ -3,13 +3,13 @@
 source scripts/settings.sh
 
 # v4l2loopback
-rm -rf v4l2loopback 2> /dev/null
-git clone https://github.com/alievk/v4l2loopback.git
-echo "--- Installing v4l2loopback (sudo privelege required)"
-cd v4l2loopback
-make && sudo make install
-sudo depmod -a
-cd ..
+# rm -rf v4l2loopback 2> /dev/null
+# git clone https://github.com/alievk/v4l2loopback.git
+# echo "--- Installing v4l2loopback (sudo privelege required)"
+# cd v4l2loopback
+# make && sudo make install
+# sudo depmod -a
+# cd ..
 
 source $(conda info --base)/etc/profile.d/conda.sh
 conda create -y -n $CONDA_ENV_NAME python=3.7

で bash scripts/install.sh する

待っている間にちゃんとREADME読んだけどCUDAじゃないと、Geforceじゃないとだめそうじゃん。ぴえん。

まあ気にせずすすめる。インストールはうまくいったのでDropboxからダウンロード。 md5sumを確認

% md5sum ~/Downloads/vox-adv-cpk.pth.tar
46b26eabacbcf1533ac66dc5cf234c5e  /home/sei/Downloads/vox-adv-cpk.pth.tar

大丈夫そうなので移動

% mv ~/Downloads/vox-adv-cpk.pth.tar ~/src/github.com/alievk/avatarify

実行する前にソースを読む

% cat run.sh
#!/usr/bin/env bash

#set -x

source scripts/settings.sh

bash scripts/create_virtual_camera.sh

source $(conda info --base)/etc/profile.d/conda.sh
conda activate $CONDA_ENV_NAME

CONFIG=fomm/config/vox-adv-256.yaml
CKPT=vox-adv-cpk.pth.tar

export PYTHONPATH=$PYTHONPATH:$(pwd)/fomm

python cam_fomm.py --config $CONFIG --checkpoint $CKPT --cam $CAMID --virt-cam $CAMID_VIRT --relative --adapt_scale $@%

% cat scripts/create_virtual_camera.sh
#!/usr/bin/env bash

source scripts/settings.sh

FILE=/dev/video$CAMID_VIRT
if [[ ! -w "$FILE" ]]; then
    echo "Creating virtual camera $FILE (sudo privelege required)"
    sudo modprobe v4l2loopback exclusive_caps=1 video_nr=$CAMID_VIRT card_label="avatarify"
    #sudo v4l2-ctl -d /dev/video$CAMID_VIRT -c timeout=1000
fi

これで一応動かしてみる、動いたがFPSが低い

% bash run.sh

転がってるEdge TPUのことを思い出しとりあえずライブラリをいれるがavatarifyはPyTorchなのでだめやん

% yay -Ss edgetpu
aur/libedgetpu-max 13.0-1 (+1 0.09%)
    Google Coral Edge TPU library and headers (max speed).
aur/libedgetpu-std 13.0-1 (+1 0.09%)
    Google Coral Edge TPU library and headers (standard speed).
aur/edgetpu_api 2.11.1-1 (+1 0.00%) (Orphaned)
    Google Coral Edge TPU runtime and Python library
% yay -S libedgetpu-max

おわり

JSONのoptionの型まじめにつけるのをあきらめて Hash[Symbol, bool] にして誰かに頑張ってもらいたい JSONに限らずoptsは魔境....

一応あとから頑張れるよう

type json_options = Hash[Symbol, untyped]

しておいて json_options を使うようにした

あとかいていて

type encoding = Encoding | string

でもう1 Pull Request出せることに気がついた

なんか他、いろいろ詰まってだめ。おやすみ。