{"componentChunkName":"component---src-templates-blog-post-js","path":"/per_cpu_var_and_relochide/","result":{"data":{"site":{"siteMetadata":{"title":"/dev/yukarinoki"}},"markdownRemark":{"id":"6a4c928b-bc70-5d3c-8cf9-28778658f649","excerpt":"Per cpu variable linux kernelには、per cpu variableという機構があります。(Per-CPU Variablesとも書かれる。) per cpu variableはその名前の通りCPU Coreごとの変数です。\ncore…","html":"

Per cpu variable

\n

linux kernelには、per cpu variableという機構があります。(Per-CPU Variablesとも書かれる。)
\nper cpu variableはその名前の通りCPU Coreごとの変数です。\ncoreごとの変数を用いないとキャッシュが汚れてしまうのでパフォーマンスが大幅に低下します。\nこの点から、linux kernelでは多くのper cpu variableが使われています。

\n

per cpu variableが用いられている例としては、バディシステムにおけるper_cpu_pagesなどが挙げられます。

\n

Per-CPU Variablesの概要については、Linux Device Drivers, Third Edition Chapter8 p228 (https://lwn.net/Kernel/LDD3/) にも記述があります。参考にしてください。

\n

注意: プログラム内のコードは解説のための疑似コードであり、動きません

\n

Per cpu variableの配置

\n

linuxはC, asm, ldsで書かれています。ちなみにCのstandard内だけで書くことはできません。このldsとはリンカスクリプトです、linuxはvmlinuxという形に実行形式をまとめますが、そのときのdataやtextなどのセクションの位置を記述しています。\nper cpu variableはldsによって配置されアドレスは固定されています。
\n/arch/x86/kernel/vmlinux.lds.S
\n/include/asm-generic/vmlinux.lds.h
\nhttps://elixir.bootlin.com/linux/v5.9.4/source/include/asm-generic/sections.h#L42

\n
/include/asm-generic/sections.h
\n
extern char __per_cpu_load[], __per_cpu_start[], __per_cpu_end[];
\n

こうして配置されたメモリ、data.per_cpu_area セクションがkernel起動時に初期化されます。
\nhttps://elixir.bootlin.com/linux/latest/source/arch/x86/kernel/setup_percpu.c#L168

\n
/arch/x86/kernel/setup_percpu.c
\n
void __init setup_per_cpu_areas(void) {\n~~\nfor_each_possible_cpu(cpu) {\n\t\tper_cpu_offset(cpu) = delta + pcpu_unit_offsets[cpu];\n\t\tper_cpu(this_cpu_off, cpu) = per_cpu_offset(cpu);\n\t\tper_cpu(cpu_number, cpu) = cpu;\n\t\tsetup_percpu_segment(cpu);\n\t\tsetup_stack_canary_segment(cpu);\n\t\t/*\n\t\t * Copy data used in early init routines from the\n\t\t * initial arrays to the per cpu data areas.  These\n\t\t * arrays then become expendable and the *_early_ptr's\n\t\t * are zeroed indicating that the static arrays are\n\t\t * gone.\n\t\t */\n#ifdef CONFIG_X86_LOCAL_APIC\n\t\tper_cpu(x86_cpu_to_apicid, cpu) =\n\t\t\tearly_per_cpu_map(x86_cpu_to_apicid, cpu);\n\t\tper_cpu(x86_bios_cpu_apicid, cpu) =\n\t\t\tearly_per_cpu_map(x86_bios_cpu_apicid, cpu);\n\t\tper_cpu(x86_cpu_to_acpiid, cpu) =\n\t\t\tearly_per_cpu_map(x86_cpu_to_acpiid, cpu);\n#endif\n~~
\n

Per cpu variablesの構造

\n

per cpu variableは以下のような構造になっています。このCPU 0, CPU 1 という領域にいくつものオブジェクトが入っています。同じ変数(同名だがCPUごとに異なる変数の意味)なら各CPUの領域のstartからのoffsetは等しくなっています。
\nこのため、

\n
（CPUiの構造体Aのptr）= (CPU0の構造体Aのptr) + (i-1)×(各CPU領域のサイズ)
\n

でそれぞれのCPUの変数アドレスを計算することができます。

\n

このような実装はChristophさんの考案です。
\n参考: https://lwn.net/Articles/258238/

\n

\n \n